Eugen G. Leuze Verlag KG
×
 x 

Warenkorb leer.
Warenkorb - Warenkorb leer.

Newsletter

Auf dem Laufenden bleiben? Jetzt unsere Newsletter auswählen und alle 14 Tage die neuesten Nachrichten in Ihrem E-Mail Postfach erhalten:

Bitte JavaScript aktivieren, um das Formular zu senden

Onlineartikel Suche

Artikel Text

Autoren

Ausgabe

Jahr

Kategorie

Mittwoch, 07 April 2021 11:59

Deep Learning bei Qualitätskontrolle von Lötverbindungen

von
Geschätzte Lesezeit: 4 - 7 Minuten
Voll integrierte 100 %-ige optische Qualitätskontrolle von Lötstellen mittels Deep Learning Verfahren auf einer Produktionsstraße von Rauchmeldern Voll integrierte 100 %-ige optische Qualitätskontrolle von Lötstellen mittels Deep Learning Verfahren auf einer Produktionsstraße von Rauchmeldern

Bleifreie Lote bei Lötverbindungen bergen die Gefahr erhöhter Ausfallraten. Mit verbesserter Qualitätskontrolle wird dagegen gehalten. Doch bisher übliche Verfahren kameragestützter automatischer Bildauswertung stoßen an Grenzen. Bei Siemens Smart Infrastructure wurde eine auf KI und Deep-Learning basierende Lösung installiert.

Die bisher üblichen Verfahren kameragestützter automatischer Bildauswertung stoßen deshalb an Grenzen, weil der Anwender bei der Festlegung der Prüfkriterien einen schmalen Grat zwischen zu hohen internen oder zu hohen externen Fehlerraten beschreiten muss. Meist handelt es sich um kameragestützte Bildverarbeitungs-Lösungen, die mithilfe geeigneter Softwarepakete aufgrund von Bildanalysen In-Ordnung/Nicht-In-Ordnung-(IO/NIO)-Einteilungen vornehmen. Ihre Trennschärfe stellte bisher nicht immer zufrieden.

Unauffällige Lebens-retter: Rauchmelder sind SicherheitsteileUnauffällige Lebens-retter: Rauchmelder sind SicherheitsteileSiemens Smart Infrastructure stellt auf automatischen Anlagen Rauchmelder für den Brandschutz in zahlreichen Varianten und in mittleren bis großen Stückzahlen her. Die verwendeten Bauteile werden mithilfe von Bestückungsautomaten auf die Platine gesetzt und anschließend von oben verlötet. Das EU-weite Verbot bleihaltiger Lotlegierungen zwang zur Verwendung bleifreier Lote, die jedoch gegenüber den vorher verwendeten Loten schlechtere Löteigenschaften haben. Folge sind erhöhte Ausschuss- und Ausfallraten.

Umso wichtiger sind zuverlässige automatische Qualitätskontrollsysteme. Vor allem beim Einsatz für kritische Sicherheitsfunktionen müssen die Prüfkriterien zur ,sicheren’ Seite hin getrimmt werden, da Brandmelder höchste Zuverlässigkeit aufweisen müssen. Das bedingte allerdings erhöhte Ausschussraten mit entsprechenden Kostennachteilen.

Beim Schweizer Spezialisten für industrielle Bildverarbeitungs- und Roboterlösungen Compar AG, auf den Siemens Smart Infrastructure hier bei der Qualitätskontrolle setzt, arbeitete man deshalb an Möglichkeiten, die Ausschussraten zu verringern: „Wir gingen den Weg, bei der Bildanalyse zusätzlich Lösungen mit ,Künstlicher Intelligenz' in Form selbstlernender neuronaler Netze einzusetzen“, sagt Lukas Vassalli, der das Ingenieurstudium Systemtechnik an der Fachhochschule Ostschweiz (FHO) als BSc abgeschlossen hat und Entwickler bei Compar in Pfäffikon ist. „Zudem ging es auch darum, solche Aufgaben in übergeordnete IT-Strukturen im Rahmen von Industrie 4.0-Konzepten einzubinden.“

KI-Einbindung

Als BV-Hardware integriert Compar Systeme von Cognex. „Der Bildverarbeitungs-Spezialist bietet für solche Aufgabenstellungen unter der Bezeichnung ViDi fertige Softwarepakete als Plug-In-Module“, so Vassalli. Hardwareseitige Voraussetzung auf dem eingesetzten Rechner sollte in der Trainingsphase ein leistungsfähiger Bildprozessor (Graphics Processing Unit/GPU) sein. Wesentliche Komponente der Software Bibliothek ist ein neuronales Netz, das bereits teilweise vorstrukturiert ist, so dass der Anwender schnell und einfach mit dem Einlernen beginnen kann. Dies ist vor dem ersten Einsatz erforderlich und erfolgt, indem dem Netz eine gewisse Zahl von Bildern als ,Trainingsmaterial' vorgegeben wird. Anschließend kann es neue Bilder selbständig nach den gewünschten Kriterien beurteilen. Der beim Training entstandene Wissensschatz wird im Laufe des Einsatzes ständig erweitert und verfeinert, was mit dem Begriff ‚Deep Learning' zum Ausdruck kommt. Bei der hier beschriebenen Anwendung geht es neben der Beurteilung von Lötverbindungen auch um das Auffinden von Bestückungsfehlern.

Gesamtsystem

 Aufgesplittetes Gut- und Schlechtteilmuster: Oben im Bild wurde mit einer 0.99 Fehlersicherheit (99 % NIO) der Fehler erkennt; unten mit 0,02 Fehlersicherheit (2 % NIO sprich 98 % IO) als ,gut‘ erkannt und bewertetAufgesplittetes Gut- und Schlechtteilmuster: Oben im Bild wurde mit einer 0.99 Fehlersicherheit (99 % NIO) der Fehler erkennt; unten mit 0,02 Fehlersicherheit (2 % NIO sprich 98 % IO) als ,gut‘ erkannt und bewertet

 Beim ‚supervised learning‘ macht der Trainer den Fehler durch eine Farbmarkierung kenntlichBeim ‚supervised learning‘ macht der Trainer den Fehler durch eine Farbmarkierung kenntlich

 „Das Gesamtsystem besteht aus der Kamera, einer für die Anwendung ausgelegten Beleuchtungsstation, die auch die Platinen aufnimmt, und einem Industrie-PC mit dem Visionexpert-Programm“, sagt Vassalli. Ergänzt wird es durch das ViDi-Paket, das als ‚Black-Box' arbeitet. Es analysiert die übergebenen Bilder mithilfe seines neuronalen Netzes und liefert entsprechende Beurteilungen zurück. Dies erfolgt verzögerungsfrei innerhalb von Millisekunden im Takt der Produktionslinie. Vor dem Start wurde das System von Compar mithilfe von Bildern zur Verfügung gestellter Musterteile vorkonfiguriert. Im laufenden Einsatz kann das System vom Anwender selbst je nach Bedarf mit neuen Produkten trainiert oder mit Varianten bereits vorhandener Produkte nachtrainiert werden.

Für solche Trainingsphasen sind dank der hohen Rechnerleistung lediglich wenige Minuten erforderlich. Beim Training kann man das System entweder direkt mit Fotos ,füttern' oder im Supervisor-Modus Fehlstellen vorab durch Farbmarkierungen hervorheben. Nach kurzer Schulung kann der Kunde solche Aufgaben selbst durchführen – eine wesentliche Voraussetzung für den Erfolg des Projekts. Im vorliegenden Fall genügten jeweils etwa 50 Bilder von Gutteilen und von Schlechtteilen.

Die ViDi-Abläufe

 

 Alle IO- bzw. alle NIO-Bewertungen bis zum jeweiligen Ext-remwert werden aufsummiert und dann auf 1 normiert. Die Überlappung ist ein Hinweis auf unzureichende Trennschärfe bzw. Zusatzbedarf beim Trainieren. Deutlich ist der  Einfluss der Threshold-Festlegung auf das AusschussgeschehenAlle IO- bzw. alle NIO-Bewertungen bis zum jeweiligen Extremwert werden aufsummiert und dann auf 1 normiert. Die Überlappung ist ein Hinweis auf unzureichende Trennschärfe bzw. Zusatzbedarf beim Trainieren. Deutlich ist der Einfluss der Threshold-Festlegung auf das Ausschussgeschehen

 Beispiel: Balkendiagramm der Häufigkeiten von IO- und NIO-Beurteilungen. FP= falsch positiv, FN = falsch negativ, TN = total negativ, TP = total positiv. Der Threshold-Wert bestimmt, welche Teile verwendet bzw. aussortiert werdenBeispiel: Balkendiagramm der Häufigkeiten von IO- und NIO-Beurteilungen. FP= falsch positiv, FN = falsch negativ, TN = total negativ, TP = total positiv. Der Threshold-Wert bestimmt, welche Teile verwendet bzw. aussortiert werden

 

„Die ViDi-Software besteht aus drei Modulen (red, green und blue), von denen im vorliegenden Fall die Module ‚red' und ,blue' zum Einsatz kommen“, verrät Vassalli. Das als ‚Locator' bezeichnete ‚blue'-Modul kontrolliert die Leiterplatinen auf korrekte Bestückung. Es identifiziert Lötstellen und Bauteilpositionen sowie Aufdrucke. Dabei sind Varianzen vorgebbar. Anschließend übernimmt dann ViDi ‚red' die Klassifikation in IO- bzw. NIO-Teile. Beim Training kann man verschiedene Ansätze wählen, z. B. indem man statt der beiden Kategorien IO/-NIO ausschließlich IO-Teile vorgibt. In diesem Falle wird die KI alles, was nicht eindeutig als IO erkennbar ist, automatisch als NIO klassifizieren.

Trennschärfe als Zuverlässigkeitsmerkmal

„Eine wichtige Eigenschaft der ViDi-Analyse ist die numerische Bewertung der Klassifikation des jeweiligen Ergebnisses“, so Vassalli. Das System klassifiziert begutachtete Bilder zwar grundsätzlich nach den Kriterien IO und NIO, gibt aber hierzu stets einen prozentualen Vertrauenswert aus. Dieser gibt an, zu welchem Prozentsatz die Software sich in ihrem Urteil sicher ist. Die Skala geht dabei von 0 (= 100 % IO) bis zu 1 (= 0 % IO bzw. 100 % NIO). Die Häufigkeitsverteilung dieser Einstufungen wird statistisch in Form von Diagrammen mit z. B. grüner Farbe für IO- und roter Farbe für NIO-Ergebnisse ausgegeben. Sie haben die Form von zwei Balkendiagrammen in grüner bzw. roter Farbe, die sich teilweise überlappen können. Eine einfachere Darstellung ergibt sich aus der Auftragung der kumulierten und auf Eins normierten Streubereiche.

Diese können sich je nach Aufgabe und Bewertungskriterien entweder teilweise überlappen oder zwei deutlich getrennte Gruppen bilden. Wenn das Training optimal gelaufen ist, gibt es zwischen den kumulierten Häufigkeitsbereichen keine Überlappung. Dies belegt dann eine gute Trennschärfe des Verfahrens. Ist dies nicht der Fall, so landet man im Entscheidungsbereich zwischen ,falsch-positiven' und ,falsch-negativen' Einstufungen. In solchen Fällen spielt die optimale Festlegung des sogenannten Treshhold-Wertes eine wichtige Rolle. Platziert man diesen mehr zur sicheren Seite hin, so minimiert man beispielsweise das Ausfallrisiko von sicherheitsrelevanten Komponenten beim Kunden. Mit der umgekehrten Strategie kann man dagegen ggf. das interne Ausschussgeschehen absenken.

 

Abläufe beim Prüfen: Die Kamera nebst Beleuchtungsein-heiten Visionexpert liefert ein Bild der Platine. Visionexpert übernimmt seinen Teil der Aus-wertung und veranlasst zugleich eine parallele Analyse durch ViDi. Deren Ergebnisse fließen anschließend in die Visionex-pert-Beurteilung ein. Daraus resultieren Steuerbefehle an die Prozess-SPS sowie Meldungen an die übergeordnete IT-Struk-tur des UnternehmensAbläufe beim Prüfen: Die Kamera nebst Beleuchtungsein-heiten Visionexpert liefert ein Bild der Platine. Visionexpert übernimmt seinen Teil der Aus-wertung und veranlasst zugleich eine parallele Analyse durch ViDi. Deren Ergebnisse fließen anschließend in die Visionex-pert-Beurteilung ein. Daraus resultieren Steuerbefehle an die Prozess-SPS sowie Meldungen an die übergeordnete IT-Struktur des Unternehmens

An dieser von Visionexpert aufbereiteten Übersicht erkennt man eine erfreulich breite Lücke zwischen den vergebenen IO- bzw. NIO-Bewertungen. Die Ergeb-nisse sind somit hoch ver-trauenswürdigAn dieser von Visionexpert aufbereiteten Übersicht erkennt man eine erfreulich breite Lücke zwischen den vergebenen IO- bzw. NIO-Bewertungen. Die Ergebnisse sind somit hoch vertrauenswürdig

 

Zusammenspiel mit Visionexpert

„Besonders interessant wird für die Kunden die Verzahnung der beschriebenen ViDi-Möglichkeiten mit der von uns entwickelten Bildverarbeitungssoftware Visionexpert“, bilanziert Entwickler Vassalli. Das Compar-Programm übernimmt als Hauptkomponente zunächst das externe Hardware-Handling, d. h. die Anbindung der zahlreichen möglichen Kameramodelle sowie sonstiger Peripherie. Weitere Aufgabe ist das Bilddaten-Management sowie die Weitergabe von zu analysierenden Bilddaten an ViDi. Die zurückgelieferten Ergebnisse werden intern verwendet, visualisiert und schließlich in die Entscheidungsfindung eingebunden. Trotz aller Automatik behält der Mensch durch Vorgabe von Prüfkriterien und Entscheidungsvorgaben wie z. B. dem Treshhold-Level stets die Entscheidungsgewalt.

Zur Analyse und Beurteilung eines Prüflings werden neben den Ergebnissen der ViDi-Untersuchung auch die Visionexpert-eigenen Fähigkeiten herangezogen. Diese Software kann im Unterschied zum ViDi-Plug-In beispielsweise Abmessungen bis herab in den µm-Bereich mit hoher Genauigkeit messen und anhand der Ergebnisse Entscheidungen treffen. Schließlich übernimmt Visionexpert auch noch die Kommunikation mit der übergeordneten IT des Unternehmens. Für Compar, wo man seit Jahrzehnten Lösungen zur visuellen Qualitätskontrolle entwickelt, sei die Einbindung des neuen KI-basierten Tools ein wichtiger Schritt zur weiteren Verbesserung des Angebots.

Weitere Informationen

  • Ausgabe: 3
  • Jahr: 2021
  • Autoren: Klaus Vollrath, Fachjournalist, Aarwangen (CH)

Der Leuze Verlag ist die Quelle für fundierte Fachinformationen.
Geschrieben von Fachleuten für Fachleute. Fachzeitschriften und Fachbücher
rund um Galvano- und Oberflächentechnik sowie Aufbau- und Verbindungstechnik in der Elektronik –
seit 119 Jahren professionelle Informationen und Fachwissen aus erster Hand.

UNTERNEHMEN

ZAHLARTEN

Paypal Alternative2Invoice
MaestroMastercard Alternate
American ExpressVisa

Zahlarten z.T. in Vorbereitung.

KONTAKT

Eugen G. Leuze Verlag KG
Karlstraße 4
88348 Bad Saulgau

Tel.: 07581 4801-0
Fax: 07581 4801-10

E-Mail: info@leuze-verlag.de oder
E-Mail: mail@leuze-verlag.de