Cognitive Edge Computing für KI-/ML-basierte Oberflächeninspektion

Projektübersicht

Abstrakt

Das Paradigma der künstlichen Intelligenz (KI) hat eine Handvoll traditioneller Computer-Vision-Techniken ersetzt, um auf intelligente Weise die korrekte Ausgabe eines komplexen Systems unter engen Beschränkungen und wechselnden Bedingungen vorherzusagen. Ziel des Projektes ist die Entwurfsraumexploration von KI-/ML-Hardwarebeschleunigern in der Oberflächeninspektion. Im Zentrum steht nicht nur das Lernen der Modelle auf HPC-Systemen, sondern auch die effiziente Ausführung (Inferenz) auf eingebetteter Hardware. Ergebnis der Entwurfsraumexploration ist die Partitionierung der Anwendung, d.h. welche KI-Verfahren können auf dem Sensor ausgewertet werden, welche Verfahren können über Edge-Hardware (z.B. eingebettete GPU/FPGA) beschleunigt werden und welche erfordern leistungsfähige HPC-Hardware in der Cloud.

Kurzbeschreibung

Die Entwicklungen im Bereich der intelligenten technischen Systeme (ITS) führen derzeit zu einem Umbruch in der gesamten Wertschöpfungskette der industriellen Produktion. Die zunehmende Leistungsfähigkeit der Informationsverarbeitung bietet für das Anwendungsgebiet der industriellen Bildverarbeitung viele neue Möglichkeiten, an denen Mensch und Maschinen bisher an ihre Grenzen stoßen. Insbesondere die Nutzung Maschineller Lernverfahren und Methoden der künstlichen Intelligenz versprechen bisher nicht gekannte Möglichkeiten beispielsweise in der Objektklassifikation oder der visuellen Qualitätskontrolle. Etwa seit dem Jahr 2010 werden mit Deep Neuronal Networks (DNN) bzw. Convolutional Neuronal Networks (CNN) bedeutende Fortschritte erzielt.

Die Leistungsfähigkeit etablierter KI-/ML-Verfahren basiert aber bisher meist auf der Nutzung leistungsfähiger dezentraler Rechenressourcen (High-Performance Computing) in der Cloud. Nicht nur für das Lernen der Modelle, sondern auch für deren Ausführung (Inferenz) ist der Anwender auf diese leistungsfähigen Ressourcen angewiesen. Die im Bereich in der industriellen Bildverarbeitung auftretenden Anforderungen weichen jedoch aufgrund hoher Ansprüche an niedrige Latenz, Echtzeitfähigkeit oder Datenlokalität von den durch große Anbieter von KI-Know-How adressierten Fragestellungen ab. Auch Fragestellungen wie Wartbarkeit, Zertifizierbarkeit oder Privacy erschweren die Nutzung populärer Modelle wie DNNs oder CNNs in der Cloud.

Aber auch im Bereich der effizienten Ausführung von KI-/ML-Verfahren auf eingebetteten Systemen (Cognitive Edge Computing) wurden in der Vergangenheit große Fortschritte gemacht. Auf allen Ebenen der unterschiedlichen Verarbeitungskonzepte in der vernetzten Produktion (Edge/Fog/Cloud-Computing) finden sich geeignete Hardwarebeschleuniger, die auf einen geeigneten Kompromiss zwischen den Systemressourcen wie benötigter Leistungsfähigkeit (z.B. Klassifikationsgenauigkeit), Leistungsaufnahme/Energiebedarf oder Datendurchsatz/Latenz abzielen. Beispiele für relevante Hardwarearchitekturen sind eingebettete Mikrocontroller, Embedded GPUs, eingebettete FPGAs oder dedizierte KI-Hardwarebeschleuniger.

Die BST Group entwickelt Systeme für die Oberflächeninspektion (z.B. für die Batteriezellproduktion), die unter anderem typische Fehler Fertigungsprozess (z. B. Beschichtungsaussetzer) verlässlich und umgehend erkennen können. Durch ihren modularen Aufbau können BST Systeme an unterschiedlichste Anwendungen perfekt angepasst werden. Bilderfassung und Fehlererkennung erfolgen in Echtzeit. Die Systeme sind anwendbar auf uniforme, texturierte sowie bedruckte Oberflächen. Die umgehende und automatische Erkennung und Anzeige auch kleinster Fehler und Abweichungen ermöglichen eine schnelle und sichere Anpassung des Prozesses zur Ausschussvermeidung. Das System besteht aus mehreren optischen Sensoren, deren Sensordaten geeignet fusioniert werden. Die Anwendung maschineller Lernverfahren verspricht hier eine höhere Leistungsfähigkeit in der Fehlererkennung und Optimierung des gesamten Prozesses. Mit Bahnlaufgeschwindigkeiten von mehreren hundert Metern pro Sekunde stellen sich allerdings sehr hohe Anforderungen an die Geschwindigkeit bzw. Latenz der eingesetzten KI-/ML-Verfahren. Bild 1 zeigt einen Überblick über die vorgeschlagene Methodik.

Aufgabenstellung

Ziel des Projektes ist die Entwurfsraumexploration von KI-/ML-Hardwarebeschleunigern für den Einsatz in der Oberflächeninspektion. Im Zentrum steht nicht nur das Lernen der Modelle auf HPC-Systemen, sondern auch die effiziente Ausführung (Inferenz). Die Betrachtung der gesamten Systemarchitektur vom intelligenten Sensor über Edge-Gateways zur lokalen Datenvorverarbeitung bis hin zur Cloud-Infrastruktur stellt hohe Anforderungen an die Abbildung der KI-Verfahren auf die Hardware. Die Wahl der Zielarchitektur hat wiederum Einfluss auf die Wahl und das Training der Modelle. Hieraus ergibt sich ein iterativer Zyklus (Model-to-Inference-to-Model), der sowohl die Auswahl geeigneter KI-Verfahren als auch die Bestimmung der (Hyper-)Parameter des Modells beinhaltet. Diesen Ansatz einer ganzheitlichen Entwurfsraumexploration kann man auch in Anlehnung an den etablierten Begriff HW/SW-Co-Design als HW-/KI-Co-Design bezeichnen. Die Entwurfsraumexploration soll dabei unterschiedlichen Entwurfsziele, wie beispielsweise Klassifikationsgenauigkeit, Latenz oder Ressourcenbedarf der Hardware berücksichtigen. Ergebnis der Entwurfsraumexploration ist die Partitionierung der Anwendung, d.h. welche KI-Verfahren können direkt auf dem Sensor ausgewertet werden (z.B. durch Dimensionsreduktion oder Feature-Extraktion), welche Verfahren können über Edge-Hardware (beispielsweise eingebettete GPU/FPGA oder dedizierte TPU-Beschleuniger) beschleunigt werden und welche erfordern leistungsfähige HPC-Hardware in der Cloud.

Bezug zum Thema Data Science

Die Evaluation und Anwendung von KI-/ML-Verfahren im Bereich des „maschinellen Sehens“ z.B. den Einsatz von CNNs in der Objektklassifikation sind ein Kernthema der Data Science und werden beispielsweise in den Modulen „Data Mining & Machine Learning“ sowie „Künstliche Intelligenz“ behandelt. Die KI-gestützte Bildverarbeitung stellt hohe Anforderungen an Organisation und Verarbeitung der Daten auf allen Ebenen der IoT-Verarbeitungskonzepte (Edge/Fog/Cloud). Dieses ist Kern des Moduls „Big Data Architekturen“. Die Betrachtung des gesamten Systemprozesses vom bildgebenden Sensor bis zur Cloud erfordert eine ganzheitliche Betrachtung des vollständigen Data Science Prozesses, welches im Modul „Data Science“ behandelt wird.

Verfügbare Ressourcen 

• Informationen, die zur Erstellung des Szenarios benötigt werden (Systembeschreibung, Schnittstellen, Dokumentationen, relevante Kennzahlen etc.) werden von der BST Group bereitgestellt
• Die BST Group stellt umfangreiche Testdatensätze aus realen Produktionsumgebungen zur Verfügung
• Der Ansprechpartner der BST Group wird über die Projektlaufzeit zur Verfügung stehen
• Die für den prototypischen Aufbau benötigten Komponenten sowie sonstiges benötigtes Material wird von der BST Group bereitgestellt
• Hardware für das komplexere Maschine Learning ist über das Data Science, das CfADS sowie dem KI-Rechencluster yourAI der FH Bielefeld verfügbar

Projektplan

Erstes Semester: Erstellung eines Forschungsexposés als Prüfungsleistung. Einarbeitung in die das Konzept der Oberflächeninspektionssysteme von BST, die Schnittstellen der zur Verfügung gestellten intelligenten Sensoren.

Zweites Semester: Erstellung des Systemkonzepts zur Entwurfsraumexploration von Cognitive-Edge-Computing-Architekturen. Recherche zu relevanten Arbeiten im Themenfeld des Einsatzes von KI-/ML-Verfahren für die Sensordatenverarbeitung im o.g. Kontext. Erstellung eines Papers, das einen Überblick über das jeweilige Forschungsgebiet gibt, als Prüfungsleistung.

Drittes Semester: Entwicklung eines ersten Demonstrators und Proof-of-Concept zur Hardwarebeschleunigung einer Anwendung zur Oberflächeninspektion von BST. Vergleich eines KI-Verfahrens mit einer klassischen Realisierung.

Viertes Semester: Masterarbeit und Kolloquium. Implementierung und Vergleich unterschiedlicher Kombinationen aus KI-/ML-Verfahren und Hardwarebeschleunigern. Systematische Evaluation und Exploration der Effizienz der Kombinationen. Vergleich verschiedener Verarbeitungskonzepte (Embedded AI, Edge, Cloud). Finale Evaluierung durch Vergleich der implementierten Strategien. Erstellung eines Papers mit ersten quantitativen Ergebnissen als Prüfungsleistung.

Eignungskriterien

Zwingend:

• Gute Erfahrung mit Python, Pytorch
• Gute Kenntnisse in C++

Optional: 

• Erfahrung mit IoT-Geräten
• Grundkenntnisse in HDL (Verilog, VHDL)
• Erfahrung mit Hardware-Design-Flow-Tools
• Programmierung von Mikrocontrollern/FPGAs 

Erfahrung mit IoT-Geräten Erwerbbare Kompetenzen

• Ressourceneffiziente Informationsverarbeitung auf den verschiedenen Ebenen (Edge, Fog, Cloud) im Sinne des IoT-Verarbeitungskonzepts
• Sensornahe Informationsverarbeitung
• KI-/ML-Verfahren
• Einsatz eingebetteter Hardware zur Beschleunigung von KI-/ML-Verfahren