Finetuning von KI-Bildgeneratoren zur Erzeugung von Trainingsdaten für industrielle Anwendungen

Projektübersicht

Abstrakt

Ziel des Projekts ist die Untersuchung und Entwicklung von Methoden zum Finetuning von KI-Bildgeneratoren, um synthetische Trainingsdaten für industrielle Anwendungen zu erzeugen. Dabei sollen KI-basierte Bildgeneratoren so angepasst werden, dass sie Bilder erzeugen, die den realen Anwendungsfällen ausreichend ähnlich sind. Dies soll ermöglichen, dass nur wenige Realbilder aufgenommen und gelabelt werden müssen, um anschließend durch den Generator einen großen virtuellen Datensatz mit hoher Varianz zu erzeugen.

Kurzbeschreibung

Die industrielle Bildverarbeitung erfordert große Datensätze mit gelabelten Bildern, um KI-basierte Methoden (besonders im Deep Learning) effektiv trainieren und evaluieren zu können. KI-basierte Bildgeneratoren, wie Diffusion Modelle, haben sich in der Erzeugung synthetischer Bilder stark verbessert. Die generierten Bilder unterscheiden sich aber von denen der im industriellen Kontext sehr speziellen Anwendungen noch zu stark, um sie direkt für das Trainieren eines KI-Modells verwenden zu können. Das Projekt zielt darauf ab, diese Bildgeneratoren zu finetunen, um für industrielle Anwendungen nutzbare Bilder zu erzeugen. Dies würde den Bedarf an umfangreichen Realbildern reduzieren und die Effizienz der Datensatzerstellung erhöhen.

Die Firma Herbert Kannegiesser GmbH stellt Maschinen für industrielle Großwäschereien her und setzt zunehmend KI-basierte Bildverarbeitung zur Realisierung ihrer Aufgabenstellungen ein. Für diese Anwendungen werden große Mengen an Bilddaten benötigt, die regelmäßig neu aufgenommen und manuell gelabelt werden müssen. Das Projekt soll untersuchen, wie KI-Bildgeneratoren durch Finetuning angepasst werden können, um synthetische Bilder zu erzeugen, die den realen Anwendungsfällen ausreichend ähnlich sind. Dies würde den Aufwand für Datenerhebung und -labeling erheblich reduzieren und die Entwicklung von KI-Modellen beschleunigen.

Das Projekt umfasst die Auswahl geeigneter Bildgeneratoren, die Entwicklung von Finetuning-Methoden und die Bewertung der erzeugten Bilder hinsichtlich ihrer Nutzbarkeit für das Training von KI-Modellen.

Aufgabenstellung

In diesem Projekt werden Methoden zum Finetuning von KI-Bildgeneratoren entwickelt, um synthetische Trainingsdaten für industrielle Anwendungen zu erzeugen. Dazu sollen geeignete Bildgeneratoren identifiziert und Finetuning-Methoden entwickelt und evaluiert werden. Die Evaluierung umfasst das Training und den Vergleich von Algorithmen auf Basis der erzeugten synthetischen Bilder.

Das Ziel ist die Entwicklung eines Prototyps, der durch Finetuning eines KI-Bildgenerators einen großen virtuellen Datensatz erzeugt, der für industrielle Anwendungen nutzbar ist. Aus der Arbeit soll hervorgehen, welche Bildgeneratoren und Finetuning-Methoden die beste Performanz für den Anwendungsfall bieten.

Bezug zum Thema Data Science

Die verwendeten Methoden der Bildverarbeitung und des Maschinellen Lernens sind Bestandteil der Veranstaltungen im Forschungsmaster und Kernbereiche der Data Science. Die Bewertung und Anwendung von KI/ML-Methoden, wie beispielsweise der Einsatz von Generative Adversarial Networks (GANs) oder Diffusion Modellen, sind zentrale Themen der Data Science. Zudem steht die Aufnahme und Verarbeitung von Bilddaten im Fokus, was hohe Anforderungen an die Organisation und Verarbeitung der Daten stellt.

Verfügbare Ressourcen

• Bildgeneratoren: Benötigte Materialien wie der Datensatz mit den Realbildern wird von der Herbert Kannegiesser GmbH zur Verfügung gestellt.

• Rechenressourcen: Hardware für komplexere Machine Learning Aufgaben ist über die Hochschule Bielefeld, sowie über die Herbert Kannegiesser GmbH verfügbar.
• Projektbetreuung: Eine Ansprechperson von Herbert Kannegiesser GmbH wird über die Projektlaufzeit zur Verfügung stehen

Projektplan

Erstes Semester: Erstellung eines Forschungsexposés ist Prüfungsleistung. Einarbeitung in das Konzept verschiedener Bildgeneratoren und Finetuning-Methoden.

Zweites Semester: Erstellung des Systemkonzepts für das Finetuning mit Blick auf den konkreten Anwendungsfall. Recherche zu relevanten Arbeiten im Bereich Bildgenerierung und zugehöriger Einsatz von KI-Verfahren. Erstellung eines Papers, das einen Überblick über das jeweilige Forschungsgebiet gibt, ist Prüfungsleistung.

Drittes Semester: Praktische Umsetzung des Finetunings mit konkreten Bildgeneratoren und eigener Datenerhebung. Umsetzung verschiedener Finetuning-Methoden und maschineller Lernverfahren zur Bildgenerierung sowie deren Evaluation. Erstellung eines Papers, mit ersten quantitativen Ergebnissen ist Prüfungsleistung.

Viertes Semester: Masterarbeit und Kolloquium. Finale Evaluation durch Vergleich der implementierten Strategien.

Eignungskriterien

• Zwingend: Gute Kenntnisse von Python und PyTorch
• Optional: Erfahrung mit dem Versions-Kontroll-System „git“, erste Erfahrung zu Datenanalysen, in Python-Bibliotheken, OpenCV, TensorFlow oder Scikit-Learn

Erwerbbare Kompetenzen

• Anwendung und Finetuning von KI-Bildgeneratoren
• KI/ML-Methoden
• Bilddatenverarbeitung
• Kompetenzen in der Arbeit im Team