Einführung in Fine-Tuning im maschinellen Lernen

Da KI für Unternehmen immer nützlicher wird und insbesondere KI-Agenten zunehmend komplexe Arbeitsabläufe übernehmen, spielt das Fine-Tuning von KI eine zentrale Rolle. Diese Agenten können Fragen zu Daten beantworten und in unserem Auftrag handeln – wie z. B. Code schreiben, Kalender verwalten, analytische Erkenntnisse präsentieren und vieles mehr. Dabei müssen KI-Modelle eng zusammenarbeiten, um Daten und Dokumentenspeicher zu analysieren, Informationen zu sammeln, deren Genauigkeit zu überprüfen, die richtigen Aktionen auszulösen und Ergebnisse zu kommunizieren. Die zugrunde liegenden Modelle beherrschen allgemeine Sprachmuster, müssen jedoch zusätzlich für spezifische Fachbereiche mit ihrer eigenen Terminologie, Wissensbasis und ihren Besonderheiten optimiert werden. Wie kann der Fine-Tuning-Prozess dazu beitragen, dass ein KI-Modell – und künftige KI-Agenten – diese Nuancen und Details richtig erfassen? Im Folgenden werden die wichtigsten Aspekte des Fine-Tunings von KI-Modellen näher betrachtet.

Was versteht man unter Feinabstimmung?

Das Fine-Tuning von KI-Modellen ist der Prozess, mit dem Data Scientists und Machine-Learning-(ML)-Ingenieure ein bereits trainiertes ML-Modell an eine spezifische Aufgabe anpassen, um dessen Leistung gezielt zu verbessern. So kann Fine-Tuning beispielsweise eingesetzt werden, um ein Allzweck-Sprachmodell (LLM) wie Cohere’s Command oder Meta’s Llama 2 für den Einsatz im Gesundheitswesen oder im Kundenservice zu optimieren.

Diese allgemeinen Modelle – oft auch „Foundation Models“ genannt – werden auf umfangreichen, breit gefächerten Datensätzen trainiert, die beispielsweise große Teile des offenen Internets umfassen. Dadurch lernen sie, eine Vielzahl von Mustern und Merkmalen zu erkennen und zu verstehen. Einige dieser Modelle sind besonders sprachstark, während andere in der Lage sind, multimodale Daten wie Bilder, Videos und Audiodateien ebenso wie Text zu verarbeiten und zu interpretieren.

Beim Fine-Tuning wird ein bereits hochentwickeltes Modell weitertrainiert – allerdings mit einem kleineren, spezifischen Datensatz, der aus einem bestimmten Aufgaben- oder Geschäftsbereich stammt. Dadurch erhält das Modell ein tieferes Verständnis für die Terminologie, den Kontext und das Fachwissen dieses Bereichs.

Das Ziel besteht darin, das umfangreiche Wissen aus dem ursprünglichen Training beizubehalten und gleichzeitig die Feinheiten und Besonderheiten des Einsatzgebiets besser zu erfassen. So kann beispielsweise ein allgemeines KI-Modell darauf trainiert werden, medizinische Bilddaten zu analysieren und zu interpretieren, oder ein auf einem LLM basierender Chatbot kann durch Fine-Tuning seine Sprachkompetenz in lokalen Dialekten verbessern, um im Kundenservice natürlicher zu agieren. Das Rennen um die Entwicklung leistungsstarker KI-Agenten in verschiedenen Branchen hängt daher maßgeblich von feinabgestimmten Modellen ab. Eine detailliertere Betrachtung der Methoden und Mechanismen des Fine-Tunings folgt im nächsten Abschnitt.

Wichtige Erkenntnisse

• KI-Fine-Tuning bezeichnet den Prozess, bei dem ein allgemeines KI-Modell weitertrainiert wird, um ihm mehr Kontext und Fachwissen für eine bestimmte Aufgabe zu vermitteln – wie z. B. für Stimmungsanalysen, Sprachgenerierung, Bilderkennung und viele andere Anwendungsfälle.
• Fine-Tuning ist eine von mehreren Methoden, um die Ergebnisse eines LLM für spezifische Anwendungen – einschließlich KI-Agenten – zu optimieren.
• Im Vergleich zum Training eines KI-Modells von Grund auf sind für das Fine-Tuning deutlich kleinere Datensätze erforderlich.
• Nach dem Fine-Tuning kann ein KI-Modell in einem bestimmten Fachgebiet, wie z. B. im Gesundheitswesen, in der Fertigung oder im Kundenservice, präziser und kontextbezogener agieren.

Vorteile und Herausforderungen beim Fine-Tuning

Eine der größten Herausforderungen beim Fine-Tuning von KI-Modellen ist die Verfügbarkeit hochwertiger, annotierter Daten, die für den jeweiligen Anwendungsfall relevant sind. Die Beschaffung oder Erstellung solcher Daten ist oft kostspielig und zeitaufwendig. So kann die Datenannotation beispielsweise bedeuten, stundenlang Bereiche in Bildern zu markieren, die eine KI erkennen soll, oder Textabschnitte zu kennzeichnen, die wichtige Informationen enthalten. Trotzdem bietet das Fine-Tuning erhebliche Vorteile, die es zu einer unverzichtbaren Methode in der modernen KI-Entwicklung machen. Schauen wir uns einige Vor- und Nachteile an.

Vorteile

• Sparsam im Vergleich zum vollständigen Training eines KI-Modells: Das Fine-Tuning eines Basismodells bietet mehrere Vorteile – darunter deutlich kürzere Trainingszeiten und geringere Rechenkosten. Da das Basismodell bereits umfassend auf allgemeinen Daten trainiert wurde, benötigt es wesentlich weniger Zeit und Ressourcen, um sich an eine neue Aufgabe anzupassen. Feinabstimmung kann auch mit kleineren, aufgabenspezifischen Datensätzen wirksam sein. Dadurch sinken Zeit- und Kostenaufwand für Datenerfassung und -aufbereitung. Die verkürzte Trainingszeit und der geringere Rechenaufwand führen zudem zu einem niedrigeren Energieverbrauch, was die Gesamtkosten weiter reduziert.
• Bessere Leistung für spezifische Aufgaben: Durch die Feinabstimmung von Basismodellen lassen sich Genauigkeit und Konvergenzgeschwindigkeit deutlich verbessern. „Konvergenz“ bezeichnet dabei den Punkt, an dem die Fehlerrate eines ML-Modells konstant bleibt und keine weiteren Genauigkeitssteigerungen durch zusätzliches Training auf demselben Datensatz zu erwarten sind. Basismodelle können schnell an die Besonderheiten neuer Aufgaben angepasst werden – mit weniger Daten und weniger Trainingsdurchläufen. Diese Kombination aus allgemeinem Wissen und aufgabenspezifischem Lernen ermöglicht es dem Modell, auch bei neuen Daten überzeugende Ergebnisse zu liefern.

Nachteile

• Overfitting: Overfitting bei der Feinabstimmung von KI-Modellen tritt auf, wenn die Trainingsdurchläufe mit neuen Daten zu intensiv sind und dadurch Schichten überschrieben werden, die für das allgemeine Wissen des Modells wichtig sind. Dieses allgemeine Wissen und die sprachliche Flexibilität des Basismodells sind entscheidend, damit es auch bei neuen Daten gute Ergebnisse liefert. Bei Overfitting beginnt das Modell, die Trainingsdaten auswendig zu lernen, statt die zugrunde liegenden Muster zu verstehen, die ihm helfen, auf neue Beispiele zu generalisieren.
• Kosten: Die für die Feinabstimmung von KI-Modellen benötigten Compute-Ressourcen und das Fachwissen können kostspielig sein. Der Prozess erfordert leistungsstarke GPUs oder TPUs (Tensor Processing Units), deren Anschaffung oder Anmietung über Cloud-Anbieter teuer sein kann. Ebenso entstehen hohe Kosten für die Einstellung von Experten im Bereich Machine Learning und Natural Language Processing.
• Zeit: Die Feinabstimmung kann auf verschiedene Weise zeitaufwendig sein. Zunächst muss der Datensatz vorbereitet werden, indem Daten gesammelt, bereinigt, annotiert und formatiert werden. Ist der Prozess gestartet, kann die Feinabstimmung je nach Umfang und Komplexität der Aufgabe Stunden, Tage oder sogar Wochen dauern. Mehr Zeit bedeutet höhere Kosten für die Rechenleistung.

Funktionsweise der Feinabstimmung

KI-Feinabstimmung nutzt bestehende Modelle als Ausgangspunkt. Diese Basismodelle (Foundation Models) – wie z. B. Metas Llama 2 oder Cohere Command – sind in der Regel über Cloud-Anbieter verfügbar. Viele Unternehmen importieren andere Modelle auf ihre Data-Science-Plattformen aus zentralen Repositorys wie Hugging Face, TensorFlow Hub oder PyTorch Hub, die vortrainierte Machine-Learning-Modelle bereitstellen.

Mit einem vortrainierten Modell beginnen

Wählen Sie ein Modell, das gut zu Ihrer Aufgabe passt – sei es Textklassifizierung, Stimmungsanalyse, Beantwortung von Fragen, Texterstellung, Codegenerierung, Objekterkennung oder eine andere Anwendung im Bereich KI oder ML.

Für die Feinabstimmung eines KI-Modells sind drei wesentliche Komponenten erforderlich: ein korrekt formatierter Datensatz, ein geeignetes Basismodell und eine Infrastruktur mit neuronalen Netzen für Deep Learning sowie GPUs zur Unterstützung des Trainingsprozesses. Diese Ressourcen werden häufig auf einer Data-Science-Plattform oder zunehmend in einem Generative-AI-Cloud-Service gebündelt.

Wie so oft in der Technologiebranche ist auch der Feinabstimmungsprozess durch neue Tools und Infrastrukturdienste aus Open-Source-Projekten und Cloud-Entwicklungsteams deutlich einfacher geworden. Diese Tools helfen, komplexe Schritte wie die Hyperparameter-Optimierung, Modellauswahl und Datenvorverarbeitung zu automatisieren. Dadurch wird der Prozess auch für Nicht-Experten zugänglicher.

Tatsächlich haben Branchenbeobachter festgestellt, dass die heutigen Tools so weit fortgeschritten sind, dass sie viele datenwissenschaftliche Details der Feinabstimmung vereinfachen. Die größte Herausforderung besteht daher zunehmend darin, den bestmöglichen Datensatz zu sammeln und zu formatieren. Auch hierfür stehen inzwischen umfangreiche Datenbibliotheken für verschiedene Branchen – wie z. B. Gesundheitswesen und Finanzwesen – sowie für bestimmte Anwendungsbereiche wie Computer Vision, Sentimentanalyse oder Anomalieerkennung zur Verfügung. Ein wachsender Trend besteht darin, ein Modell zu verwenden, das für die jeweilige Aufgabe bereits mit diesen Bibliotheken feinabgestimmt wurde. Anschließend kann das Unternehmen eine weitere Feinabstimmung mit einem kleineren Datensatz durchführen und gegebenenfalls eine Retrieval-Augmented-Generation- (RAG-)Architektur einsetzen, um die KI-Ergebnisse weiter zu verbessern.

Unternehmen kombinieren traditionelle Feinabstimmungsmethoden zunehmend mit einer Technik namens Reinforcement Learning. Dabei lernt das KI-Modell durch Versuch und Irrtum sowie Selbstverbesserung – anstatt ausschließlich auf gelabelte Datensätze und überwachte Feinabstimmung angewiesen zu sein.

Optimieren eines KI-Modells in vier Schritten

1. Ein vortrainiertes Modell verwenden: Der erste Schritt besteht darin, ein Basismodell (Foundation Model) auszuwählen, das zur jeweiligen Aufgabe passt. Es gibt bewährte Modelle für Natural Language Processing, Computer Vision, Textgenerierung und viele weitere Anwendungsbereiche.

2. Neue Daten hinzufügen: Im nächsten Schritt wird ein aufgabenspezifischer Datensatz zusammengestellt und vorbereitet. Dieser kann beispielsweise aus gelabelten Kundenbewertungen oder Beispiel-Fragen und -Antworten aus dem Themenbereich bestehen, den das Modell abdecken soll.

3. Anpassen: Im dritten Schritt wird das Modell bei Bedarf angepasst. Dazu kann gehören, bestimmte Schichten „einzufrieren“, um das bisher erlernte Wissen des Modells zu bewahren, die Lernrate anzupassen, um dieses Wissen ebenfalls zu erhalten, oder neue Schichten hinzuzufügen, in denen völlig neue Aufgaben erlernt werden – wie beispielsweise eine Klassifikationsschicht für Textklassifizierungen oder eine Regressionsschicht für Vorhersagen.

4. Modell trainieren: In diesem Schritt werden die neuen Daten durch das Modell geleitet und die Modellparameter aktualisiert. Ziel ist es, die Leistung des Modells für die jeweilige Aufgabe zu optimieren, ohne dabei das allgemeine Wissen aus dem ursprünglichen Training zu verlieren.

Techniken und Methoden der Feinabstimmung

Bei der Feinabstimmung eines Modells steht eine Vielzahl von Techniken zur Auswahl. Die erste Entscheidung besteht darin, ob eine vollständige oder eine selektive Feinabstimmung erforderlich ist.

Vollständige Feinabstimmung

Die vollständige Feinabstimmung ist ein Prozess, bei dem alle Schichten und Parameter eines Basismodells während des Trainings aktualisiert werden. Diese Methode eignet sich besonders, wenn ein großer und vielfältiger Datensatz vorliegt, der die Parameter des Modells ausreichend anpassen kann, ohne dass Overfitting entsteht.

Selektive Feinabstimmung

Bei der selektiven Feinabstimmung werden nur bestimmte Schichten oder Parameter des Modells mit einem kleineren Datensatz aktualisiert. Diese Methode ist vorteilhaft, um das allgemeine Wissen des Basismodells zu bewahren und gleichzeitig den Zeit- und Rechenaufwand des Trainings zu reduzieren. Nachfolgend sind einige Beispiele für Techniken der selektiven Feinabstimmung aufgeführt.

• Datenaugmentation: Dabei wird aus dem vorhandenen Datensatz zusätzlicher Trainingsinhalt erzeugt, indem Transformationen angewendet werden. Bei Bildern können dies Drehung, Skalierung, Zuschneiden oder das Hinzufügen von Rauschen sein. Diese Methode kann die Feinabstimmungsleistung verbessern, wenn der aufgabenspezifische Datensatz klein ist.
• Early Stopping: Diese Technik überwacht den Trainingsfortschritt und beendet das Training, sobald sich die Leistung auf einem Validierungsdatensatz nicht mehr verbessert. Dies steigert die Effizienz und hilft, Overfitting zu vermeiden.
• Ensemble-Methoden: Hierbei werden mehrere feinabgestimmte Modelle kombiniert, um die Varianz in den Modellausgaben zu verringern.
• Feinabstimmung bestimmter Schichten: Diese Methode macht die Feinabstimmung effizienter, indem nur die oberen Schichten eines tiefen neuronalen Netzes angepasst werden, während tiefere Schichten gesperrt oder „eingefroren“ bleiben.
• Hyperparameter-Tuning: Dabei werden verschiedene Parameter des Feinabstimmungsprozesses – wie z. B. Lernrate oder Batchgröße – gezielt angepasst.
• Layer Freezing: Hier werden die Schichten des Basismodells, die für grundlegendes und universelles Verständnis zuständig sind, gesperrt. Dies hilft, Overfitting zu vermeiden, bei dem das Modell die Trainingsdaten auswendig lernt, statt übertragbare Muster zu erkennen, die eine korrekte Verarbeitung neuer Daten ermöglichen.
• Learning-Rate-Planung: Eine langsamere Lernrate erlaubt feinere und präzisere Anpassungen der Modellparameter. Dabei wird die Lernrate schrittweise reduziert, sodass das Modell neue Informationen effizienter lernt, indem es kleinere Schritte macht, wenn es sich der optimalen Lösung nähert.
• Regularisierungstechniken: Diese Methoden werden gezielt eingesetzt, um Overfitting zu verhindern.
• Transfer Learning: Dabei wird ein Basismodell mit einem kleineren, aufgabenspezifischen Datensatz weitertrainiert.

Feinabstimmung im Vergleich zum vollständigen Training

In einigen Anwendungsfällen kann es sinnvoll sein, ein KI-Modell von Grund auf neu zu entwickeln und zu trainieren. In den meisten Fällen jedoch lässt sich das gewünschte Ergebnis durch die Feinabstimmung eines Basismodells erreichen.

Das Training eines KI-Modells von Grund auf kann in einigen Fällen die bessere Wahl sein. Ein Beispiel dafür ist ein besonders anspruchsvolles Fachgebiet, wie beispielsweise eine spezialisierte medizinische Anwendung mit sehr spezifischen Bilddaten. Das vollständige Training erfordert den Aufbau eines umfangreichen Datensatzes und zahlreiche Trainingsdurchläufe auf KI-spezifischer Infrastruktur. Dies kann sehr kostspielig sein und den Einsatz von Tausenden GPUs sowie Investitionen in Millionenhöhe erfordern. Zudem wird dafür die Expertise von Data Scientists und ML-Ingenieuren benötigt.

Die Feinabstimmung eines KI-Modells hingegen nutzt ein vorhandenes Basismodell, das mithilfe eines kleineren, aufgabenspezifischen Datensatzes an eine bestimmte Aufgabe angepasst wird. Dieser Prozess ist oft schneller und effizienter, da das Modell bereits über ein solides Fundament aus Sprachverständnis und allgemeinem Wissen verfügt und nur noch an die Besonderheiten der neuen Aufgabe angepasst werden muss. Dadurch lässt sich die Leistungsfähigkeit des KI-Modells gezielt verbessern – mit deutlich weniger Aufwand bei der Datensammlung, -aufbereitung und erheblich weniger Trainingsdurchläufen als beim vollständigem Training. Weitere Vorteile der Feinabstimmung finden Sie unten.

Häufige Anwendungsfälle für die Feinabstimmung

Unternehmen aller Größen und Branchen – von Start-ups bis hin zu multinationalen Konzernen – nutzen die Feinabstimmung vortrainierter Modelle. Tatsächlich entwickelt sich diese Praxis zunehmend zum Standard für Organisationen, die KI einsetzen möchten, da sie es ermöglicht, Systeme gezielt an individuelle Anforderungen anzupassen, ohne die enormen Investitionen eines vollständigen Modelltrainings tätigen zu müssen. Nachfolgend sind einige Anwendungsbeispiele aufgeführt.

Beispiele aus der Praxis

Organisationen aus Bereichen wie Finanzwesen, Logistik, Gesundheitswesen und vielen weiteren Branchen integrieren feinabgestimmte generative KI zunehmend in ihre täglichen Abläufe. Diese Beispiele aus der Praxis zeigen die Vielfalt aktueller Einsatzmöglichkeiten. Hier sind drei spezifische Beispiele:

• Kundenservice: Ein Unternehmen für Industriesicherheitslösungen implementierte ein KI-gestütztes Tool, das seine Kundenserviceprozesse deutlich verbesserte. Das Team nutzt ein feinabgestimmtes Cohere Command R+ LLM, um Kundenanfragen zu verarbeiten und präzise Antworten zu generieren.
• Gesundheitswesen: Forscher einer Universität setzen KI ein, um Patientendaten detaillierter zu analysieren und neue Krebstherapien zu entwickeln. Sie verwenden Cloud-Infrastrukturen, um LLMs in großem Maßstab zu hosten, auszuführen und zu verfeinern.
• Dienstleistungsbranche: Ein auf angewandte KI spezialisiertes Unternehmen in Brasilien stimmt LLMs zur Unterstützung der Erinnerungstherapie ab – einer bewährten psychologischen Behandlung, die Patienten mit kognitivem Abbau hilft.

Die Zukunft der Feinabstimmung

Die Feinabstimmung von KI entwickelt sich rasant weiter – insbesondere, da immer mehr KI-Agenten auf feinabgestimmte Modelle angewiesen sind. Die Zukunft verspricht mehr Automatisierung, neue Methoden und eine größere Vielfalt an Modelloptionen, die Unternehmen dabei helfen, KI-Modelle gezielt an ihre Anforderungen anzupassen.

Zu diesen Innovationen zählen verbesserte ML-Services, die die Feinabstimmung automatisieren, einschließlich Hyperparameter-Optimierung, Modellauswahl und Datenvorverarbeitung. Zudem ist zu erwarten, dass kontextabhängige Datenaugmentierungstechniken dem Modell ermöglichen, relevantere Merkmale schneller zu erlernen, während dynamisches Lernen es erlaubt, die Lernrate im laufenden Prozess anzupassen. Darüber hinaus werden Entwickler von ML- und Basismodellen voraussichtlich weiterhin vielseitigere und leistungsstärkere Modelle veröffentlichen, die Wissen über verschiedene Modalitäten hinweg übertragen und für Aufgaben feinabgestimmt werden können, die das Verständnis unterschiedlicher Datentypen erfordern. Die größte Herausforderung wird darin bestehen, eine Dateninfrastruktur aufzubauen, die flexibel genug ist, um diese Innovationen bei ihrer Einführung optimal zu nutzen.

Optimieren Sie Ihre KI-Modelle mit GenAI-Lösungen

Wussten Sie, dass Oracle Cloud Infrastructure (OCI) alles bietet, was Sie benötigen, um Machine-Learning- und Foundation-Modelle zu optimieren? Oracle stellt die physische Infrastruktur, die Datenverarbeitungsumgebung, die Data-Science-Plattform sowie GenAI-Dienste als vollständig verwaltete Services bereit. Der GenAI-Service von OCI ermöglicht eine einfache und nahtlose Integration vielseitiger LLMs in einem benutzerfreundlichen Service. Damit lassen sich Modelle für zahlreiche Anwendungsfälle feinabstimmen – darunter Texterstellung, Zusammenfassung, Analyse und Chatfunktionen.

Gleichzeitig können Ihre Data Scientists und ML-Ingenieure über die Data-Science-Plattform von Oracle gemeinsam an der Entwicklung, dem Training und der Bereitstellung von ML-Modellen arbeiten – mit Python und Open-Source-Tools. Eine auf JupyterLab basierende Umgebung bietet sämtliche Ressourcen, um Modelle zu entwickeln, zu testen und mit NVIDIA-GPUs sowie verteiltem Training zu skalieren. Bringen Sie Modelle in die Produktion und sichern Sie ihre Leistungsfähigkeit mit MLOps-Funktionen wie automatisierten Pipelines, Modellbereitstellungen und Modellüberwachung.

Häufig gestellte Fragen zur Feinabstimmung

Worin unterscheidet sich die Feinabstimmung von anderen Trainingsarten?

Die Feinabstimmung von KI-Modellen unterscheidet sich vom vollständigen Training eines Modells. Es handelt sich um den Prozess, bei dem einem bereits fortgeschrittenen Basismodell zusätzliche Trainingsrunden hinzugefügt werden, um kontextrelevantere Ergebnisse für eine bestimmte Aufgabe zu erzielen. Die Feinabstimmung erfordert in der Regel weniger Daten und ist weniger zeitaufwendig und kostspielig als die vollständige Entwicklung und das Training eines neuen Modells.

Kann die Feinabstimmung mit jedem Modelltyp verwendet werden?

Die KI-Feinabstimmung kann bei Basismodellen in einer Vielzahl von Anwendungsfällen eingesetzt werden – wie z. B. in der Bilderkennung, Textklassifizierung, Sprachgenerierung, Audioausgabe oder anderen Ausgabebereichen.