Einführung in Fine-Tuning im maschinellen Lernen

Da KI insbesondere für Unternehmen und KI-Agenten nützlich wird, komplexere Workflows zu übernehmen, wird die KI-Feinabstimmung ein wichtiger Teil der Geschichte sein. Diese Agents können Fragen zu Daten beantworten und in unserem Namen Maßnahmen ergreifen – Code schreiben, Kalender verwalten, analytische Erkenntnisse präsentieren und vieles mehr. Auf dem Weg dorthin müssen KI-Modelle zusammenarbeiten, um Daten und Dokumentenspeicher zu untersuchen, Informationen zu sammeln, ihre Genauigkeit zu überprüfen, die richtigen Aktionen auszulösen und zu kommunizieren. Die ausgeklügelten KI-Modelle werden sich mit allgemeinen Sprachmustern auskennen, müssen jedoch auch für bestimmte Bereiche mit eigenem Sprachgebrauch, eigener Wissensdatenbank und mehr optimiert werden. Wie kann der Feinabstimmungsprozess einem KI-Modell und zukünftigen KI-Agenten helfen, die Nuancen und Details richtig zu machen? Im Folgenden werden die Aspekte des Fine-Tunings für KI-Modelle erläutert.

Was ist Fine-Tuning?

Die Feinabstimmung von KI-Modellen ist der Prozess, mit dem Data Scientists und Machine Learning-(ML-)Ingenieure ein trainiertes ML-Modell anpassen, um bei einer bestimmten Aufgabe eine bessere Leistung zu erzielen. Mit der Feinabstimmung kann beispielsweise ein allgemeines Large Language Model (LLM) wie Cohere's Command oder Meta's Llama 2 verwendet werden, um die Konversation in einer Gesundheitseinrichtung oder einer Kundenservicerolle zu verbessern.

Diese sogenannten Foundation-Modelle werden mit umfangreichen, allgemeinen Datensätzen trainiert – oft basierend auf nahezu dem gesamten frei verfügbaren Internet. Dies hilft ihnen, eine breite Palette von Funktionen und Mustern zu lernen und zu verstehen. Einige haben einen guten Umgang mit Sprache; andere können multimodale Daten wie Bilder, Video und Audio sowie Text erkennen und bearbeiten.

Die Feinabstimmung basiert auf diesem ausgeklügelten Modell und setzt das Training auf einem kleineren Datensatz fort, der aus einer bestimmten Aufgabe oder Geschäftsdomäne stammt. Dies gibt dem Modell ein Verständnis für die Taxonomie, den Kontext und sogar das spezialisierte Wissen in diesem Bereich.

Die Idee ist, das umfassende Wissen aus dem ursprünglichen Trainingsschema des Modells zu erhalten und ihm gleichzeitig ein besseres Verständnis der Nuancen und Details des Bereichs zu vermitteln, in dem das KI-Modell funktionieren wird. Beispielsweise kann ein Allzweck-KI-Modell darauf abgestimmt werden, medizinische Bildgebung zu lesen und zu diskutieren, oder ein LLM-gesteuerter Chatbot, der in lokalen Dialekten fließender wird, kann verfeinert werden, um seine Rolle im Kundenservice zu verbessern. Der Wettlauf um den Aufbau von hochleistungsfähigen KI-Agenten in einer Vielzahl von Domains hängt oft von fein abgestimmten Modellen ab. Im Folgenden finden Sie eine tiefere Diskussion über die Methoden und Mechanismen der Feinabstimmung.

Wichtige Erkenntnisse

• KI-Feinabstimmung ist der Prozess des Trainings eines universellen KI-Modells, um ihm mehr Kontext und Wissen für eine bestimmte Aufgabe zu geben, wie Sentimentanalyse, Sprachgenerierung, Bilderkennung und viele andere Workloads.
• Die Feinabstimmung ist eine der mehreren Methoden zur Verbesserung der Ausgaben eines LLM für Anwendungen, einschließlich KI-Agenten.
• Für die Feinabstimmung im Vergleich zum Training eines KI-Modells sind wesentlich kleinere Trainingsdatensätze erforderlich.
• Nach der Feinabstimmung kann ein KI-Modell in einem bestimmten Bereich, z. B. in der Medizin, in der Fertigung oder im Kundenservice, vertrauter und genauer sein.

Vorteile und Herausforderungen beim Fine-Tuning

Eine der größten Herausforderungen für Teams bei der KI-Feinabstimmung ist die Verfügbarkeit hochwertiger, beschrifteter Daten, die für ihre Anwendungsfälle relevant sind. Das Anfordern oder Erstellen solcher Daten kann teuer und zeitaufwendig sein. Beispiel: Das Beschriften von Daten kann bedeuten, dass Bereiche in Bildern stundenlang notiert werden, die eine KI erkennen sollte, oder dass Textabschnitte beschriftet werden, um wichtige Informationen hervorzuheben. Dennoch bietet die Feinabstimmung überzeugende Vorteile, die sie zu einer entscheidenden Technik in der modernen KI-Entwicklung machen. Schauen wir uns einige Vor- und Nachteile an.

Vorteile

• Einsparung von Zeit und Geld im Vergleich zum Training eines KI-Modells von Grund auf: Die Feinabstimmung eines Basismodells bietet mehrere Vorteile, darunter eine erheblich kürzere Trainingszeit und geringere Rechenkosten, da Basismodelle bereits über eine umfangreiche allgemeine Schulung verfügen und weniger Zeit und Ressourcen benötigen, um sich an eine neue Aufgabe anzupassen. Darüber hinaus kann die Feinabstimmung auch bei kleineren, aufgabenspezifischen Datensätzen wirksam sein, was die Zeit und Kosten im Zusammenhang mit der Datenerfassung und -vorverarbeitung reduzieren kann. Die reduzierte Trainingszeit und der rechnerische Bedarf an Feinabstimmung können auch zu einem geringeren Energieverbrauch führen, was die Kosten senkt.
• Bessere Performance für bestimmte Aufgaben: Die Feinabstimmung von Basismodellen kann zu einer höheren Genauigkeit und schnelleren Konvergenz führen, wobei die Konvergenz der Punkt ist, an dem die Fehlerrate eines ML-Modells konstant wird, was darauf hinweist, dass es seine Genauigkeit nicht weiter verbessern wird, wenn mehr Schulungen zu demselben Dataset durchgeführt werden. Mit weniger Daten und weniger Trainingswiederholungen lassen sich Foundation-Modelle schnell an die Nuancen einer neuen Aufgabe anpassen. Diese Kombination aus allgemeinem Wissen und aufgabenspezifischem Lernen hilft dem Modell, eine gute Leistung zu erzielen, wenn es auf neue Daten trifft.

Nachteile

• Überanpassung: Die Überanpassung bei der KI-Feinabstimmung erfolgt, wenn die Trainingsrunden auf neuen Daten zu gründlich sind und am Ende überschreibende Ebenen entstehen, die dem Modell mit allgemeinem Wissen helfen. Dieses allgemeine Wissen und die Sprachflexibilität des Foundation-Modells sind entscheidend, um eine gute Leistung zu erzielen, wenn neue Daten vorliegen. Bei der Überanpassung beginnt das Modell, sich die Trainingsdaten zu merken, anstatt die zugrunde liegenden Muster zu erlernen, die es ermöglichen, sich zu verallgemeinern, damit es neue Beispiele verarbeiten kann.
• Kosten: Die Rechenressourcen und das Fachwissen, das für die Feinabstimmung von KI-Modellen erforderlich ist, können kostspielig sein. Der Prozess basiert auf Hochleistungs-GPUs oder TPUs (Ttensor-Verarbeitungseinheiten), die bei einem Cloud-Anbieter teuer zu kaufen oder zu mieten sind. Es kann auch teuer sein, die benötigten Experten für maschinelles Lernen und Natural Language Processing einzustellen.
• Zeit: Die Feinabstimmung kann auf mehrere Arten zeitaufwendig sein. Zuerst gibt es Zeit, die Daten vorzubereiten, die Sammlung, Reinigung, Annotation und Formatierung umfassen können. Sobald der Feinabstimmungsprozess im Gange ist, kann die Feinabstimmung je nach Größe und Komplexität der Aufgabe Stunden, Tage oder sogar Wochen dauern. Mehr Zeit führt zu höheren Kosten für die Rechenzeit.

Wie Fine-Tuning funktioniert

Die KI-Feinabstimmung funktioniert, indem vorhandene Modelle als Ausgangspunkt verwendet werden. Diese Basismodelle, wie Meta's Llama 2 oder Cohere's Command, sind häufig bei Cloud-Providern verfügbar. Viele Unternehmen bringen andere Modelle von zentralen Repositorys wie Hugging Face, TensorFlow Hub und PyTorch Hub auf ihre Data Science-Plattformen, die vortrainierte Modelle für maschinelles Lernen hosten.

Mit einem vortrainierten Modell beginnen

Wählen Sie ein Modell, das für Ihre Aufgabe geeignet ist, unabhängig davon, ob es sich um das Klassifizieren von Text, das Analysieren von Stimmungen, das Beantworten von Fragen, das Schreiben von Artikeln, das Generieren von Code, das Erkennen von Objekten oder um einen anderen Job handelt, der KI oder ML erfordert.

Die Feinabstimmung eines KI-Modells erfordert drei grundlegende Bestandteile: eine Sammlung korrekt formatierter Daten, das richtige Fundamentmodell und eine Infrastruktur, die neuronale Netzwerke für Deep Learning und die GPUs zur Unterstützung des Trainingsregimes bereitstellt. Diese Ressourcen werden oft in einer Data-Science-Plattform oder in jüngerer Zeit in einem generativen KI-Cloud-Service zusammengestellt.

Wie bei der Technologie ist der KI-Feinabstimmungsprozess im Laufe der Zeit dank neuer Tools und Infrastrukturservices von Open-Source-Projekten und Entwicklungsteams von Cloud-Anbietern einfacher geworden. Diese Tools und Services helfen bei der Automatisierung der Feinabstimmung – einschließlich komplexer Aufgaben, die wir besprechen, wie Hyperparameteroptimierung, Modellauswahl und Datenvorverarbeitung. Das macht den Prozess für Nicht-Experten zugänglicher.

Tatsächlich beobachten Branchenexperten, dass moderne Tools die Feinheiten des Data-Science-Tunings so stark abstrahieren, dass heute das Sammeln und Aufbereiten der bestmöglichen Datensätze zur größten Herausforderung geworden ist. Auch hier gibt es Bibliotheken von Daten, die für verschiedene Bereiche wie Gesundheitswesen und Finanzen bereit sind, sowie Funktionen wie Computer Vision, Sentimentanalyse oder Anomalieerkennung. In der Tat besteht ein wachsender Trend darin, ein Modell für Ihren Anwendungsfall zu verwenden, das bereits für diese Aufgabe mit diesen Bibliotheken optimiert wurde. Von dort aus könnte das Unternehmen mit einem kleineren Dataset weiter optimieren und möglicherweise eine Retrieval-Augmented Generation oder RAG-Architektur verwenden, um die KI-Ausgaben weiter zu verbessern.

Unternehmen haben Wege gefunden, traditionelle Feinabstimmungsmethoden mit einer Technik zu ergänzen, die als Verstärkungslernen bezeichnet wird. Dies ermöglicht es KI-Modellen, durch Versuch und Irrtum und Selbstverbesserung zu lernen, anstatt einen separaten Prozess der Dataset-Kennzeichnung und der überwachten Feinabstimmung zu verwenden.

Optimieren eines KI-Modells in vier Schritten

1. Vorgeschultes Modell verwenden: Der erste Schritt besteht darin, ein Basismodell auszuwählen, das für die Aufgabe geeignet ist. Es gibt beliebte Modelle für Natural Language Processing, Computer Vision, Textgenerierung und andere Bereiche.

2. Neue Daten hinzufügen: Erfassen und bereiten Sie als Nächstes ein aufgabenspezifisches Dataset vor. Diese können aus beschrifteten Kundenbewertungen oder Beispielfragen und Antworten in der Domain bestehen, die Ihr Modell ansprechen soll.

3. Anpassen: Im dritten Schritt wird das Modell nach Bedarf angepasst. Anpassungen können das Einfrieren von Schichten umfassen, um das vorherige Lernen des Modells beizubehalten; die Anpassung der Lernrate, die auch dazu beitragen kann, das vorhandene Wissen des Modells zu erhalten; und das Hinzufügen von Schichten, in denen völlig neue Aufgaben erlernt werden, wie eine Klassifizierungsschicht für eine Textklassifizierung oder eine Regressionsschicht für Vorhersagen.

4. Modell trainieren: Bei diesem Prozess werden die neuen Daten durch das Modell eingegeben und die Parameter des Modells aktualisiert. Das Ziel ist es, die Leistung des Modells Ihrer Aufgabe zu verfeinern und gleichzeitig das allgemeine Wissen aus der ersten Schulung zu erhalten.

Techniken und Methoden im Fine-Tuning

Bei der Feinabstimmung eines Modells stehen eine Reihe von Techniken zur Auswahl. Die erste Entscheidung ist, ob Sie eine vollständige oder selektive Feinabstimmung benötigen.

Vollständige Feinabstimmung

Die vollständige Feinabstimmung ist ein Prozess, bei dem alle Ebenen und Parameter eines Basismodells während des Trainingsprozesses aktualisiert werden. Dies ist eine gute Wahl, wenn Sie einen großen und vielfältigen Datensatz haben, der die Parameter des Modells angemessen aktualisieren kann, ohne dass die Gefahr einer Überanpassung besteht.

Selektives Feinabstimmen

Bei der selektiven Feinabstimmung wird nur eine Teilmenge der Layer oder Parameter des Modells mit einem kleineren Dataset aktualisiert. Diese Methode ist gut, um das allgemeine Wissen über das Fundamentmodell zu erhalten und die Zeit- und Rechenkosten des Schulungsregimes zu senken. Hier sind Beispiele für Techniken zur selektiven Feinabstimmung.

• Datenerweiterung: Dazu gehört die Generierung zusätzlicher Trainingsdaten aus dem vorhandenen Dataset durch Anwendung von Transformationen. Bei Bildern können Transformationen Rotation, Skalierung, Zuschneiden oder Hinzufügen von Rauschen umfassen. Dies kann die Feinabstimmungsleistung verbessern, wenn ein aufgabenspezifisches Dataset klein ist.
• Frühestes Stoppen: Diese Technik wird verwendet, um das Training zu überwachen und zu stoppen, wenn die Performance in einem Validierungsset nicht mehr verbessert wird. Dies hilft bei der Effizienz und kann dazu beitragen, Überanpassung zu verhindern.
• Ensemble-Methoden: Diese Methode kombiniert mehrere fein abgestimmte Modelle, um die Varianz der Modellausgaben zu reduzieren.
• Feinabstimmung bestimmter Layer: Diese Technik macht die Feinabstimmung effizienter, indem nur die flacheren Layer eines tiefen neuronalen Netzwerks angepasst werden, während tiefere Layer gesperrt oder eingefroren werden.
• Hyperparameteroptimierung: Dies umfasst verschiedene Techniken zur Anpassung von Funktionen eines Feinabstimmungsprozesses, wie z.B. Lernrate oder Batchgröße.
• Einfrieren von Ebenen: Hier werden Ebenen im Basismodell gesperrt, die für das grundlegende und universelle Verständnis verantwortlich sind. Dies hilft, Überanpassung zu verhindern, bei der das Modell die Trainingsdaten im Wesentlichen gespeichert hat, anstatt verallgemeinerbare Muster zu lernen, mit denen es neue Daten korrekt verarbeiten kann.
• Planung der Lernrate: Eine langsamere Lernrate kann subtilere und präzisere Anpassungen der Parameter des Basismodells ermöglichen. Der Prozess reduziert allmählich die Lernrate oder die Schrittgröße im Laufe der Zeit und hilft dem Modell, neues Material effektiver zu lernen, indem es kleinere Schritte unternimmt, wenn es sich der optimalen Lösung nähert.
• Regularisierungstechniken: Diese werden speziell verwendet, um Überanpassung zu verhindern.
• Transfer Learning: Dazu wird ein Basismodell an einem kleineren Dataset weiter trainiert, das für eine bestimmte Aufgabe spezifisch ist.

Fine-Tuning vs. Training von Grund auf

In einigen Anwendungsfällen ist es sinnvoll, Ihr KI-Modell von Grund auf neu zu entwerfen und zu trainieren. In den meisten Fällen kann eine Organisation jedoch das gewünschte Ergebnis erzielen, indem sie ein Basismodell verfeinert.

Ein KI-Modell von Grund auf neu zu trainieren, kann in einigen Fällen die bessere Wahl sein. Ein Beispiel ist, wenn die Domäne, in der Sie arbeiten, sehr anspruchsvoll ist, z. B. eine Nische medizinische Anwendung mit möglicherweise sehr spezifischen Bilddaten. Wenn Sie von Grund auf neu trainieren, müssen Sie ein großes Dataset zusammenstellen und lange Trainingsrunden auf einer KI-spezifischen Infrastruktur durchführen. Dies kann teuer sein und bis zu Tausende von GPUs und Millionen von Dollar erfordern. Es ist auch eine Aufgabe, bei der das Know-how von Data Scientists und ML-Ingenieuren benötigt wird.

Die Feinabstimmung eines KI-Modells umfasst dagegen die Erstellung eines Basismodells und die Anpassung an eine bestimmte Aufgabe mithilfe eines kleineren, aufgabenspezifischen Datensatzes. Dieser Prozess ist oft schneller und effizienter, da das Modell mit einer starken Grundlage in Sprache und Allgemeinwissen beginnt und sich nur an die Nuancen der neuen Aufgabe anpassen muss. Dies kann die Performance des KI-Modells für Ihre Anforderungen verbessern, indem weniger Arbeit beim Zusammenstellen und Vorbereiten von Daten und viel weniger Trainingsrunden im Vergleich zum Training von Grund auf geleistet wird. Weitere Informationen zu den Vorteilen der Feinabstimmung finden Sie unten.

Allgemeine Anwendungsfälle für Fine-Tuning

Eine breite Palette von Unternehmen in allen Branchen, von Startups bis hin zu multinationalen Konzernen, optimieren vortrainierte Modelle. Tatsächlich wird es zu einer Standardpraxis für jedes Unternehmen, das KI nutzen möchte, weil es es ihnen ermöglicht, Systeme bereitzustellen, die auf ihre spezifischen Bedürfnisse zugeschnitten sind, ohne die massiven Investitionen zu tätigen, die für das umfassende Modelltraining erforderlich sind. Hier sind einige Anwendungsbeispiele.

Beispiele aus der realen Welt

Unternehmen, die in den Bereichen Finanzen, Logistik, Gesundheitswesen und vielen anderen Bereichen tätig sind, bringen fein abgestimmte generative KI in ihren täglichen Betrieb. Diese realen Geschichten helfen Ihnen, eine breite Palette von Live-Anwendungsfällen zu erkunden. Hier sind drei konkrete Beispiele:

• Kundensupport: Ein Unternehmen für Sicherheitslösungen für die Industrie implementierte ein KI-gestütztes Tool, das seine Kundensupportabläufe sofort verbesserte. Das Team verwendet das fein abgestimmte Cohere Command R+ LLM, um Kundenanfragen zu bearbeiten und genaue Antworten zu generieren.
• Gesundheitswesen: Universitätsforscher nutzen KI , um einen tieferen Blick auf Patientendaten zu werfen, um neue Krebstherapien zu entwickeln. Das Unternehmen nutzt die Cloud-Infrastruktur, um LLMs in großem Maßstab zu hosten, auszuführen und zu optimieren.
• Servicebranche: Ein angewandtes KI-Unternehmen in Brasilien optimiert LLMs, um sie bei der Reminiszenztherapie zu unterstützen, einer bewährten psychologischen Behandlung, die Patienten mit kognitivem Rückgang hilft.

Was kommt als Nächstes im Fine-Tuning

Die KI-Feinabstimmung entwickelt sich rasant weiter, zumal immer mehr KI-Agenten auf fein abgestimmte Modelle angewiesen sind. Die Zukunft verspricht mehr Automatisierung, neue Techniken und eine breitere Palette von Modelloptionen, die Unternehmen dabei helfen können, KI-Modelle an ihre Bedürfnisse anzupassen.

Zu diesen Innovationen gehören verbesserte ML-Services, die das Feinabstimmen automatisieren, einschließlich Hyperparameteroptimierung, Modellauswahl und Datenvorverarbeitung. Wir gehen davon aus, dass kontextbezogene Data-Augmentation-Techniken dem Modell helfen, schneller relevantere Merkmale zu erkennen – und dass dynamisches Lernen es ermöglicht, die Lernrate flexibel und situationsabhängig anzupassen. Und suchen Sie nach ML- und Foundation-Modellherstellern, um weiterhin vielseitigere und leistungsfähigere Modelle zu veröffentlichen, die Wissen über verschiedene Modalitäten übertragen und für Aufgaben optimiert werden können, die das Verständnis mehrerer Datentypen erfordern. Der Trick wird darin bestehen, eine Dateninfrastruktur zu schaffen, die vielseitig genug ist, um diese neuen Innovationen bei ihrer Ankunft zu nutzen.

Erweitern Sie Ihre KI-Modelle mit generativen KI-Lösungen

Wussten Sie, dass Sie mit Oracle Cloud Infrastructure (OCI) auf das zugreifen können, was Sie zur Feinabstimmung von maschinellem Lernen und Basismodellen benötigen? Oracle bietet die physische Infrastruktur, die Datenverarbeitungsinfrastruktur, die Data Science-Plattform und die generativen KI-Services in vollständig verwalteten Services. Der generative KI-Service von OCI bietet beispielsweise eine einfache und nahtlose Integration mit vielseitigen LLMs in einem benutzerfreundlichen Service. Verwenden Sie es, um Modelle für eine breite Palette von Anwendungsfällen zu optimieren, einschließlich Schreibunterstützung, Zusammenfassung, Analyse und Chat.

Gleichzeitig können Ihre Data Scientists und ML-Ingenieure die Data Science-Plattform von Oracle nutzen, um gemeinsam ML-Modelle mit Python- und Open-Source-Tools zu erstellen, zu trainieren und bereitzustellen. Eine JupyterLab-basierte Umgebung bietet alle Ressourcen, die zum Experimentieren, Entwickeln von Modellen und zum vertikalen Modelltraining mit NVIDIA-GPUs und verteiltem Training erforderlich sind. Bringen Sie Modelle in die Produktion und halten Sie sie leistungsfähig – mit MLOps-Funktionen wie automatisierten Pipelines, Modellbereitstellung und Modellüberwachung.

Häufig gestellte Fragen zum Fine-Tuning

Wie unterscheidet sich die Feinabstimmung von anderen Arten des Modelltrainings?

Die Feinabstimmung von KI-Modellen unterscheidet sich vom Training von KI-Modellen von Grund auf. Es ist der Prozess, Trainingsrunden zu einem ausgeklügelten Basismodell hinzuzufügen, was zu kontextrelevanteren Ausgaben in einer bestimmten Aufgabe führt. Die Feinabstimmung erfordert oft weniger Daten und ist weniger zeitaufwendig und kostspielig als das Erstellen und Trainieren eines Modells von Grund auf.

Kann Feinabstimmung mit jeder Art von Modell verwendet werden?

KI-Feinabstimmung kann mit Basismodellen in einer Vielzahl von Anwendungsfällen verwendet werden, unabhängig davon, ob es sich um Bilderkennung, Textklassifizierung, Sprachgenerierung, Audioausgaben oder andere Ausgänge handelt.