Introduction au réglage fin dans le machine learning

Alors que l'IA devient plus utile pour les entreprises et que les agents d'IA en particulier prennent en charge des workflows plus complexes, l'affinage de l'IA sera une partie importante de l'histoire. Ces agents peuvent répondre à des questions sur les données et prendre des mesures en notre nom : écrire du code, gérer des calendriers, présenter des informations analytiques, etc. En cours de route, les modèles d'IA devront travailler ensemble pour enquêter sur les données et les magasins de documents, collecter des informations, vérifier leur exactitude, déclencher les bonnes actions et les communiquer. Les modèles d'IA sophistiqués impliqués seront bien familiarisés avec les modèles généraux de langage, mais ils devront également être optimisés pour des domaines spécifiques avec leur propre langage, leur base de connaissances, etc. Comment le processus de réglage fin peut-il aider un modèle d'IA et les futurs agents d'IA à obtenir les nuances et les détails appropriés ? Nous allons explorer les aspects du réglage fin du modèle d'IA ci-dessous.

Qu'est-ce que le réglage fin ?

Le réglage fin des modèles d'IA est le processus que les data scientists et les ingénieurs de machine learning (ML) utilisent pour adapter un modèle de machine learning entraîné afin d'améliorer leurs performances à une tâche spécifique. Le réglage fin, par exemple, peut être utilisé pour prendre un modèle LLM (Large Language Model) à usage général, tel que Cohere's Command ou Meta's Llama 2, et le rendre plus familier dans un cadre de soins de santé ou un rôle de service client.

Ces modèles à usage général, parfois appelés "modèles de base", sont entraînés sur des ensembles de données généraux volumineux, tels que des données provenant de presque tout l'Internet ouvert. Cela les aide à apprendre et à comprendre un large éventail de fonctionnalités et de modèles. Certains ont une bonne maîtrise du langage ; d'autres peuvent reconnaître et manipuler des données multimodales, telles que des images, des vidéos, des sons et du texte.

Le réglage fin prend ce modèle sophistiqué et poursuit son entraînement sur un ensemble de données plus petit provenant d'une tâche ou d'un domaine fonctionnel spécifique. Cela donne au modèle une compréhension de la taxonomie, du contexte et même des connaissances spécialisées dans ce domaine.

L'idée est de garder les vastes connaissances du schéma d'entraînement original du modèle tout en lui donnant une meilleure compréhension des nuances et des détails du domaine où le modèle d'IA fonctionnera. Par exemple, un modèle d'IA à usage général peut être affiné pour lire et discuter de l'imagerie médicale, ou un chatbot piloté par LLM qui devient plus fluide dans les dialectes locaux peut être affiné pour améliorer son rôle dans le service client. La course à la construction d'agents d'IA hautement capables dans un large éventail de domaines dépend souvent de modèles affinés. Voici une discussion plus approfondie des méthodes et mécanismes de réglage fin.

Principaux points à retenir

• Le réglage fin de l'IA est le processus d'entraînement d'un modèle d'IA à usage général pour lui donner plus de contexte et de connaissances pour une tâche spécifique, telle que l'analyse des sentiments, la génération de langage, la détection d'images et de nombreux autres workloads.
• Le réglage fin est l'une des plusieurs méthodes d'amélioration des sorties d'un LLM pour les applications, y compris les agents d'IA.
• Des ensembles de données d'entraînement beaucoup plus petits sont nécessaires pour affiner le réglage par rapport à l'entraînement d'un modèle d'IA de toutes pièces.
• Après un réglage fin, un modèle d'IA peut être plus familier et précis dans un domaine spécifique, tel que la médecine, la fabrication ou le service client.

Avantages et difficultés du réglage fin

L'un des principaux défis auxquels les équipes sont confrontées lors du réglage fin de l'IA est la disponibilité de données étiquetées de haute qualité pertinentes pour leurs cas d'utilisation. L'acquisition ou la création de ces données peut être coûteuse et fastidieuse. Par exemple, l'étiquetage des données peut signifier des heures de notation des zones dans les images qu'une IA doit apprendre à reconnaître, ou l'étiquetage des sections de texte pour mettre en évidence les informations clés. Pourtant, le réglage fin offre des avantages convaincants qui en font une technique cruciale dans le développement de l'IA moderne. Voyons quelques avantages et inconvénients.

Pros

• Economie de temps et d'argent par rapport à l'entraînement d'un modèle d'IA à partir de zéro : le réglage fin d'un modèle de base offre plusieurs avantages, notamment une réduction considérable du temps d'entraînement et des coûts de calcul, car les modèles de base ont déjà suivi une formation générale approfondie et ont besoin de moins de temps et de ressources pour s'adapter à une nouvelle tâche. En outre, le réglage fin peut être efficace même avec des jeux de données plus petits et spécifiques aux tâches, ce qui peut réduire le temps et le coût associés à la collecte et au prétraitement des données. La réduction du temps de formation et les exigences de calcul du réglage fin peuvent également entraîner une réduction de la consommation d'énergie, ce qui réduit les coûts.
• Propose de meilleures performances pour des tâches spécifiques : le réglage fin des modèles de base peut améliorer la précision et accélérer la convergence, la convergence étant le point où le taux d'erreur d'un modèle de machine learning devient constant, ce qui indique qu'il ne continuera pas à améliorer sa précision avec plus d'entraînement sur le même ensemble de données. Les modèles de base peuvent être rapidement adaptés aux nuances d'une nouvelle tâche avec moins de données et moins d'itérations d'entraînement. Cette combinaison de connaissances générales et d'apprentissage spécifique aux tâches aide le modèle à bien fonctionner lorsqu'il rencontre de nouvelles données.

Cons.

• Remplacement : le surajustement du réglage fin de l'IA se produit lorsque les cycles d'entraînement sur les nouvelles données sont trop complets et finissent par remplacer les couches qui aident le modèle avec des connaissances générales. Cette connaissance générale et la flexibilité du langage du modèle de base sont essentielles pour l'aider à bien fonctionner lorsqu'il rencontre de nouvelles données. Avec le surajustement, le modèle commence à mémoriser les données d'entraînement plutôt que d'apprendre les modèles sous-jacents qui lui permettent de se généraliser afin de pouvoir gérer de nouveaux exemples.
• Coût : Les ressources de calcul et l'expertise requises pour affiner les modèles d'IA peuvent être coûteuses. Le processus repose sur des GPU ou des TPU hautes performances (unités de traitement d'intensité), qui peuvent être coûteux à acheter ou à louer auprès d'un fournisseur cloud. Il peut également être coûteux d'embaucher les experts nécessaires en machine learning et en traitement du langage naturel.
• Temps : le réglage fin peut prendre du temps de plusieurs manières. Tout d'abord, il est temps de préparer les données, ce qui peut inclure la collecte, le nettoyage, l'annotation et le formatage. Une fois le processus de réglage fin en cours, le réglage fin peut prendre des heures, des jours, voire des semaines, en fonction de la taille et de la complexité de la tâche. Plus de temps se traduit par des coûts plus élevés pour le temps de calcul.

Fonctionnement du réglage fin

Le réglage fin de l'IA fonctionne en utilisant des modèles existants comme points de départ. Ces modèles de base, tels que Meta's Llama 2 ou Cohere's Command, sont généralement disponibles auprès des fournisseurs de cloud. De nombreuses entreprises apporteront d'autres modèles à leurs plateformes de data science à partir de référentiels centralisés, tels que Hugging Face, TensorFlow Hub et PyTorch Hub, qui hébergent des modèles de machine learning préentraînés.

Commencer par un modèle préentraîné

Choisissez un modèle qui convient parfaitement à votre tâche, qu'il s'agisse de classer le texte, d'analyser les sentiments, de répondre aux questions, d'écrire des articles, de générer du code, de détecter des objets ou de tout autre travail nécessitant une IA ou un ML.

Le réglage fin d'un modèle d'IA nécessite trois ingrédients de base : une collection de données correctement formatées, le bon modèle de base et une infrastructure qui fournit les réseaux neuronaux pour le deep learning et les GPU pour alimenter le programme d'entraînement. Ces ressources sont souvent assemblées dans une plateforme de data science ou, plus récemment, dans un service cloud d'IA générative.

Comme c'est souvent le cas avec la technologie, le processus d'affinage de l'IA est devenu plus facile au fil du temps, grâce aux nouveaux outils et services d'infrastructure des projets open source et des équipes de développement de fournisseurs de cloud. Ces outils et services aident à automatiser le réglage fin, y compris les tâches complexes dont nous discuterons, telles que l'optimisation des hyperparamètres, la sélection des modèles et le prétraitement des données. Cela rend le processus plus accessible aux non-experts.

En fait, les observateurs de l'industrie ont noté que les outils sont devenus si bons pour abstraire la minutie de la science des données de l'affinage que la partie la plus difficile est maintenant de collecter et de formater le meilleur ensemble de données possible. Ici aussi, il existe des bibliothèques de données prêtes à l'emploi pour divers domaines, tels que les soins de santé et la finance, ainsi que des fonctionnalités telles que la vision par ordinateur, l'analyse des sentiments ou la détection des anomalies. En fait, une tendance croissante consiste à utiliser un modèle pour votre cas d'utilisation qui a déjà été affiné pour cette tâche à l'aide de ces bibliothèques. À partir de là, l'entreprise peut affiner davantage l'utilisation d'un ensemble de données plus petit et, peut-être, utiliser une architecture de génération augmentée de récupération, ou RAG, pour améliorer davantage les sorties d'IA.

Les entreprises ont trouvé des moyens de compléter les méthodes traditionnelles d'affinage avec une technique appelée apprentissage par renforcement. Cela permet aux modèles d'IA d'apprendre grâce à des essais et des erreurs et à l'auto-amélioration plutôt que d'utiliser un processus distinct d'étiquetage des ensembles de données et d'affinage supervisé.

Comment affiner un modèle d'IA en quatre étapes

1. Utiliser un modèle préentraîné : La première étape consiste à sélectionner un modèle de base approprié à la tâche. Il existe des modèles populaires pour le traitement du langage naturel, la vision par ordinateur, la génération de texte et d'autres domaines.

2. Ajouter de nouvelles données : Ensuite, rassemblez et préparez un jeu de données spécifique à la tâche. Il peut s'agir d'avis de clients étiquetés ou d'exemples de questions et de réponses dans le domaine auquel votre modèle est destiné.

3. Ajuster : La troisième étape consiste à ajuster le modèle selon vos besoins. Les ajustements peuvent inclure le gel des couches pour préserver l'apprentissage précédent du modèle, l'ajustement du taux d'apprentissage, ce qui peut également aider à préserver les connaissances existantes du modèle, et l'ajout de couches où de nouvelles tâches sont apprises, telles qu'une couche de classification pour une classification de texte ou une couche de régression pour les prédictions.

4. Entraînement du modèle : Ce processus implique l'alimentation des nouvelles données via le modèle et la mise à jour des paramètres du modèle. L'objectif est d'affiner la performance du modèle de votre tâche tout en gardant les connaissances générales de son entraînement initial.

Techniques et méthodes de réglage fin

Lors du réglage fin d'un modèle, vous avez le choix entre différentes techniques. La première décision est de savoir si vous avez besoin d'un réglage complet ou sélectif.

Réglage complet

Le réglage fin complet est un processus dans lequel toutes les couches et tous les paramètres d'un modèle de base sont mis à jour au cours du processus d'entraînement. Il s'agit d'un bon choix lorsque vous disposez d'un ensemble de données volumineux et diversifié qui peut mettre à jour correctement les paramètres du modèle sans risque de surajustement.

Réglage fin sélectif

Le réglage sélectif consiste à mettre à jour uniquement un sous-ensemble des couches ou des paramètres du modèle à l'aide d'un ensemble de données plus petit. Cette méthode est bonne pour préserver la connaissance générale du modèle de base et réduire le temps et le coût de calcul du régime de formation. Voici des exemples de techniques de réglage sélectif.

• Augmentation des données : cela implique de générer des données d'entraînement supplémentaires à partir de votre ensemble de données existant en appliquant des transformations. Pour les images, les transformations peuvent inclure la rotation, la mise à l'échelle, le recadrage ou l'ajout de bruit. Cela peut améliorer les performances de réglage lorsqu'un jeu de données spécifique à une tâche est petit.
• Arrêt précoce : cette technique permet de surveiller et d'arrêter l'entraînement lorsque les performances d'un ensemble de validation cessent de s'améliorer. Cela aide à l'efficacité et peut aider à prévenir le surajustement.
• Ensemble de méthodes : cette méthode combine plusieurs modèles affinés afin de réduire la variance des sorties de modèle.
• Réglage fin de couches spécifiques : cette technique rend le réglage fin plus efficace en ajustant uniquement les couches moins profondes d'un réseau neuronal profond tout en verrouillant ou en gelant des couches plus profondes.
• Réglage des hyperparamètres : inclut diverses techniques permettant d'ajuster les fonctionnalités d'un processus de réglage fin, telles que le taux d'apprentissage ou la taille de lot.
• Gel de couche : ici, les couches du modèle de base qui sont responsables de la compréhension de base et universelle sont verrouillées. Cela permet d'éviter le surajustement, où le modèle a essentiellement mémorisé les données d'entraînement plutôt que d'apprendre des modèles généralisables qui lui permettent de gérer correctement les nouvelles données.
• Planification du taux d'apprentissage : Un taux d'apprentissage plus lent peut permettre des ajustements plus subtils et précis des paramètres du modèle de base. Le processus réduit progressivement le taux d'apprentissage, ou la taille de l'étape, au fil du temps, aidant le modèle à apprendre de nouveaux matériaux plus efficacement en faisant des pas plus petits à mesure qu'il approche de la solution optimale.
• Techniques de régularisation : elles sont spécifiquement utilisées pour empêcher le surajustement.
• Apprentissage par transfert : il s'agit d'entraîner davantage un modèle de base sur un ensemble de données plus petit spécifique à une tâche donnée.

Réglage fin et entraînement à partir de zéro

Dans certains cas d'utilisation, il est logique de concevoir et d'entraîner votre modèle d'IA à partir de zéro. Dans la plupart des cas, cependant, une organisation peut obtenir le résultat souhaité en affinant un modèle de base.

L'entraînement d'un modèle d'IA à partir de zéro peut être le meilleur choix dans quelques cas. Par exemple, lorsque le domaine dans lequel vous travaillez est très exigeant, comme une application médicale de niche avec peut-être des données d'image très spécifiques. L'entraînement à partir de zéro nécessite l'assemblage d'un ensemble de données volumineux et l'exécution de longues périodes d'entraînement sur une infrastructure spécifique à l'IA. Cela peut coûter cher, nécessitant jusqu'à des milliers de GPU et des millions de dollars. C'est également une tâche où l'expertise des data scientists et des ingénieurs ML sera nécessaire.

Par contre, affiner un modèle d'IA implique de prendre un modèle de base et de l'adapter à une tâche spécifique à l'aide d'un ensemble de données plus petit et spécifique à une tâche. Ce processus est souvent plus rapide et plus efficace parce que le modèle commence par une base solide dans le langage et les connaissances générales et ne doit s'adapter qu'aux nuances de la nouvelle tâche. Cela peut améliorer les performances du modèle d'IA pour vos besoins avec moins de travail d'assemblage et de préparation des données et beaucoup moins de cycles d'entraînement par rapport à l'entraînement à partir de zéro. En savoir plus sur les avantages du réglage fin ci-dessous.

Cas d'utilisation courants pour le réglage fin

Un large éventail d'entreprises dans tous les secteurs, des startups aux multinationales, sont des modèles préentraînés. En fait, il devient une pratique standard pour toute entreprise cherchant à utiliser l'IA car il lui permet de déployer des systèmes adaptés à ses besoins spécifiques sans l'investissement massif requis pour l'entraînement complet des modèles. Voici quelques exemples de cas d'utilisation.

Exemples de monde réel

Les entreprises travaillant dans les domaines de la finance, de la logistique, des soins de santé et de nombreux autres domaines apportent une IA générative affinée à leurs opérations quotidiennes. Ces histoires du monde réel vous aideront à explorer un large éventail de cas d'utilisation en direct. Voici trois exemples spécifiques :

• Support client : Une entreprise de solutions de sécurité industrielle a implémenté un outil alimenté par l'IA qui a immédiatement amélioré ses opérations de support client. L'équipe utilise le LLM Cohere Command R+ affiné pour traiter les demandes des clients et générer des réponses précises.
• Santé : Les chercheurs universitaires utilisent l'IA pour examiner plus en profondeur les données des patients afin de concevoir de nouveaux traitements contre le cancer. L'entreprise utilise l'infrastructure cloud pour héberger, exécuter et affiner les LLM à grande échelle.
• Secteur des services : une entreprise d'IA appliquée au Brésil met au point des LLM pour aider à la thérapie de réminiscence, un traitement psychologique éprouvé qui aide les patients souffrant de déclin cognitif.

Prochaines étapes du réglage fin

Le réglage fin de l'IA évolue rapidement, d'autant plus que de plus en plus d'agents d'IA dépendent de modèles affinés. L'avenir promet plus d'automatisation, de nouvelles techniques et un plus large éventail de choix de modèles qui peuvent aider les entreprises à adapter les modèles d'IA à leurs besoins.

Ces innovations incluent des services de machine learning améliorés qui automatisent le réglage fin, notamment l'optimisation des hyperparamètres, la sélection des modèles et le prétraitement des données. Nous nous attendons à ce que les techniques d'augmentation des données contextuelles aident le modèle à apprendre plus rapidement des fonctionnalités plus pertinentes, et l'apprentissage dynamique permettra à un modèle d'ajuster son taux d'apprentissage à la volée. Et recherchez des constructeurs de modèles de base et de machine learning pour continuer à publier des modèles plus polyvalents et plus puissants qui peuvent transférer des connaissances sur différentes modalités et peuvent être affinés pour effectuer des tâches nécessitant la compréhension de plusieurs types de données. L'astuce consistera à créer une infrastructure de données suffisamment polyvalente pour tirer parti de ces nouvelles innovations à leur arrivée.

Améliorez vos modèles d'IA avec des solutions d'IA générative

Saviez-vous qu'Oracle Cloud Infrastructure (OCI) vous donne accès à ce dont vous avez besoin pour affiner le machine learning et les modèles de base ? Oracle fournit l'infrastructure physique, l'infrastructure de traitement des données, la plateforme de data science et les services d'IA générative dans des services entièrement gérés. Le service d'IA générative d'OCI, par exemple, offre une intégration simple et transparente avec des LLM polyvalents dans un service facile à utiliser. Utilisez-le pour affiner les modèles pour un large éventail de cas d'utilisation, y compris l'aide à la rédaction, la synthèse, l'analyse et le chat.

Pendant ce temps, vos data scientists et ingénieurs ML peuvent tirer parti de la plateforme de data science d'Oracle pour collaborer à la création, à l'entraînement et au déploiement de modèles ML à l'aide de Python et d'outils open source. Un environnement basé sur JupyterLab fournit toutes les ressources nécessaires pour expérimenter, développer des modèles et augmenter l'entraînement des modèles avec les GPU NVIDIA et l'entraînement distribué. Mettre les modèles en production et les maintenir en bonne santé grâce à des fonctionnalités d'opérations de machine learning, telles que des pipelines automatisés, les déploiements de modèles et la surveillance de modèles.

FAQ sur le réglage fin

En quoi le réglage fin est-il différent des autres types d'entraînement de modèle ?

Le réglage fin des modèles d'IA est différent de l'entraînement des modèles d'IA à partir de zéro. Il s'agit d'ajouter des cycles de formation à un modèle de base sophistiqué, ce qui conduit à des résultats plus pertinents pour le contexte dans une tâche spécifique. Le réglage fin nécessite souvent moins de données et est moins long et coûteux que la création et l'entraînement d'un modèle à partir de zéro.

Le réglage fin peut-il être utilisé avec n'importe quel type de modèle ?

Le réglage fin de l'IA peut être utilisé avec des modèles de base dans un large éventail de cas d'utilisation, qu'il s'agisse de reconnaissance d'image, de classification de texte, de génération de langue, de sorties audio ou d'autres sorties.