Que sont les grands modèles de langage ?

Les grands modèles de langage (LLM) sont un type d'intelligence artificielle de plus en plus populaire, principalement conçue pour générer des réponses proches de celles d'un humain aux entrées des utilisateurs, qu'elles soient fournies par texte, voix ou d'autres moyens. À mesure que les LLM s'entraînent sur de grandes quantités de textes, ils apprennent à prédire le mot suivant, ou une séquence de mots, en fonction du contexte fourni par un prompt. Ils peuvent même imiter le style d'écriture d'un auteur ou d'un genre particulier.

Au début des années 2020, les LLM ont quitté les laboratoires pour s'imposer dans l'opinion publique. Depuis, grâce à leur capacité impressionnante à interpréter les demandes et à produire des réponses pertinentes, ils sont devenus à la fois des produits autonomes et des fonctionnalités à valeur ajoutée intégrées dans des logiciels métiers, offrant traitement du langage naturel, traduction automatique, génération de contenu, chatbots, résumé de documents et bien plus encore.

Cette technologie continue d'évoluer rapidement, en intégrant des jeux de données plus vastes et en ajoutant des couches d'entraînement et d'ajustement afin d'améliorer les performances des modèles. Un entraînement plus large et plus approfondi, rendu possible par des infrastructures de calcul toujours plus puissantes, fait émerger des capacités de raisonnement de plus en plus sophistiquées, capables de générer des plans pour atteindre les objectifs de l'organisation. Ces capacités de raisonnement sous-tendent également le fonctionnement des agents d'IA, qui utilisent des LLM avancés pour accomplir des tâches définies par des opérateurs humains.

Que sont les grands modèles de langage ?

Un grand modèle de langage (LLM) est un système d'intelligence artificielle qui a été entraîné sur un vaste jeu de données, souvent composé de milliards de mots extraits de livres, du Web et d'autres sources, pour générer des réponses humaines pertinentes sur le plan contextuel aux requêtes. Comme les LLM sont conçus pour comprendre les questions, ou « prompts » dans la terminologie des LLM, et générer des réponses en langage naturel, ils peuvent accomplir des tâches telles que répondre aux questions des clients, résumer des informations dans des rapports, traduire entre les langues et composer de la poésie, du code informatique et des premiers jets d'e-mails. Les LLM ont généralement une compréhension sophistiquée de la grammaire et de la sémantique des langues sur lesquelles ils sont entraînés. Ils peuvent être configurés pour utiliser les données propres à une organisation afin de fournir des réponses spécifiques à celle-ci.

Malgré ces capacités impressionnantes, les utilisateurs doivent garder à l'esprit les limites des LLM. Des données obsolètes et des prompts mal formulés peuvent entraîner des erreurs, comme un chatbot qui donne une mauvaise réponse sur les produits d'une entreprise. Un manque de données suffisantes peut amener les LLM à inventer des réponses, ou « halluciner". Et si les LLM excellent dans la prédiction, ils sont notoirement mauvais pour expliquer comment ils sont parvenus à leur conclusion. Ce sont quelques-uns des domaines que les LLM plus récents cherchent à améliorer.

Pour autant, les LLM marquent une avancée majeure dans le domaine du traitement du langage naturel. Les cas d'usage en entreprise ne manquent pas, et de nouvelles applications sont rapidement développées et adoptées.

Points à retenir

• Les grands modèles de langage représentent l'état de l'art dans le domaine du traitement du langage naturel et sont également utilisés pour développer une IA multimodale capable de générer de l'audio et des images.
• « Grand » est un terme relatif, qui renvoie au nombre de paramètres que le modèle évalue lorsqu'il détermine la sortie pour un prompt donné.
• Les LLM ont gagné en notoriété en 2022 avec la sortie de ChatGPT, une application qui a rendu le modèle GPT-3.5 d'OpenAI accessible au grand public. Parmi les autres modèles populaires figurent Llama, Gemini et Cohere Command R.

Ce qu'il faut savoir sur les grands modèles de langage

Le traitement du langage naturel est un domaine actif de la recherche en intelligence artificielle depuis les années 1960, et les premiers modèles de langage remontent à plusieurs décennies. Les grands modèles de langage ont fait avancer le domaine en utilisant le deep learning, qui superpose le machine learning à des réseaux neuronaux pour produire des modèles plus sophistiqués. Une autre caractéristique des LLM est que l'entraînement du modèle de fondation est réalisé sans intervention humaine sous forme d'étiquetage des données, un processus appelé « apprentissage autosupervisé ».

La conception moderne d'un LLM est apparue en 2017 avec un article fondateur de Google décrivant une nouvelle architecture puissante appelée réseaux de transformeurs. Les transformeurs ont introduit un mécanisme d'auto-attention qui a permis le traitement en parallèle, accélérant et réduisant le coût de l'entraînement comme du déploiement des modèles. OpenAI a appliqué cette architecture pour créer GPT-1, que beaucoup considèrent comme le premier LLM moderne.

Cette technologie a attiré les entreprises, qui découvrent rapidement que les LLM peuvent servir à une multitude de cas d'usage et offrir un énorme potentiel pour rendre leur activité plus productive, plus efficace et plus réactive face aux clients.

LLM vs autres modèles d'IA : efficacité et évolutivité

Les LLM sont l'un des nombreux types d'IA développés grâce au machine learning. Cependant, quelques éléments permettent de définir et de distinguer ces modèles. Le premier est leur taille. Le terme « grand » dans LLM renvoie au nombre de paramètres qui calculent une sortie finale, ainsi qu'au volume de données utilisé pour entraîner le modèle en ajustant ces paramètres.

• Taille et performances : les LLM se définissent par la taille du modèle, qui reflète le nombre de paramètres déterminant leurs sorties. En quelques années seulement, les principaux modèles ont connu une croissance exponentielle : GPT-1 comptait un peu plus de 100 millions de paramètres ; son successeur le plus récent, GPT-4, en compterait plus de 1,75 trillion, même si OpenAI n'a pas divulgué sa taille réelle.
  
  En général, plus le modèle est grand et plus son jeu d'entraînement est étendu, meilleures sont ses performances pour générer des réponses uniques et pertinentes, capables d'imiter efficacement la compréhension et la génération de langage humaines. Les performances peuvent être mesurées par la perplexité, un indicateur qui quantifie le niveau de confiance du modèle lorsqu'il prédit le mot suivant dans sa séquence de sortie.
  
  Les modèles plus grands offrent généralement de meilleures performances, mais pas sur tous les aspects. Leurs inconvénients potentiels peuvent inclure une latence plus élevée, c'est-à-dire le temps nécessaire au modèle pour produire une réponse à un prompt, ainsi qu'une mise à l'échelle plus difficile en raison de l'infrastructure de calcul requise. Ils sont également plus complexes à personnaliser pour des cas d'usage spécifiques en entreprise. C'est pourquoi des efforts importants visent à développer des LLM plus petits et moins coûteux à déployer, tout en conservant de bonnes performances, au moins dans des domaines et cas d'usage plus restreints.
• Évolutivité et déploiement : les LLM peuvent être déployés de plusieurs façons. Des fournisseurs commerciaux, comme OpenAI, Google et Cohere, rendent leurs modèles disponibles via des services hébergés, accessibles depuis un navigateur, une application ou des appels d'API. De nombreuses entreprises préfèrent toutefois héberger leurs propres LLM, généralement des modèles de fondation finetunés ou enrichis de données métier propriétaires, ou les deux, sur des serveurs locaux ou dans leurs environnements de cloud public, où ils exécutent la phase d'inférence des modèles. Les personnes et les logiciels interagissent ensuite avec eux via des appels directs ou des terminaux d'API.
  
  Quelle que soit la méthode de déploiement, les LLM, en particulier ceux accessibles au grand public ou à un large personnel, doivent pouvoir passer à l'échelle pour répondre à la demande attendue sans faire exploser le budget de l'entreprise. L'économie de ce passage à l'échelle implique des compromis. Les mesures qui peuvent améliorer l'évolutivité, comme une infrastructure d'inférence plus puissante, le calcul distribué, ainsi qu'un équilibrage de charge et une mise en cache efficaces, ont toutes un coût. Un mauvais équilibre coût-bénéfice peut se traduire par une latence qui compromet l'exécution des applications en temps réel, des performances inégales, une adoption lente par le personnel, ainsi que des mesures insuffisantes en matière de confidentialité et de sécurité des données.
• Adaptabilité aux domaines : les meilleurs modèles de fondation peuvent intégrer des données abstraites et de haut niveau, et faire preuve de créativité dans leurs sorties. Une fois un modèle de fondation présentant la puissance et les fonctionnalités appropriées sélectionné, le fine-tuning peut encore accroître les performances dans des domaines et cas d'usage spécialisés. Cette phase d'apprentissage supervisé adapte le LLM au domaine souhaité sans réentraîner le modèle de fondation en profondeur.
  
  L'alignement des distributions de caractéristiques, en mettant l'accent sur des données dont les caractéristiques sont communes à plusieurs domaines, à la fois lors de l'entraînement initial et lors du fine-tuning, constitue également un moyen efficace de renforcer l'adaptabilité aux domaines.
  
  
  Les LLM sont un type d'IA générative de langage qui utilise des réseaux neuronaux largement entraînés pour évaluer des prompts et y répondre. « Grand » n'a pas de seuil défini ; ce qui correspond à cet attribut ne cesse d'augmenter à mesure que les modèles deviennent plus sophistiqués et que la puissance de calcul, en particulier l'accès à des clusters de GPU, se démocratise.
  
  Avant le début de l'entraînement, le langage est converti en tokens, qui sont des représentations numériques de mots ou de parties d'alphabet et de parole, compréhensibles par les ordinateurs.
  
  Ensuite, un algorithme, incluant un vaste réseau neuronal, et un jeu de données sont sélectionnés pour le self-supervised learning. Pendant la phase d'entraînement, l'algorithme ajuste ses milliards, voire ses trillions de paramètres afin de prédire avec précision le token suivant dans une séquence, jusqu'à ce que le modèle réponde de façon appropriée aux prompts. Ainsi, les paramètres du modèle contiennent les apprentissages acquis pendant la phase d'entraînement.
• Architecture fondamentale des transformeurs : les transformeurs ont constitué le saut conceptuel qui a ouvert la voie à l'actuelle vague d'enthousiasme autour des LLM et de l'IA générative. Proposée dans un article majeur publié en 2017 par des chercheurs de Google, l'architecture transformeur marque une rupture avec les approches précédentes de création de modèles de langage. Au lieu de reposer strictement sur un processus appelé récurrence, qui implique une série séquentielle d'entrées et de sorties, les transformeurs mettent en œuvre un mécanisme appelé d'auto-attention, qui prend simultanément en compte les relations entre plusieurs mots, y compris ceux éloignés les uns des autres dans un flux de texte, lors du traitement des phrases. Pour ce faire, ils créent trois vecteurs distincts : l'un pour le mot étudié, un autre pour les mots environnants afin d'établir leur importance dans la compréhension du mot, et un troisième vecteur qui représente l'information contenue dans ce mot. Ce troisième vecteur aura une valeur différente selon le contexte du mot. Par exemple, le « blues » peut désigner un genre de musique ou de la mélancolie.
  
  Par exemple, la chaîne de texte peut être :
  « Comment vous sentez-vous ? », demanda-t-elle.
  
  « Je ne sais pas trop », répondit-il. « J'ai le syndrome de la page blanche depuis quelque temps. J'ai un gros coup de blues. »
  
  Avant l'auto-attention, les algorithmes n'avaient aucun moyen de saisir la relation entre « se sentir » et « blues », de sorte qu'une mauvaise interprétation était probable. L'auto-attention permet d'établir l'importance du lien entre les deux mots, même s'ils ne sont pas proches l'un de l'autre dans la séquence de mots.
  
  De plus, grâce à l'auto-attention, les modèles peuvent être entraînés en parallèle sur d'immenses volumes de données, en traitant en pratique des phrases entières plutôt que mot par mot. Cela exploite encore mieux les capacités des GPU. Les tansformeurs peuvent également analyser simultanément les tokens d'un prompt afin de fournir des réponses plus rapidement et de mieux lever les ambiguïtés.
• Entraînement et fine-tuning : les modèles de fondation, qui constituent aujourd'hui le moteur des LLM, sont entraînés sur un corpus de données souvent issu d'Internet et d'autres référentiels d'informations écrites. Les modèles performants issus de cette phase d'apprentissage auto-supervisé, au cours de laquelle des milliards de paramètres sont ajustés de manière itérative, produisent généralement des résultats généralistes : création de textes dans divers contextes, compréhension du sens à partir de différents styles de langage, et présentation d'idées complexes, voire abstraites.
  
  Un modèle de fondation peut être fine-tuné afin d'améliorer sa précision et d'optimiser ses performances dans un domaine spécifique, comme les soins de santé ou la finance, ou pour un cas d'usage, comme la traduction ou la synthèse. Le processus de fine-tuning commence à partir du modèle de fondation, puis entraîne davantage le LLM final sur des ensembles plus restreints et plus précis de données étiquetées, afin d'affiner sa capacité à accomplir des tâches spécifiques utiles à un secteur ou à une application.
• Importance du modèle et de l'évolutivité : les développeurs de LLM décident au final du nombre de paramètres à entraîner avec leur algorithme, ainsi que du volume de données nécessaire pour le faire efficacement. Plus ce nombre est élevé, plus le modèle obtenu est complexe et, le plus souvent, plus les résultats sont uniques, précis et pertinents. Mais cette performance supérieure s'accompagne de coûts d'entraînement et d'exploitation plus élevés, ainsi que de défis de mise à l'échelle pour servir davantage d'utilisateurs une fois le modèle entraîné.
  
  L'évolutivité de tout déploiement de LLM est en partie déterminée par la qualité du modèle. L'algorithme d'entraînement, l'architecture du modèle et le jeu de données sélectionnés par les développeurs d'IA influencent la capacité de leurs modèles de fondation à optimiser la consommation de ressources (mémoire, processeurs, énergie) afin d'assurer les fonctions attendues.
  
  De nouvelles techniques émergent également pour réduire la taille des modèles et le corpus de données d'entraînement, ce qui allège le coût et la difficulté de mise à l'échelle, sans affecter significativement les performances d'un LLM, en particulier lorsque le LLM est utilisé sur des cas d'usage plus restreints.

Avantages et applications des grands modèles de langage

Les LLM constituent le moteur de nombreuses applications de pointe. Le grand public a surtout découvert leurs capacités impressionnantes avec l'arrivée de ChatGPT, la version Web du modèle GPT-3.5 d'OpenAI, ainsi que de versions plus récentes, dont GPT-4o et GPT-4. Mais les bénéfices s'étendent aussi à l'entreprise, où les LLM démontrent leurs capacités dans des secteurs et des fonctions tels que les services financiers, les RH, le commerce de détail, le marketing et les ventes, le développement logiciel, le support client et les soins de santé.

Parmi les applications métier courantes des LLM figurent les chatbots de service client, l'analyse du sentiment client et des services de traduction contextuels, idiomatiques et au rendu naturel. Les LLM accomplissent également des tâches plus spécialisées en arrière-plan, comme la prédiction de structures de protéines dans le cadre de la recherche pharmaceutique, l'écriture de code logiciel et l'alimentation d'agents que les entreprises déploient de plus en plus pour automatiser les processus métier.

• Polyvalence dans les applications : les LLM sont la technologie de base qui alimente un nombre croissant et diversifié d'applications destinées aux consommateurs et aux entreprises. Cette polyvalence découle du processus d'auto-entraînement des modèles sur de grands jeux de données, qui aboutit à une IA extrêmement performante pour analyser des schémas complexes dans les données et produire des résultats pertinents et contextualisés.
  
  Les applications de pointe tirent parti de cet atout pour réaliser des tâches comme la rédaction de contenus marketing et de rapports uniques, l'évaluation du sentiment client, le résumé de documents, et même la génération de résultats non liés au langage, comme des images et de l'audio. Les agents d'IA illustrent particulièrement bien la polyvalence des LLM, grâce à leur capacité à interagir avec un environnement et à effectuer des tâches dans différents domaines sans connaissances spécialisées.
  
  Le processus de fine-tuning des modèles via l'apprentissage supervisé élargit encore l'éventail des applications métier qui peuvent être construites à partir de l'IA générative. De plus, la RAG peut rendre les LLM plus efficaces en entreprise, car cette approche améliore la précision et la pertinence des résultats en intégrant des données métier propriétaires, continuellement mises à jour, sans modifier le modèle sous-jacent.
• Interactions client améliorées : les LLM ont rapidement prouvé leur valeur dans le domaine du service client. C'est un cas d'usage évident pour toute personne ayant déjà constaté la capacité d'un LLM à maintenir un dialogue, en répondant à une question nuancée après l'autre avec des résultats clairs, détaillés et utiles.
  
  Toutefois, les LLM peuvent améliorer les interactions avec les clients de bien d'autres façons que via les chatbots. Certaines entreprises les utilisent pour générer des e-mails, des SMS ou des publications sur les réseaux sociaux à destination des clients, afin de répondre à des questions relatives aux produits, à la technique ou aux ventes. D'autres font appel aux LLM pour traduire les demandes de clients qui s'expriment dans une langue étrangère. Les LLM peuvent aussi être configurés pour assister les agents des ventes et du support, humains et IA, en leur fournissant des informations exploitables et une documentation pertinente, en résumant les interactions précédentes, en assurant le suivi auprès des clients et en documentant les échanges.
  
  L'une des plus grandes entreprises mondiales de services professionnels, présente dans plus de 100 pays, a récemment renforcé son focus sur la gestion de la relation client en adoptant des applications d'IA générative alimentées par des LLM. Souhaitant tirer davantage d'insights des enquêtes de retours clients, l'entreprise a déployé des LLM pour analyser le sentiment dans ces réponses. L'IA peut désormais mettre en évidence des tendances et fournir une vue d'ensemble de la manière dont les produits et services sont perçus, et de la façon dont ils peuvent être améliorés.
• Automatisation et productivité : les LLM se révèlent extrêmement efficaces pour automatiser des tâches répétitives, y compris celles qui impliquent des décisions trop complexes pour les modèles d'IA plus anciens. Cette automatisation peut renforcer la productivité des collaborateurs en libérant du temps, afin qu'ils se concentrent sur des activités à plus forte valeur ajoutée qui requièrent une pensée créative et critique.
  
  Les agents sont une technologie émergente qui exploite, à l'avant-garde, les capacités de raisonnement sophistiquées des LLM pour piloter des processus avec un minimum d'intervention humaine. Ces applications, construites sur des modèles de langage de fondation, sont conçues pour prendre des décisions lorsqu'elles interagissent avec des humains et d'autres logiciels en entreprise. Elles peuvent effectuer de manière autonome des tâches dans différents domaines, et générer des notifications pour les actions nécessitant une vérification ou une autorisation, afin de garantir la supervision.
  
  Les LLM améliorent également la productivité de multiples façons, notamment en faisant remonter rapidement des informations pertinentes pour les dirigeants et autres décideurs, en créant des brouillons de contenus pour les équipes marketing, et en écrivant du code logiciel en tandem avec les développeurs.

Cas d'usage et exemples de grands modèles de langage

Les LLM sont appliqués à un nombre toujours plus vaste de cas d'usage métier. Par exemple, de nombreuses entreprises utilisent désormais des chatbots dans leur stratégie de service client. Mais grâce à la polyvalence de ces modèles, des développeurs de logiciels d'entreprise innovants appliquent la technologie sous-jacente à un large éventail de tâches, bien au-delà de la simple génération de réponses linguistiques.

1. Automatisation du support client

Le support client est l'application la plus évidente des LLM en entreprise, et c'est celle que les clients voient le plus. Les interfaces utilisateur conversationnelles, ou chatbots, alimentées par des modèles de langage peuvent traiter un nombre quasi illimité de demandes, 24 h/24. Cela peut réduire considérablement les délais de réponse dus à des équipes de centres d'appels surchargées, une source majeure de frustration pour les clients.

L'intégration des chatbots avec d'autres applications alimentées par des LLM peut automatiser les actions de suivi après un appel au support, par exemple l'envoi d'une pièce de rechange, d'un document ou d'une enquête. Les LLM peuvent aussi assister directement les agents humains, en leur fournissant des informations en temps opportun, une analyse des sentiments, des traductions et des synthèses d'interactions.

Un gestionnaire de fonds présent dans plus de 50 pays et 80 langues a tiré parti de ces fonctionnalités pour aider ses clients à découvrir et à choisir plus facilement les produits financiers les mieux adaptés à leurs besoins. Le spécialiste de la gestion de comptes de retraite a modernisé son support client avec un chatbot sur mesure, qui a permis une hausse de 150 % des niveaux de service et une réduction de 30 % des coûts opérationnels. Les clients peuvent désormais se rendre sur la page Web de l'entreprise et poser des questions au chatbot sur leurs comptes, à tout moment de la journée et dans de nombreuses langues.

2. Génération et synthèse de contenu

Les LLM peuvent créer du contenu original ou synthétiser du contenu existant. Ces deux cas d'usage sont extrêmement utiles aux entreprises, grandes comme petites, qui exploitent l'IA générative pour rédiger des rapports, des e-mails, des blogs, des supports marketing et des posts sur les réseaux sociaux, tout en tirant parti de la capacité des LLM à adapter ce contenu généré à des groupes spécifiques ou à des clients individuels.

La synthèse condense de grandes quantités d'informations, en tenant compte du domaine, dans un format plus facile à consulter et à assimiler rapidement pour les humains. Les LLM y parviennent soit en évaluant l'importance de différentes idées dans un texte, puis en extrayant les passages clés, soit en générant des synthèses concises de ce qu'ils estiment être les informations les plus pertinentes et les plus critiques du texte d'origine.

Les LLM font parfois l'objet de critiques pour leur tendance à générer des synthèses trop génériques ne contenant pas des éléments clés du contenu d'origine. Il est aussi difficile d'évaluer la fiabilité des synthèses et de classer en conséquence les performances des différents modèles. Malgré tout, les entreprises adoptent cette fonctionnalité avec enthousiasme.

Un grand acteur des communications cloud a déployé des LLM pour synthétiser automatiquement les transcriptions de centaines de tickets de support, ainsi que les transcriptions de conversations par chat ayant lieu chaque jour dans près de deux douzaines de langues. Ces synthèses aident désormais les ingénieurs support à résoudre plus rapidement les problèmes des clients et à améliorer l'expérience globale.

3. Traduction

L'objectif initial de Google en développant les tansformeurs était de rendre la traduction automatique plus performante ; ce n'est que plus tard que le modèle a impressionné les développeurs par l'étendue de ses capacités. Les premières implémentations de cette architecture par ces développeurs ont atteint cet objectif, offrant des performances inégalées en traduction anglais-allemand avec un modèle dont l'entraînement a nécessité nettement moins de temps et de ressources de calcul que ses prédécesseurs.

Les LLM modernes vont bien au-delà de ce cas d'usage limité. Même si la plupart des LLM ne sont pas spécifiquement entraînés pour la traduction, ils excellent néanmoins à interpréter un texte dans une langue et à le reformuler clairement dans une autre lorsqu'ils ont été entraînés de manière approfondie sur des jeux de données dans les deux langues. Cette avancée, qui permet de lever les barrières linguistiques, est extrêmement précieuse pour les entreprises qui opèrent au-delà des frontières. Les multinationales utilisent des services linguistiques avancés pour, par exemple, développer un support multilingue pour leurs produits et services, traduire des guides, des tutoriels et des contenus marketing, et utiliser des ressources pédagogiques existantes pour former les collaborateurs lorsqu'elles s'étendent à de nouveaux pays.

L'avenir des LLM

Avancées des modèles multimodaux

Un domaine de recherche très actif consiste à utiliser les LLM comme modèles de fondation pour une IA qui génère des résultats dans des modalités autres que le langage. La polyvalence remarquable des LLM rend possible, via un processus de fine-tuning s'appuyant sur des données étiquetées, l'interprétation et la création d'audio, d'images et même de vidéo. Ces modèles qui reçoivent des prompts ou génèrent des résultats dans des modalités autres que le langage sont parfois appelés grands modèles multimodaux, ou LMM.

Considérations environnementales

Le développement et l'exploitation à grande échelle des LLM nécessitent généralement une puissance de calcul massive. L'entraînement d'un seul modèle sur un cluster de centaines, voire de milliers de GPU, pendant plusieurs semaines, peut consommer d'énormes quantités d'énergie. Une fois un modèle performant déployé, l'infrastructure qui exécute l'inférence continue d'exiger une quantité importante d'électricité pour traiter un flux constant de requêtes utilisateurs.

L'entraînement de GPT-4 a nécessité, selon les estimations, 50 gigawattheures d'énergie. À titre de comparaison, 50 gigawattheures d'énergie pourraient, en théorie, alimenter 4 500 à 5 000 foyers moyens aux États-Unis pendant un an. Aujourd'hui, ChatGPT consommerait, selon les estimations, des centaines de mégawattheures chaque jour pour répondre à des millions de requêtes. À mesure que les modèles de langage grandissent, les préoccupations liées à la consommation d'énergie et à la durabilité pourraient devenir plus pressantes. C'est pourquoi les entreprises d'intelligence artificielle sont à la recherche de sources d'énergie permettant de réduire leur empreinte carbone.

Créez des applications LLM avec OCI Generative AI

Oracle met la puissance des LLM à la disposition des entreprises, sans qu'elles aient à se heurter aux aspects pratiques, ni aux besoins énergétiques, de cette technologie passionnante. Oracle Cloud Infrastructure (OCI) Generative AI est un service entièrement géré qui simplifie le déploiement des derniers LLM, de manière personnalisée, très efficace et rentable, tout en évitant d'avoir à gérer une infrastructure complexe. Les entreprises peuvent choisir parmi plusieurs modèles de fondation, puis les fine-tuner sur des clusters de GPU dédiés avec leurs propres données, afin d'obtenir des modèles personnalisés qui répondent au mieux à leurs besoins métier.

Les entreprises qui souhaitent aller plus loin dans l'expérimentation de la technologie sous-jacente se tournent vers le machine learning dans Oracle Database. La plateforme permet aux data scientists de créer rapidement des modèles en simplifiant et en automatisant les éléments clés du cycle de vie du machine learning, sans devoir migrer des données sensibles depuis leurs bases de données Oracle. Les fonctionnalités incluent des frameworks de machine learning populaires, des API, l'automatisation du machine learning (AutoML) et des interfaces no-code, ainsi que plus de 30 algorithmes hautes performances en base de données pour produire des modèles à utiliser dans des applications.

De nombreuses organisations de premier plan tirent également parti de l'infrastructure d'IA d'Oracle pour créer leurs propres LLM. L'infrastructure d'IA sous-tend les services d'IA de niveau supérieur, tels que OCI Generative AI, et peut être utilisée pour les LLM les plus exigeants grâce à des capacités accélérées de calcul, de mise en réseau et de stockage.

Le potentiel des LLM à transformer le fonctionnement des entreprises et leurs interactions avec leurs clients est tel que de nouvelles avancées et des investissements dans cette technologie peuvent influencer les marchés mondiaux et bouleverser les stratégies des entreprises. Mais il est important pour les dirigeants métier et IT d'aller au-delà de l'effet d'annonce, de comprendre les bases du fonctionnement des LLM, ainsi que leurs limites et les défis liés à leur adoption, tout en s'efforçant d'identifier les nombreux bénéfices concrets que cette technologie peut leur apporter.

FAQ sur les LLM

Comment fine-tune-t-on les grands modèles de langage pour des applications spécifiques ?

Les LLM font l'objet d'un fine-tuning pour des applications spécifiques en enchaînant la phase initiale de préentraînement, qui s'appuie sur l'auto-apprentissage pour développer un modèle de fondation, avec une phase d'apprentissage supervisé sur un volume plus restreint de données étiquetées, plus spécifiques à un domaine.

Quels secteurs tirent le plus grand bénéfice de l'utilisation des grands modèles de langage ?

Presque tous les secteurs découvrent les avantages des LLM. Les soins de santé, les services financiers et le commerce de détail font partie de ceux qui explorent de nombreux cas d'usage visant à améliorer le support client et à automatiser des processus métier.

Les grands modèles de langage peuvent-ils être intégrés aux systèmes d'entreprise ?

Les grands modèles de langage sont souvent intégrés aux systèmes d'entreprise en fine-tunant des modèles de fondation avec des données d'entreprise, puis en augmentant ces modèles avec des données propriétaires via la génération augmentée de récupération (RAG).