Qu'est-ce que le LLMOps ? Un aperçu

Les grandes opérations de modèles de langage, ou LLMOps, font référence aux méthodes, outils et processus qui permettent aux entreprises d'utiliser les LLM de manière fiable. Cette discipline est nécessaire car l'octroi de licences pour un LLM une fois et son exécution indéfinie ne répond pas au besoin continu de fournir la précision, la sécurité et les performances que les entreprises exigent. Le LLMOps structure la tâche de gestion de la qualité d'un LLM et de son alignement avec les objectifs de l'entreprise.

Qu'est-ce que le LLMOps ?

Le LLMOps est la discipline consistant à gérer les grands modèles de langage une fois qu'ils sont sous licence, intégrés dans vos applications et mis en production. Il englobe les méthodes utilisées pour déployer, surveiller et mettre à jour ces modèles afin qu'ils restent rapides, précis et utiles.

Le LLMOps concerne les soins continus et l'alimentation de votre LLM. La pratique comprend la mesure de la précision, le contrôle des coûts et la prévention des résultats nuisibles. Cela signifie également que vous devez tenir à jour les intégrations complexes entre le LLM, vos applications métier et vos sources de données internes. L'essor de ce domaine et du terme « LLMOps » reflète les changements antérieurs dans l'informatique, tels que DevOps, où les opérations système sont devenues aussi importantes que le développement.

Le LLMOps expliquées

Le LLMOps est basé sur l'idée qu'un LLM, lorsqu'il est utilisé pour piloter des agents et des applications d'entreprise, est une ressource dynamique qui doit être surveillée et gérée. Une partie de cette surveillance est simple : les LLM sont-ils réactifs et les API répondent-elles aux objectifs de performance ? Une autre surveillance plus subjective : le LLM donne-t-il des réponses qui satisfont les utilisateurs ? Les réponses sont-elles conformes aux directives et aux garde-fous de l'entreprise ? Le modèle présente-t-il des signes de biais ou les données deviennent-elles obsolètes ? L'observation manuelle, les tableaux de bord d'analyse et les outils de surveillance basés sur l'IA peuvent aider à repérer les problèmes plus tôt.

La moitié de LLMOps est une observation et l'autre moitié une action. Lorsqu'une source de données devient obsolète, ou que le LLM ralentit ou que les réponses sont erronées, les outils de LLMOps peuvent aider l'équipe des opérations à mettre à jour le modèle ou à résoudre un problème avec la plateforme sous-jacente. Par exemple, si un développeur de LLM publie une nouvelle version du modèle, l'équipe de LLMOps est chargée de tester, d'intégrer et de déployer ce modèle, puis de confirmer qu'il fournit les résultats souhaités. De même, l'équipe LLMOps gère l'intégration du LLM avec les bases de données d'entreprise, et elle conduit les frais à utiliser la génération augmentée de récupération (RAG) et le protocole de contexte de modèle (MCP) pour collecter des données supplémentaires.

L'IA agentique, lorsque les LLM passent de chatbots basés sur les données à des assistants orientés action, nécessite également des pratiques LLMOps rigoureuses. L'IA agentique s'appuie sur une intégration étroite du LLM avec d'autres applications logicielles, à la fois internes, telles que le code personnalisé ou externes, avec une plateforme ERP cloud ou CRM. L'équipe des opérations est chargée de vérifier que ces intégrations restent fonctionnelles à mesure que les versions logicielles, les plateformes, les systèmes d'exploitation et les réseaux évoluent au fil du temps.

Une grande partie du LLMOps est la sécurité. Vous ne voulez pas que les personnes non autorisées utilisent le LLM et ses applications, ni que les utilisateurs autorisés utilisent le LLM de manière inappropriée. Pour utiliser un exemple simple : un employé doit pouvoir utiliser le LLM RH pour connaître son salaire, mais pas celui de son collègue. Les garde-fous nécessaires doivent être soigneusement conçus, mis en œuvre et testés, et c'est une autre partie du LLMOps.

Un dernier point important : l'IA peut soutenir les efforts du LLMOps. La complexité de la gestion des grands modèles de langage déployés est un problème qui peut être résolu par ces mêmes LLM. L'IA, y compris les analyses de machine learning, est un composant clé qui favorise le succès des déploiements de LLM à grande échelle et dans le monde réel.

La mission d’Oracle : vous aider à...

Oracle fournit une suite complète d'outils et de fonctionnalités d'opérations d'IA et de machine learning au sein d'Oracle Cloud Infrastructure (OCI) Generative AI et d'OCI Data Science qui prennent en charge l'opérationnalisation, le déploiement et la surveillance des LLM.

Les fonctionnalités clés disponibles dans OCI incluent

• Déploiement de modèle : déployez des modèles personnalisés ou préentraînés, y compris des LLM, avec une évolutivité automatisée.
• Gestion des modèles : Suivez, cataloguez et créez des versions des modèles pour garantir leur traçabilité et leur reproductibilité.
• Surveillance des modèles et détection des dérives : surveillez les mesures de performances et détectez les problèmes de direction et de qualité des données.
• Automatisation du pipeline : créez et orchestrez des pipelines de machine learning à l'aide d'OCI Data Science et des intégrations à OCI Data Flow, pour exécuter Apache Spark et d'autres fonctions Oracle.
• Sécurité et conformité : bénéficiez d'une prise en charge intégrée de la gestion du cycle de vie et de la sécurité au niveau de l'entreprise.

Les entreprises qui utilisent les LLM pour piloter leurs applications et l'IA agentique trouveront que le LLMOps est un élément essentiel et précieux des opérations informatiques quotidiennes.

FAQ sur le LLMOps

En quoi le LLMOps est-il différent du MLOps ?

Le MLOps fait référence à la gestion du machine learning. Le LLMOps partage des racines avec le MLOps, mais diffère de manière importante. Là où le MLOps se concentre sur des modèles plus petits et des données structurées, le LLMOps gère des modèles avec des milliards de paramètres et du texte ouvert. L'échelle change tout car les LLM consomment plus de ressources, nécessitent plus de gestion des données et présentent des risques plus élevés de biais ou d'utilisation abusive que les systèmes de machine learning.

En outre, le MLOps traite souvent de sorties numériques claires, tandis que le LLMOps doit suivre le texte en langage naturel qui peut varier en ton ou en signification. Cela rend l'évaluation plus difficile car les LLM doivent être plus que précis, ils doivent être sécurisés et dignes de confiance.

Une autre différence importante est la vitesse du changement. Les LLM s'adaptent rapidement et les entreprises ont besoin de systèmes capables de suivre le rythme, tandis que les tâches qui utilisent le ML sont souvent plus étroitement définies et moins ambiguës. Ainsi, alors que le MLOps a posé les bases, le LLMOps l'élargit en une pratique plus large et plus exigeante.

Quels sont les principaux défis du LLMOps ?

Les plus grands défis du LLMOps concernent l'évaluation, la gestion des coûts et la qualité des données. Contrairement aux modèles de machine learning traditionnels avec des mesures claires, telles que la précision, l'évaluation des performances d'un LLM est difficile car une « bonne » sortie peut être subjective et dépendante du contexte.

Les ressources de calcul requises pour la formation, le réglage fin et l'exécution des LLM sont immenses, ce qui fait de l'optimisation des coûts une préoccupation constante. En outre, les LLM ne fonctionnent pas isolément : ils doivent se connecter aux systèmes métier, aux API et aux workflows, ainsi qu'à une grande variété de sources de données.

Dois-je créer mon propre LLM ou puis-je simplement utiliser une API ?

La création de votre propre grand modèle de langage vous donne un contrôle très strict sur le modèle, mais nécessite d'énormes ressources pour le concevoir, l'entraîner, le tester et le déployer, puis, de temps en temps, le redéfinir, le réentraîner, le tester à nouveau et le redéployer. Très peu d'entreprises peuvent soutenir cet effort, et il est rarement rentable sauf dans des situations spécialisées.

Dans la plupart des cas, il est plus pratique de concéder des licences à un LLM hébergé dans le cloud et d'y accéder via des API. Dans ce cas, vous utilisez des modèles de fournisseurs et ne payez que ce que vous consommez. La meilleure approche dépend de votre budget, de l'expertise disponible et des objectifs commerciaux.

À quoi ressemble une pile ou un ensemble d'outils LLMOps standard ?

Une pile de LLMOps inclut des outils de déploiement, de surveillance, d'intégration et de sécurité des modèles. La surveillance utilise des tableaux de bord, des alertes et des audits pour suivre les performances et la précision des modèles.

Certaines piles comprennent également des outils d'explicabilité, qui aident les équipes à comprendre pourquoi un modèle a fait un choix. Le mélange exact dépend des besoins de l'entreprise. Mais le fil conducteur est un système en couches qui combine l'ingénierie logicielle et la data science.

Comment évaluez-vous et surveillez-vous un LLM en production ?

L'évaluation commence avant le déploiement et se poursuit longtemps après. Les équipes définissent des repères, tels que la précision sur les jeux de tests, le temps de réponse sur les appels d'API et l'alignement sur les objectifs de l'entreprise. En production, les outils de surveillance suivent la dérive, les erreurs et les réponses inhabituelles. Les commentaires des utilisateurs sont également importants : un modèle peut être performant lors de tests en laboratoire mais échouer avec les utilisateurs finaux en raison de son ton ou de son style.

L'évaluation combine souvent des mesures quantitatives et des contrôles qualitatifs. Certaines entreprises créent des comités d'examen pour les extrants. D'autres exécutent des tests A/B pour comparer les itérations des grands modèles de langage. L'objectif n'est pas seulement de mesurer, mais de s'adapter en utilisant une boucle d'évaluation-surveillance-rémédiation pour garder le modèle efficace au fil du temps.