Que sont les petits modèles de langage (SLM) ? Comment fonctionnent-ils ?

Tout le monde, parle des grands modèles de langage, les LLM. Rien d'étonnant, car des chatbots basés sur des LLM et accessibles au public, comme ChatGPT et Microsoft Copilot, ont, disons-le, tout révolutionné. Cependant, pour les entreprises qui veulent intégrer l'IA dans leurs applications, les LLM ne sont pas toujours nécessaires, ils peuvent même être excessifs. Place au petit modèle de langage. Les SLM sont des modèles d'IA ciblés et légers, bien adaptés à de nombreux cas d'usage, notamment des applications qui s'exécutent entièrement sur les appareils, des systèmes nécessitant l'accès à des données internes sensibles ou un entraînement approfondi pour réduire les hallucinations. Les petits modèles de langage sont également populaires auprès d'équipes de recherche et de groupes académiques qui ont besoin de modèles sur mesure sans disposer de l'infrastructure ou du budget pour créer un LLM.

Que sont les petits modèles de langage (SLM) ?

Les SLM sont des modèles de langage qui fonctionnent comme les LLM mais à une échelle bien moindre, ils sont en général de 100 à 1 000 fois plus petits que la plupart des LLM. Les entraîneurs peuvent utiliser des jeux de données plus modestes, nécessitant moins de temps d'entraînement, et le modèle final reste relativement économique et facile à gérer. Un SLM pouvant fonctionner hors ligne, il peut être configuré pour être plus sécurisé qu'un LLM, et en production, les temps d'inférence sont généralement plus rapides. De nombreux SLM s'exécutent localement sur des smartphones, des tablettes ou des appareils à la périphérie.

Les SLM sont généralement entraînés pour un ensemble restreint de tâches, souvent dans un domaine précis, par exemple résumer des transcriptions, traduire de simples demandes utilisateurs en extraits de code, ou traiter des informations sensibles entièrement en local pour éviter les transferts vers le cloud et améliorer la conformité. Comme les SLM peuvent être ajustés ou entraînés sur des données propriétaires sans sortir de l'environnement sécurisé de l'organisation, ils sont potentiellement moins sujets aux erreurs ou hallucinations que les LLM.

SLM et LLM : efficacité et passage à l'échelle

Les SLM et les LLM partagent des étapes de développement et des besoins techniques fondamentaux. La différence tient à l'échelle, ce qui impacte tout, de l'entraînement aux opérations courantes, y compris l'usage des ressources et les coûts.

La plupart des grands modèles de langage contiennent des centaines de milliards de paramètres et ont été entraînés sur des jeux massifs pour des tâches exigeantes, comme les chatbots destinés au public. Déployer un LLM en interne exige d'importantes ressources de calcul, de l'énergie, du stockage de données et une infrastructure matérielle. C'est pourquoi les architectes IT se tournent vers les SLM pour fournir des fonctions d'IA spécialisées lorsque le recours à un LLM sur site ou dans le cloud n'est ni nécessaire ni pratique. Comme les SLM sont conçus pour des objectifs précis, leur entraînement peut se limiter à un nombre de paramètres bien plus faible, généralement quelques milliards voire des centaines de millions. Comparé à des centaines de milliards, on voit bien qu'un SLM est plus facile à gérer en matière d'entraînement, de test, de déploiement et d'exploitation.

SLM et LLM : principales différences

Points à retenir

• Les SLM utilisent moins de paramètres et bénéficient d'un entraînement plus ciblé, souvent sur un seul domaine ou une seule discipline pour un besoin précis.
• Les SLM peuvent s'exécuter sur des terminaux courants ou des appareils en périphérie, ce qui facilite le respect des exigences de sécurité et de conformité, comparé aux LLM.
• Les SLM sont souvent entraînés pour des fonctions ciblées, comme classer et affecter automatiquement des tickets de support ou alimenter des chatbots de service client.

Les petits modèles de langage, en bref

Les SLM sont entraînés, affinés et déployés selon les mêmes étapes que les LLM, mais à une échelle bien moindre. Les principaux axes d'attention incluent

• Architecture : les SLM utilisent moins de paramètres et comportent moins de couches.
• Jeux de données d'entraînement : les SLM utilisent des jeux plus ciblés, souvent sur une seule discipline, comme le droit ou la pharmacologie.
• Déploiement : les modèles peuvent être déployés sur des ordinateurs portables, des téléphones et des appareils en périphérie, pratiques pour les opérations sur le terrain.

Les SLM sont un choix pertinent lorsque des limitations techniques, réglementaires ou opérationnelles empêchent l'usage de LLM, ou quand l'ampleur des capacités d'un LLM n'est pas nécessaire. Les SLM offrent aussi des avantages intrinsèques : inférence plus rapide, latence réduite, flexibilité de déploiement accrue et potentiellement moins d'hallucinations. Comme les LLM, les SLM peuvent s'exécuter dans le cloud.

Avantages des petits modèles de langage

Les SLM peuvent déployer l'IA en local malgré des contraintes de matériel, d'énergie et de budget. Voici quelques-uns des avantages les plus courants des SLM :

• Efficacité et maîtrise des coûts : les SLM exigent moins de puissance de calcul et de ressources d'infrastructure, optimisent la consommation d'énergie et minimisent les dépenses d'exploitation.
• Expérience utilisateur améliorée : les SLM permettent aux appareils mobiles et à la périphérie de proposer des fonctionnalités d'IA intégrées aux applications et offrent des options de déploiement flexibles.
• Sécurité : comme les SLM peuvent souvent s'exécuter entièrement sur un appareil mobile ou à la périphérie, ils peuvent être plus adaptés que les LLM dans les situations exigeant une sécurité ou une confidentialité renforcée ou impliquant des données réglementées.
• Vitesse et réactivité : compacts et efficaces, les SLM traitent l'information et génèrent des réponses plus rapidement que les LLM, en particulier sur des processeurs moins puissants ou des appareils à mémoire limitée. Les SLM peuvent aussi fonctionner sur de petits appareils sans dépendre de ressources réseau externes.
• Applicabilité concrète : les SLM conviennent aux tâches spécifiques à un domaine lors d'opérations sur le terrain, en environnements distants et dans d'autres scénarios où la rapidité de réponse et des besoins limités en ressources sont essentiels. On retrouve des SLM dans les enceintes intelligentes, les smartphones, les assistants intégrés aux applications, et bien plus.

Cas d'usage et exemples de petits modèles de langage

Les SLM sont souvent conçus pour être intégrés dans des appareils IoT/edge ou dans des processus logiciels. Voici quelques exemples courants de SLM en action :

• Automatisation du support client : les SLM gèrent automatiquement les demandes fréquentes via leur intégration dans des chatbots et des systèmes de tickets, réduisant les délais de réponse et les coûts d'exploitation.
• Personnalisation de contenu : les SLM transforment les données utilisateurs en recommandations personnalisées de contenus, produits et messages tout en respectant les exigences de confidentialité et de conformité.
• Traduction à la demande et support multilingue : les SLM offrent une compréhension et une traduction instantanées sur l'appareil, sans transmission vers des serveurs externes.
• Analyse de texte et traitement des données : les SLM transforment des données non structurées comme des e-mails ou des historiques de chat en insights exploitables, pour produire des résumés, catégoriser, détecter des anomalies et, plus généralement, tout besoin d'analyse en temps réel.
• Assistants virtuels en santé : des SLM conformes à la HIPAA (Health Insurance Portability and Accountability Act) gèrent en toute confidentialité et sécurité les questions, la prise de rendez-vous, la récupération de dossiers et d'autres tâches courantes lorsqu'ils sont intégrés aux plateformes de santé.

L'avenir des petits modèles de langage

À l'instar de leurs grands homologues, les LLM, les SLM continuent d'évoluer. Voici ce qui se profile à l'horizon :

• Progrès des techniques d'entraînement : les SLM se perfectionnent avec de nouvelles optimisations, comme le fine-tuning économe en paramètres et des méthodes de distillation améliorant le transfert de connaissances des LLM vers les SLM.
• Expansion de l'edge et du mobile : à mesure que les progrès de l'IA facilitent l'inférence économe en ressources et des modèles plus compacts, les SLM gagneront en flexibilité de déploiement sur les appareils edge et en environnements mobiles.
• Accessibilité et démocratisation accrues : comme ils exigent moins de ressources pour l'entraînement et l'usage, les SLM devraient s'intégrer à davantage de projets dans les organisations et dans des régions auparavant exclues pour des raisons de ressources ou de budget.

Pourquoi choisir Oracle pour les SLM ?

Oracle Cloud Infrastructure (OCI) propose des options de calcul dimensionnées selon le besoin et une gamme complète de services d'IA managés, idéal pour développer, entraîner et déployer des SLM. OCI offre une infrastructure économique et évolutive qui permet aux équipes de ne payer que ce dont elles ont besoin. Les nombreuses régions et options de résidence des données assurent une portée mondiale tout en répondant aux exigences réglementaires et de conformité, y compris la souveraineté de l'IA. Des offres OCI spécialisées sont disponibles pour les organisations qui ne peuvent pas migrer leurs données vers des modèles de cloud public ou les utiliser. Des fonctionnalités de sécurité avancées apportent une tranquillité d'esprit supplémentaire.

Si les LLM attirent souvent davantage l'attention, les SLM sont une technologie clé de l'IA générative pour des tâches spécialisées, comme l'intégration de fonctions linguistiques dans les applications d'entreprise et l'IA embarquée sur smartphones et tablettes. Avec OCI, les équipes peuvent entraîner, ajuster et tester des SLM, puis les intégrer à des environnements d'exécution conçus pour une expertise métier spécifique, tout en respectant les contraintes matérielles et budgétaires, afin d'apporter les bénéfices de l'IA là où les LLM ne sont pas pratiques.

FAQ sur les SLM

Comment fine-tune-t-on les petits modèles de langage pour des applications spécifiques ?

Le fine-tuning d'un SLM consiste à l'adapter à une tâche ou à un domaine précis avec un jeu de données ciblé, par exemple des scripts de support client ou des documents médicaux. Les SLM peuvent être entraînés et ajustés sur une infrastructure cloud à partir de données métier, en adaptant les paramètres aux priorités de l'application. Par exemple, le runtime d'une application de santé n'a pas besoin de citer Shakespeare, et un générateur de résumés d'e-mails n'a pas besoin de connaître les derniers résultats sportifs. L'objectif est d'aider le modèle à assimiler un vocabulaire, des schémas et un contexte spécialisés. Le fine-tuning est particulièrement efficace pour les SLM, car il compense leur capacité plus réduite en se concentrant sur des fonctions spécialisées. Les équipes doivent toutefois se prémunir contre le surapprentissage, lorsque le modèle réussit sur les données d'entraînement mais échoue sur de nouvelles données faute de généralisation.

Quelles sont les implications de sécurité liées à l'usage des petits modèles de langage ?

L'entraînement, l'ajustement et les tests des SLM peuvent être réalisés efficacement dans un environnement cloud sécurisé. Déployés sur les appareils, les SLM peuvent offrir des avantages de sécurité supérieurs aux LLM puisqu'ils n'exigent pas de ressources externes pour l'inférence. De plus, comme les runtimes des SLM ont un périmètre plus ciblé, les organisations peuvent plus facilement répondre aux exigences réglementaires et de confidentialité.