di base
I modelli disponibili di Cohere e Meta per l'AI generativa OCI includono
- Modelli Meta Llama: L'ultima versione include il modello 405B di base Llama 3.1, che consente la più ampia gamma di casi d'uso; modelli multimodali Llama 3.2 da utilizzare con le immagini; e Llama 3.3 70B, con prestazioni di costo migliorate per le applicazioni di solo testo. Il supporto degli strumenti API è disponibile per i modelli Llama.
- Cohere Command R: Parte di una nuova categoria di modelli scalabili, il comando R mira a bilanciare l'alta efficienza con una forte precisione per le applicazioni di retrieval-augmented generation (RAG). Rispetto ai modelli Cohere originali, il comando R offre un throughput più elevato e una latenza inferiore, una finestra di contesto più ampia e prestazioni elevate in 10 lingue.
- Comando Cohere R+: il comando R+ viene migliorato con ulteriore formazione del comando R per casi d'uso più specializzati. Il comando R+ ha una comprensione più profonda del linguaggio e la capacità di generare risposte più sfumate e contestualmente appropriate. Utilizzare il comando R+ per casi d'uso come la creazione di contenuti in formato lungo, il riepilogo, la risposta alle domande e la generazione di linguaggi per domini o settori specifici.
- Cohere Embed: questi modelli incorporati in inglese e multilingue (v3) convertono il testo in rappresentazione di incorporamenti vettoriali. Le versioni "Light" di Embed sono più piccole e veloci (solo in inglese).
Cluster AI dedicati
Con i cluster AI dedicati, puoi ospitare modelli di base su GPU dedicate private. Questi cluster offrono prestazioni stabili e con throughput elevato, richieste per i casi d'uso di produzione e possono supportare carichi di lavoro di hosting e fine tuning. L'AI generativa OCI ti consente di eseguire lo scale-out del cluster senza tempi di inattività per gestire le modifiche del volume.
API chat e Playground
L'esperienza di chat offre un'interfaccia predefinita con i modelli Cohere e Meta in cui gli utenti possono porre domande e ottenere risposte tramite la console o l'API OCI.
Integrazione LangChain
L'AI generativa OCI è integrata con LangChain, un framework open source che può essere utilizzato per sviluppare nuove interfacce per applicazioni AI generative basate su modelli di linguaggio. LangChain semplifica lo scambio di astrazioni e componenti necessari per lavorare con i modelli di linguaggio.
Integrazione LlamaIndex
Utilizza LlamaIndex, un framework open source per la creazione di applicazioni con aggiunta del contesto, con OCI Generative AI per creare facilmente soluzioni o agenti RAG. Porta le tue soluzioni dal prototipo alla produzione con sorgente di dati personalizzate e strumenti flessibili.
Operazioni di AI generativa
L'AI generativa OCI fornisce controlli di moderazione dei contenuti e sarà disponibile a breve: lo swap del modello di endpoint con zero tempi di inattività e funzionalità di disattivazione e attivazione degli endpoint. Per ogni modello endpoint, OCI Generative AI acquisisce una serie di analitycs tra cui statistiche delle chiamate, token elaborati e conteggi degli errori.
AI generativa OCI per le applicazioni Oracle Fusion Cloud
Integrando le funzioni create con l'AI generativa OCI direttamente in Oracle Cloud Applications, semplifichiamo l'accesso immediato dei clienti senza integrazioni complesse.