AI-oplossing

Taken veilig automatiseren met RAG en een keuze aan LLM's

Inleiding

Waarom zou u niet de hulp van AI inroepen om repetitieve taken te stroomlijnen of volledig te automatiseren? Het gebruik van een basismodel om repetitieve taken te automatiseren klinkt misschien aantrekkelijk, maar het kan vertrouwelijke gegevens in gevaar brengen. RAG (Retrieval-augmented generation) is een alternatief voor fine-tuning, waarbij inferentiegegevens geïsoleerd blijven van het corpus van een model.

We willen onze inferentiegegevens en ons model gescheiden houden, maar we willen ook een keuze waarin we een groot taalmodel (LLM) gebruiken en een krachtige GPU voor efficiëntie. Stel je voor dat je dit allemaal zou kunnen doen met slechts één GPU!

In deze demo laten we zien hoe u een RAG-oplossing implementeert met behulp van één NVIDIA A10 GPU; een open-source framework zoals LangChain, LlamaIndex, Qdrant of vLLM; en een lichte LLM met 7 miljard parameters van Mistral AI. Het is een uitstekende balans tussen prijs en prestaties en houdt inferentiegegevens gescheiden terwijl de gegevens indien nodig worden bijgewerkt.

-demonstratie

Demo: Taken veilig automatiseren met RAG en een keuze aan LLM's (1:15)

Vereisten en instellingen

  1. Aanmeldingspagina voor Oracle Cloud account
  2. Documentatie over Oracle GPU Compute-instances
  3. LlamaIndex-documentatie
  4. LangChain-documentatie
  5. vLLM:documentatie
  6. Qdrant-documentatie