AI Blueprints

Simplifique a implementação de grandes modelos de linguagem (LLMs) e modelos de linguagem de visão (VLMs) usando um mecanismo de interface de código aberto chamado de grande modelo de linguagem virtual (vLLM). Implemente um modelo personalizado ou selecione um dos vários modelos abertos no Hugging Face.

Simplifique o benchmarking de infraestrutura para ajustes finos usando a metodologia MLCommons. Ela ajusta um modelo Llama-2-70B quantizado com um conjunto de dados padrão.

O OCI AI Blueprints permite o ajuste eficiente de modelos usando a adaptação de baixa classificação (LoRA), um método altamente eficiente de ajuste fino de LLM. Ajuste um LLM personalizado ou use a maioria dos LLMs abertos do Hugging Face.

Antes de implementar cargas de trabalho de produção ou pesquisa, você pode usar um modelo robusto e pré-verificado para validação completa da integridade da GPU para detectar e resolver problemas de forma proativa. Verifique se s infraestrutura de GPU está preparada para experimentos de alta demanda em ambientes de nó único e de vários nós.

Adote uma estrutura abrangente para atender LLMs em CPUs usando a plataforma Ollama com uma variedade de modelos compatíveis, como Mistral, Gemma e outros.

Com esse modelo, é possível distribuir o serviço de inferência entre vários nós de computação, cada um normalmente equipado com uma ou mais GPUs. Por exemplo, implemente LLMs do Llama de 405B em vários nós H100 com RDMA usando vLLM e LeaderWorkerSet.

Atenda LLMs com dimensionamento automático usando KEDA, que pode ser dimensionado para várias GPUs e nós usando métricas de aplicação, como latência de inferência.

Implemente LLMs em uma fração de uma GPU com GPUs de várias instâncias NVIDIA e use um vLLM.