Perguntas frequentes sobre o AI Blueprints

O que é o OCI AI Blueprints?

O Oracle Cloud Infrastructure AI Blueprints é um conjunto de blueprints pré-empacotados e verificados para a OCI que fornecem implementações consistentes e repetíveis de cargas de trabalho de IA generativa em minutos com observabilidade integrada.

O que o OCI AI Blueprints faz pelos clientes?

O Oracle Cloud Infrastructure AI Blueprints ajuda a implementar, dimensionar e monitorar cargas de trabalho de IA em produção em minutos. O AI Blueprints é um projeto de implementação no-code verificados pela OCI para cargas de trabalho de IA generativa populares. Ele inclui recomendações claras de hardware com GPUs NVIDIA, componentes de pilha de software opinativos, como NVIDIA NIM e ferramentas de observabilidade pré-empacotadas. Isso permite implementar cargas de trabalho de IA sem precisar tomar decisões sobre pilha de software ou provisionar manualmente a infraestrutura. Você também pode aproveitar os recursos avançados de infraestrutura do AI Blueprints, como GPUs de várias instâncias ou dimensionamento automático com base na latência de inferência, com algumas alterações de configuração simples. Com esses recursos, reduzimos a integração de GPU para implementações dimensionadas e de missão crítica de semanas para apenas alguns minutos.

Qual é o custo de usar o OCI AI Blueprints?

O OCI AI Blueprints está disponível gratuitamente para qualquer usuário da OCI.

Onde posso encontrar o OCI AI Blueprints?

O OCI AI Blueprints pode ser encontrado no GitHub. Na página do GitHub, você seguirá instruções sobre como:

1. Instalar a plataforma OCI AI Blueprints na tenancy e acessar a IU/API do OCI AI Blueprints
2. Implementar e monitorar um AI Blueprint
3. Após a conclusão, desfazer a implementação de um blueprint

Qual é a maneira mais segura de testar o OCI AI Blueprints na minha tenancy?

Para testar um OCI AI Blueprint, crie um compartimento separado e um cluster do OCI Kubernetes Engine. A implementação do OCI AI Blueprints no compartimento recém-criado isola qualquer impacto potencial na sua tenancy.

Quais contêineres e recursos são implementados na minha tenancy?

A seguir estão os contêineres e recursos implementados na tenancy:

1. Contêineres front-end e back-end do OCI AI Blueprints
2. Grafana e Prometheus (monitoramento)
3. MLflow (acompanhamento de experimentos)
4. KEDA (dimensionamento automático baseado em aplicação)
5. Kueue
6. KubeRay

Onde posso ver a lista completa de blueprints?

Todos os projetos disponíveis estão listados aqui.

Como posso executar o benchmarking de inferência do LLM?

Para executar um blueprint de benchmarking de inferência, basta implementar um blueprint vLLM e usar uma ferramenta como o LLMPerf para executar o benchmarking em relação ao seu endpoint de inferência.

Como posso verificar os logs para solução de problemas?

Use o kubectl para inspecionar logs de pod no cluster do Oracle Kubernetes Engine. Você também pode inspecionar logs no portal do AI Blueprints.

O OCI AI Blueprints oferece suporte a escalonamento automático?

Sim, o OCI AI Blueprints utiliza o KEDA para escalonamento automático orientado a aplicações. Consulte a documentação para obter mais informações.

Quais GPUs são compatíveis?

Quaisquer GPUs NVIDIA disponíveis na sua região da OCI, como A10, A100 ou H100.

Posso implementar em um cluster existente do Oracle Kubernetes Engine?

Sim, você pode implementar o OCI AI Blueprints em um cluster existente seguindo as instruções aqui.

Como posso executar vários blueprints no mesmo nó?

Para executar vários blueprints no mesmo nó, recomendamos habilitar pools de nós compartilhados. Leia mais aqui.

Qual é a diferença entre o OCI Data Science/Quick Actions e o AI Blueprints?

O Oracle Cloud Infrastructure Data Science e o Oracle Cloud Infrastructure Data Science Quick Actions são ofertas de PaaS destinadas a criar e implementar aplicações de IA em instâncias de computação gerenciadas. O AI Blueprints é um impulsionador do IaaS. O OCI AI Blueprints é ideal para clientes que implementam cargas de trabalho de IA generativa em instâncias reservadas em sua tenancy. Nos estágios iniciais da jornada do cliente, o AI Blueprints auxilia com POCs de pré-venda, benchmarking de LLM e prototipagem rápida de aplicações de IA de ponta a ponta, como geração aumentada de recuperação (RAG). Nos estágios posteriores, os clientes podem usar o AI Blueprints para cargas de trabalho de produção em clusters Kubernetes com configurações avançadas, como dimensionamento automático e inferência distribuída.

Qual é a diferença entre o serviço OCI Generative AI e o AI Blueprints?

O serviço OCI Generative AI é uma oferta PaaS. O AI Blueprints é um impulsionador do IaaS. O OCI AI Blueprints é ideal para clientes que implementam cargas de trabalho de IA generativa em instâncias reservadas em sua tenancy. Nos estágios iniciais da jornada do cliente, o AI Blueprints auxilia com POCs de pré-venda, benchmarking de LLM e prototipagem rápida de aplicações de IA de ponta a ponta, como o RAG. Nos estágios posteriores, os clientes podem usar o AI Blueprints para cargas de trabalho de produção em clusters Kubernetes com configurações avançadas, como dimensionamento automático e inferência distribuída.

Quais modelos posso implementar com o OCI AI Blueprints?

Você pode implementar LLMs personalizados ou a maioria dos modelos disponíveis no Hugging Face com nosso modelo vLLM, desde que os modelos sejam compatíveis com o vLLM.

Posso implementar modelos multimodais?

Sim.

Posso utilizar LLMs com mecanismos de inferência diferentes do vLLM?

Sim. Você pode usar outras soluções, como Ollama, TensorRT e NIM.

E se eu ainda não tiver GPUs? Posso implementar LLMs em CPUs com o AI Blueprints?

Sim. Temos um blueprint específico para a inferência de CPU que executa o Ollama em CPUs.

Posso usar o AI Blueprints com NIM e NeMo?

Sim.

O AI Blueprints tem uma interface de linha de comando (CLI) e uma API?

Atualmente, o AI Blueprints fornece uma API (a CLI está em desenvolvimento). Você também pode utilizar a CLI do Kueue para orquestração e agendamento de tarefas com o AI Blueprints.

Qual o valor que o AI Blueprints oferece?

Com o OCI AI Blueprints, você pode se beneficiar das seguintes maneiras:

• Implementar cargas de trabalho de IA generativa em questão de minutos por meio de um fluxo de configuração simplificado com blueprints e orientações claras.
• Obter menor tempo de produção e valor percebido mais rapidamente da computação da OCI para a IA generativa, reduzindo o tempo gasto na configuração inicial e na manutenção contínua.
• Usar a integração de autoatendimento em GPUs para IA generativa com ampla documentação e ênfase na experiência do usuário final com portais e APIs fáceis de usar.