1. Oracle México
  2. Nube
  3. Inteligencia artificial

AI Solutions Hub

Entra en una nueva era de productividad con soluciones de IA generativa creadas para tu empresa. Aprovecha la IA, integrada según tus necesidades, en toda la pila.

IA y AA

Analítica e IA

Compute

Contenedores

Lago de datos

Servicios para desarrolladores

IA generativa

Identidad y seguridad

Integración

Mercado

Bases de datos de código abierto

Oracle Database

Almacenamiento

Inferencia

Desarrollo del modelo

Extracción y resumen

Resultados contextuales (con RAG)

Procesamiento de lenguaje natural.

Visión artificial

Reconocimiento de voz

Análisis de sentimiento

Escenarios típicos

Construye con OCI Generative AI

Mira el video de la solución de muestra (1:36)

Aprovecha el poder de los LLM en un servicio gestionado

En el mundo acelerado del desarrollo de software, estar informado es crucial. Imagina tener un asistente de IA que pueda ayudar a transformar rápidamente una página web compleja en contenido fácil de consumir y compartir. Esto es solo una de las muchas cosas que Oracle Cloud Infrastructure (OCI) Generative AI puede ayudarte a hacer.

A continuación, te mostramos un ejemplo de cómo puedes crear un asistente de IA con OCI Generative AI.

El resumidor de proyectos populares de GitHub impulsado por IA es un motor de generación de contenido personal que recupera y resume automáticamente los 25 principales proyectos populares de GitHub. OCI Generative AI ayuda a extraer, leer y compilar el archivo README de cada proyecto en un resumen conciso, atractivo e informativo que se puede compartir con otros.

Pruébalo, con pasos detallados y código de ejemplo en GitHub.

Elegir modelos

Puedes cambiar fácilmente entre varios LLM ofrecidos a través de OCI Generative AI simplemente modificando la variable model_id en summarize_llm.py.

  • cohere.command-r-16k: un modelo versátil para tareas generales de lenguaje, como generación de texto, resumen y traducción, con un tamaño de contexto de 16K tokens. Ideal para crear IA conversacional con un buen balance entre rendimiento y rentabilidad.
  • cohere.command-r-plus: una versión mejorada con un entendimiento más sofisticado y capacidades de lenguaje más profundas. Mejor para tareas complejas que requieren respuestas matizadas y mayor capacidad de procesamiento.
  • meta.llama-3.1-70b-instruct: un modelo de 70B parámetros con longitud de contexto de 128K tokens y soporte multilingüe.
  • meta.llama-3.1-405b-instruct: El LLM más grande disponible públicamente (405B parámetros) con capacidades excepcionales en razonamiento, generación de datos sintéticos y uso de herramientas. Mejor para aplicaciones empresariales que requieren máximo rendimiento.

Lo anterior es un subconjunto de los modelos disponibles. Estamos constantemente haciendo disponibles modelos más nuevos.

A continuación se muestra un fragmento de código para llamar a OCI Generative AI:

content.text = """Generate an abstractive summary of the given Markdown contents. Here are the contents to summarize: {}""".format(summary_txt)


chat_detail.content = content.text 

chat_detail.serving_mode = oci.generative_ai_inference.models.OnDemandServingMode(model_id="meta.llama-3.1-405b-instruct") # configurable model chat_response = generative_ai_inference_client.chat(chat_detail)

Uso de OCI Generative AI Agents con RAG

Mira el video de la solución de muestra (1:44)

Proporciona mejor acceso a bases de conocimiento

La generación aumentada por recuperación (RAG) es uno de los casos de uso más importantes para la IA. RAG te permite aumentar el conocimiento de un LLM sin necesidad de reentrenarlo. Es una forma en que el LLM extrae nueva información, desde una base de datos o de otro lugar, y la presenta rápidamente al usuario final.

Esto permite que el LLM adquiera conocimientos actualizados independientemente de cuándo se entrenó y cuándo se ejecutó la inferencia. Como resultado, los datos actualizados pueden hacer que tu LLM sea más inteligente con poco o ningún esfuerzo.

Después de cargar documentos en Oracle Cloud Infrastructure (OCI) GenAI Agents, el servicio procesará los datos y proporcionará una forma de consumirlos a través de un chatbot.

Pruébalo, con pasos detallados y código de ejemplo en GitHub.

A continuación, se muestra un fragmento de código para usar el agente RAG en OCI:

# ask a question to RAG agent question = "What steps do I take if I have a new patient under the patient admission recommendations?" # Initialize service client with default config file agent_runtime_client = GenerativeAiAgentRuntimeClient(config)


chat_response = agent_runtime_client.chat( agent_endpoint_id="ocid1.test.oc1..<id>", chat_details=ChatDetails(user_message=question)) 

# Get the data from response print(chat_response.data)

Crea con Oracle HeatWave GenAI

Mira el video de la solución de muestra (3:54)

Acelera el desarrollo de aplicaciones con la GenAI integrada

La IA generativa puede ser especialmente útil para ayudar a resumir el sentimiento, como muestra este escenario. Un sitio de ecommerce puede tener cientos de unidades de mantenimiento de stock, o SKU, con docenas de reseñas para cada una. Para ayudar a resumir rápidamente las reseñas de productos, los desarrolladores pueden aprovechar las capacidades integradas de HeatWave GenAI, utilizando modelos de lenguaje de gran tamaño en la base de datos y un almacenamiento automatizado de vectores en la base de datos.

HeatWave GenAI también puede ayudar a traducir y analizar el sentimiento bajo demanda. Todas las operaciones pueden ser automatizadas con HeatWave GenAI, manteniendo los resúmenes actualizados a medida que se agregan nuevas reseñas.

Al mantener los datos y el procesamiento dentro de HeatWave, los desarrolladores pueden escalar soluciones con sus necesidades de GenAI, haciendo que la IA sea tan simple como una consulta de base de datos.

Pruébalo, con pasos detallados y código de ejemplo en GitHub.

A continuación se muestra un fragmento de código que ilustra cómo resumir reseñas positivas:

SELECT "################### Computing summaries for EXISTING reviews on a product ###################" AS "";

SELECT "" AS "";

CALL SUMMARIZE_TRANSLATE(1, "POSITIVE", "en", @positive_english_summary);
SELECT @positive_english_summary AS "--- English summary of positive reviews on the T-Shirt ---";

Crea con modelos de código abierto en OCI

Mira el video de la solución de muestra (1:30)

Aprovecha los modelos de GenAI de código abierto en una plataforma unificada

Los LLM de código abierto, como los creados por Hugging Face, son herramientas poderosas que permiten a los desarrolladores probar soluciones de GenAI de manera relativamente rápida. Kubernetes, combinado con Oracle Cloud Infrastructure (OCI), permite que las soluciones GenAI escalen, además de proporcionar flexibilidad, portabilidad y resiliencia.

En esta demostración, verás lo fácil que puede ser desplegar contenedores de inferencia LLM ajustados en OCI Kubernetes Engine, un servicio Kubernetes gestionado que simplifica los despliegues y operaciones a gran escala para empresas. El servicio permite a los desarrolladores mantener el modelo personalizado y los conjuntos de datos dentro de su propia tenencia sin depender de una API de inferencia de terceros.

Usaremos la Inferencia de generación de texto como el marco de inferencia para exponer los LLM.

Pruébalo, con pasos detallados y código de ejemplo en GitHub.

A continuación se muestra un fragmento de código que ilustra cómo desplegar un LLM de código abierto:

# select model from HuggingFace

model=HuggingFaceH4/zephyr-7b-beta


# deploy selected model
docker run ghcr.io/huggingface/text-generation-inference:2.0 --model-id $model

# invoke the deployed model
curl IP_address:port/generate_stream \
    -X POST \
    -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":50}}' \
    -H 'Content-Type: application/json'

Crea con Oracle Code Assist

Mira el video de la solución de muestra (3:40)

Aumenta la productividad de los desarrolladores y mejora la consistencia del código

Oracle Code Assist es un compañero de código de IA diseñado para ayudar a aumentar la velocidad de los desarrolladores y mejorar la consistencia del código. Impulsado por modelos de lenguaje de gran tamaño (LLM) en Oracle Cloud Infrastructure (OCI) y ajustado y optimizado para Java, SQL y el desarrollo de aplicaciones en OCI, Oracle Code Assist proporciona a los desarrolladores sugerencias específicas del contexto. Puedes adaptarlo a las mejores prácticas y bases de código de tu organización.

Actualmente disponible en beta para JetBrains IntelliJ IDEA y Microsoft Visual Studio Code, el plugin puede ayudar con la documentación, comprensión de código heredado y finalización de código.

Para aprender cómo unirte al programa beta y comenzar, visita nuestro repositorio de GitHub.

OCI AI Blueprints

Implementa, escala y supervisa cargas de trabajo de GenAI en cuestión de minutos con Oracle Cloud Infrastructure (OCI) AI Blueprints, que incluye recomendaciones de hardware, componentes de software y supervisión lista para usar.

    • Implementa y escala eficazmente LLM con vLLM: inferencia ultrarrápida, integración perfecta y sin complicaciones.

    • Elige entre modelos personalizados o una variedad de modelos de código abierto en Hugging Face.

    • Provisiona automáticamente nodos GPU y almacena modelos en OCI Object Storage.

    • Obtén un punto final de API listo para usar para la inferencia instantánea de modelos.

    • Activa la escala automática basada en la latencia de inferencia para aplicaciones esenciales.

    • Integra y escala fácilmente las cargas de trabajo de inferencia sin necesidad de conocimientos técnicos avanzados.

    • Supervisa el desempeño con herramientas de observabilidad integradas, como Prometheus y Grafana.

    • Ajusta con más inteligencia, no con más esfuerzo: compar el desempeño y optimiza el entrenamiento de la IA con información basada en datos.

    • Permite comparar el desempeño de ajustes mediante la metodología MLCommons.

    • Ajusta un modelo Llama 2 70B cuantificado con un conjunto de datos estandarizado.

    • Realiza un seguimiento del tiempo de entrenamiento, la utilización de recursos y las métricas de desempeño.

    • Registra automáticamente los resultados en MLflow y visualiza la información en Grafana.

    • Toma decisiones de infraestructura basadas en datos para optimizar los trabajos de ajuste.

    • Mejora el ajuste del LLM con una adaptación de bajo rango (LoRA): más rápido, eficiente y listo para su implementación.

    • Utiliza LoRA para ajustar eficazmente los LLM con una sobrecarga computacional mínima.

    • Aprovecha tus conjuntos de datos personalizados o los conjuntos de datos disponibles públicamente en Hugging Face para el entrenamiento.

    • Realiza un seguimiento y analiza métricas de entrenamiento detalladas registradas en MLflow durante todo el proceso de ajuste.

    • Almacena el modelo ajustado y los resultados del entrenamiento en un depósito de almacenamiento de objetos para una implementación perfecta.

    • Optimiza el desempeño con un diseño que ayuda a garantizar una adaptación rápida y eficaz del modelo sin un consumo intensivo de recursos.

    • Amplía la solución según sea necesario, desde pequeños conjuntos de datos hasta ajustes de modelos a gran escala.