Funciones de HeatWave GenAI
Modelos de lenguaje grandes en la base de datos
Los grandes modelos de lenguaje (LLM) en la base de datos simplifican en gran medida el desarrollo de aplicaciones GenAI. Puedes beneficiarte de la IA generativa; no necesitas seleccionar un LLM externo y no tienes que considerar la complejidad de la integración, los costos ni la disponibilidad de un LLM externo en varios centros de datos.
- Por ejemplo, es posible utilizar los LLM incorporados para ayudar a generar o resumir contenido y datos de búsqueda para realizar la generación aumentada de recuperación (RAG) con HeatWave Vector Store.
- También se puede combinar el poder de la IA generativa con otras capacidades incorporadas de HeatWave, como el aprendizaje automático, para ayudar a reducir costos y obtener resultados más precisos más rápido.
- Utiliza los LLM incorporados en todas las regiones de OCI, OCI Dedicated Region y en todas las nubes y obtener resultados consistentes con un rendimiento predecible en todas las implementaciones.
- No hay costos adicionales para utilizar los LLM en la base de datos. Ayuda a reducir los costos de infraestructura al eliminar la necesidad de aprovisionar GPU. Además, los recursos del sistema están optimizados (configuración ideaç de recuento de threads, tamaño de lote y tamaño de segmento) para ayudar aún más a reducir los costos.
- Los LLM incorporados y el chat HeatWave permiten ofrecer aplicaciones preconfiguradas para conversaciones contextuales en lenguaje natural. No es necesario suscribirse a LLM externos ni aprovisionar GPU.
- La ejecución nativa de LLM en HeatWave ayuda a minimizar los riesgos asociados al movimiento de datos. Los LLM pueden aprovechar HeatWave Vector Store para ampliar sus conocimientos utilizando datos propietarios en lugar de confiar en el ajuste.
- Oracle HeatWave GenAI está integrado con el servicio OCI Generative AI para acceder a modelos fundamentales preentrenados desde Cohere y Meta.
HeatWave Vector Store
HeatWave Vector Store te permite combinar el poder de los LLM con tus propios datos para obtener respuestas más precisas y contextualmente relevantes que el uso de modelos entrenados solo en datos públicos. El almacén vectorial procesa documentos en diversos formatos, incluido PDF, y los almacena como incrustaciones generadas mediante un modelo de codificador. Para una consulta de usuario determinada, identifica los documentos más similares realizando una búsqueda de similitud con las incrustaciones almacenadas y la consulta incorporada. Estos documentos se utilizan para aumentar la solicitud dada al LLM de modo que proporcione una respuesta más contextual para tu empresa.
- HeatWave Vector Store te permite utilizar la IA generativa con tus documentos comerciales sin mover datos a una base de datos vectorial independiente y sin tener experiencia en IA.
- La generación de incrustaciones en el almacén de vectores procesa varios archivos de entrada en paralelo a través de varios threads en todos los nodos de cluster. Como resultado, la creación del almacén de vectores y la ingestión de datos no estructurados en varios formatos, como PDF, DOCX, HTML, TXT o PPTX, es muy rápida y se escala con el tamaño del cluster.
- La canalización para descubrir e ingerir documentos propios en el almacén de vectores está automatizada, incluida la transformación de los datos de texto no estructurados de los usuarios y la generación de incrustaciones, lo que hace que sea muy fácil para los desarrolladores y analistas sin experiencia en IA aprovechar el almacén de vectores.
- El almacén de vectores reside en el almacenamiento de objetos, lo que lo hace muy rentable y altamente escalable, incluso con grandes conjuntos de datos. También es posible compartir fácilmente el almacén de vectores con diferentes aplicaciones.
- La transformación de datos se realiza dentro de la base de datos, lo que ayuda a reducir los riesgos de seguridad al eliminar el movimiento de datos y a reducir los costos al eliminar la necesidad de recursos de clientes.
Procesamiento vectorial flexible y rápido
El procesamiento vectorial se acelera con la arquitectura en memoria y de escala horizontal de HeatWave. HeatWave admite un nuevo tipo de dato VECTOR nativo, lo que permite utilizar SQL estándar para crear, procesar y gestionar datos vectoriales.
- Se pueden combinar vectores con otros operadores SQL. Por ejemplo, es posible ejecutar consultas analíticas que unan varias tablas con diferentes documentos y realizar búsquedas de similitud en todos los documentos.
- La representación en memoria y una arquitectura de escala horizontal significan que el procesamiento vectorial se paraleliza en hasta 512 nodos de cluster HeatWave y se ejecuta con ancho de banda de memoria, extremadamente rápido y sin pérdida de precisión.
HeatWave Chat
Una nueva interfaz de chat HeatWave le permite tener conversaciones contextuales aumentadas por documentos propietarios en el almacén de vectores, utilizando lenguaje natural.
- Se puede interactuar con datos no estructurados almacenados en MySQL Database y en el almacenamiento de objetos mediante lenguaje natural. El contexto de las preguntas se conserva para permitir una conversación similar a la humana con preguntas de seguimiento. HeatWave mantiene un contexto con el historial de preguntas formuladas, las citas de los documentos fuente y la solicitud para el LLM. Esto facilita una conversación contextual y permite verificar el origen de las respuestas generadas por el LLM. Este contexto se mantiene en HeatWave y está disponible para todas las aplicaciones que utilizan HeatWave.
- El navegador Lakehouse integrado permite ver los datos disponibles en MySQL Database y el almacenamiento de objetos. A continuación, es posible cargar fácilmente los datos seleccionados en HeatWave Vector Store e indicar al LLM que recupere información de ese origen específico. Como resultado, se reducen los costos mediante la búsqueda a través de un conjunto de datos más pequeño al tiempo que aumenta la velocidad y la precisión.
- Se puede buscar en toda la base de datos o restringir la búsqueda a una carpeta.
- Se pueden seleccionar varios LLM a través del chat HeatWave, ya sea integrado o accesible con el servicio OCI Generative AI.