¿Qué es Weaviate? Una base de datos de búsqueda semántica

Así como la IA generativa está transformando la forma en que los usuarios interactúan con los computadores, también está imponiendo nuevas demandas a las bases de datos que almacenan y recuperan la información que sustenta las respuestas de los sistemas. Las bases de datos vectoriales, diseñadas para desarrolladores que trabajan con conjuntos de datos muy grandes no estructurados o semiestructurados, almacenan los embeddings o posiciones en un espacio matemático de potencialmente miles de millones de vectores calculados a partir de los datos sin procesar. Estas bases de datos pueden devolver respuestas que enriquecen el conocimiento de los modelos de IA al calcular rápidamente las relaciones entre vectores.

A diferencia de las bases de datos tradicionales, que destacan en encontrar coincidencias exactas en consultas, las bases de datos vectoriales, como Weaviate (así como Milvus, Pinecone, Chroma y Qdrant), representan similitud entre objetos almacenados mediante su distancia entre sí en un espacio vectorial multidimensional. Estas bases pueden encontrar información relacionada rápidamente y devolver respuestas basadas en lo que los modelos suponen que el usuario quiere decir, incluso si son aproximadas y no coinciden exactamente con la consulta.

Eso convierte a Weaviate y otras bases de datos vectoriales en herramientas potentes de procesamiento de lenguaje natural para aplicaciones como recomendaciones para comercio electrónico y servicios de streaming, búsquedas semánticas o por similitud, detección de fraudes y generación aumentada por recuperación (RAG).

¿Qué es Weaviate?

Weaviate, propiedad de la startup neerlandesa del mismo nombre, es una base de datos vectorial especializada que destaca por realizar búsquedas rápidas entre miles de millones de vectores. Su arquitectura de búsqueda utiliza sharding, una técnica que distribuye la información entre muchos servidores, para aumentar la escalabilidad y el rendimiento.

Weaviate usa distintos tipos de índices de base de datos para mejorar el rendimiento según el tamaño del conjunto de datos. Su índice plano almacena ubicaciones de vectores y es adecuado para conjuntos de datos pequeños. Su índice HNSW (hierarchical navigable small world) es más lento de construir pero se adapta mejor a conjuntos grandes.

Weaviate enfatiza la productividad del desarrollador al ofrecer una variedad de herramientas e interfaces, incluidas bibliotecas cliente en Python, JavaScript, Go y Java, y una API para el lenguaje de consultas GraphQL. La base de datos se distribuye bajo la licencia de código abierto BSD-3-Clause. Su fortaleza está en las búsquedas de vecinos más cercanos aproximados (ANN), cuyos resultados mejoran las consultas de IA generativa.

Los clientes pueden ejecutar Weaviate en sus propios equipos, en un servicio de nube pública en un modelo sin servidor, o mediante el servicio en la nube gestionado de la empresa con hardware dedicado.

Cómo supera Oracle a Weaviate en disponibilidad y escalabilidad

Oracle Database 23ai también ofrece búsqueda vectorial con IA, lo que le permite almacenar y buscar vectores como lo hace Weaviate, con tiempos de respuesta inferiores al segundo. Sin embargo, en lugar de almacenar y recuperar datos desde una base de datos vectorial de propósito único, los equipos de desarrollo que usan Oracle Database 23ai pueden almacenar y buscar datos relacionales, gráficos, espaciales, JSON y del Internet de las cosas, además de la búsqueda vectorial. Con la base de datos de Oracle, los equipos de TI no necesitan gestionar múltiples bases de datos ni copias de datos, lo que reduce la complejidad.

Si bien Weaviate soporta la agrupación en clusters para mejorar la disponibilidad de la base de datos, Oracle Database 23ai ofrece una gama más amplia de opciones de alta disponibilidad, incluido Oracle Real Application Clusters, que permite que las instancias de base de datos se ejecuten en servidores independientes para la tolerancia a fallos y el equilibrio de carga; Oracle Active Data Guard, para la replicación inmediata en una base de datos en espera para que no se pierdan datos durante una interrupción no planificada; y Oracle GoldenGate, para la consistencia de los datos en varios sitios. Para la escalabilidad, Oracle Globally Distributed Database soporta la fragmentación para búsquedas vectoriales; el enrutamiento de consultas; y las operaciones de actualización, inserción y supresión a las particiones horizontales.

Las bases de datos vectoriales de especialidad pueden basarse en actualizaciones periódicas por lotes para datos que cambian rápidamente, lo que puede conducir a conjuntos de datos inconsistentes. Con Oracle Database 23ai, el pipeline de RAG y los orígenes de datos subyacentes permanecen sincronizados. Cuando se trata de consultas, Oracle Autonomous Database Select AI convierte las consultas en lenguaje natural en comandos SQL, utilizando LLM de Anthropic, Cohere, Google, Meta, Microsoft y OpenAI. Oracle Database 23ai también permite a los desarrolladores aprovechar los servicios de IA de otros grandes proveedores de nube, incluidos los modelos Gemini de Google, los servicios de IA de Azure de Microsoft y los LLM de OpenAI, para usarlos con datos empresariales almacenados en Oracle.

Preguntas frecuentes sobre Weaviate

¿Cómo maneja Weaviate la búsqueda semántica y vectorial?

La base de datos Weaviate permite búsquedas de baja latencia de incrustaciones vectoriales construidas a partir de datos no estructurados para una variedad de aplicaciones. Estos incluyen motores de recomendación y RAG, así como búsquedas híbridas que combinan la comprensión semántica de las relaciones entre texto, imágenes, audio y video con la búsqueda convencional de palabras clave.

¿Cuál es la diferencia entre Pinecone y Weaviate?

Weaviate se envía con una licencia BSD-3-Clause y puede ejecutarse en entornos locales o en un servicio de nube pública. Pinecone se distribuye bajo licencia propia y se ejecuta en la nube (así como a través de un enlace a una nube privada de AWS). Pinecone soporta una amplia gama de tipos de datos, mientras que Weaviate se puede personalizar debido a su licencia de código abierto.

¿Se puede usar Weaviate con modelos NLP?

Sí, Weaviate permite a los usuarios ejecutar y escalar sus propios modelos de procesamiento de lenguaje natural, además de utilizar modelos que se envían con el software.

¿Qué diferencia a Weaviate de otras bases de datos vectoriales?

Weaviate se centra en atraer a los desarrolladores a su producto a través del soporte para una variedad de lenguajes de programación y herramientas de IA. Su arquitectura está diseñada para la escalabilidad horizontal a través de la fragmentación de datos.