Weaviate란 무엇인가요? 의미 검색 데이터베이스

생성형 AI가 사용자들이 컴퓨터와 상호작용하는 방식을 재조명하는 것과 마찬가지로, 생성형 AI는 시스템의 답변에 기반한 정보를 저장하고 검색하는 데이터베이스에 새로운 요구사항을 적용합니다. 벡터 데이터베이스는 매우 큰 비정형 또는 반정형 데이터 세트로 작업하는 개발자를 위해 설계되었으며, 원시 데이터에서 계산될 수 있는 수십억 개의 벡터가 있는 수학적 공간에 임베딩 또는 위치를 저장합니다. 데이터베이스는 벡터 간의 관계를 빠르게 계산하여 AI 모델의 지식을 향상시키는 답변을 반환할 수 있습니다.

정확한 쿼리 일치를 찾는 데 탁월한 기존 데이터베이스와 달리 Weaviate(Milvus, Pinecone, Chroma, Qdrant 등)와 같은 벡터 데이터베이스는 다차원 벡터 공간에서 서로 거리를 두고 저장된 객체 간의 유사성을 나타냅니다. 데이터베이스는 관련 정보를 빠르게 찾고 사용자가 의미하는 바를 기반으로 답변을 반환할 수 있습니다. 쿼리에 대한 정확한 일치가 아닌 가까운 모델일지라도 말이죠.

이를 통해 Weaviate 및 기타 벡터 데이터베이스는 전자상거래 및 스트리밍 서비스, 의미 또는 유사성 검색, 사기 감지 및 검색 증강 생성(RAG)에 대한 권장 사항과 같은 애플리케이션을 위한 강력한 자연어 처리 도구를 제공합니다.

Weaviate란 무엇인가요?

같은 이름의 네덜란드 스타트업이 소유한 Weaviate는 수십억 개의 벡터에서 빠르게 검색할 수 있는 특수한 벡터 데이터베이스입니다. 검색 아키텍처는 여러 서버에 정보를 분산하는 기술인 데이터베이스 샤딩을 사용하여 확장성과 성능을 향상시킵니다.

Weaviate는 다양한 유형의 데이터베이스 인덱스를 사용하여 데이터 집합 크기에 따라 성능을 향상시킵니다. 플랫 인덱스는 벡터 위치를 저장하며 작은 데이터 세트에 적합합니다. HNSW(hierarchical navigable small world) 인덱스는 구축 속도가 느리지만 대용량 데이터 세트에 더 적합합니다.

Weaviate는 Python, JavaScript, Go 및 Java의 클라이언트 라이브러리와 GraphQL 쿼리 언어의 API를 포함한 다양한 도구 및 인터페이스를 제공하여 개발자 생산성을 강조합니다. 데이터베이스는 오픈 소스 BSD-3-Clause 라이선스로 배포됩니다. 그 강점은 대략적으로 가장 가까운 이웃(ANN) 검색입니다. 그 결과 생성형 AI 쿼리가 향상됩니다.

고객은 자체 컴퓨터, 서버리스 모델의 퍼블릭 클라우드 서비스 또는 전용 하드웨어를 사용하는 회사의 관리형 클라우드 서비스를 통해 Weaviate를 실행할 수 있습니다.

Oracle이 가용성 및 확장성의 위기를 능가하는 방법

또한 Oracle Database 23ai는 AI 벡터 검색을 제공합니다. 이를 통해 Weaviate처럼 1초 미만의 응답 시간으로 벡터를 저장하고 검색할 수 있습니다. 그러나 Oracle Database 23ai를 사용하는 개발 팀은 단일 목적의 벡터 데이터베이스에서 데이터를 저장하고 검색하는 대신 벡터 검색과 함께 관계형, 그래프, 공간, JSON 및 Internet of Things 데이터를 저장하고 검색할 수 있습니다. Oracle 데이터베이스를 사용하면 IT 그룹이 여러 데이터베이스와 데이터 복사본을 관리할 필요가 없으므로 복잡성이 줄어듭니다.

Weaviate는 데이터베이스 가용성 향상을 위해 클러스터링을 지원하지만, Oracle Database 23ai는 Oracle Real Application Clusters를 비롯한 광범위한 고가용성 옵션을 제공합니다. 이 옵션을 통해 데이터베이스 인스턴스는 내결함성 및 로드 밸런싱을 위해 별도의 서버에서 실행될 수 있습니다. Oracle Active Data Guard는 대기 데이터베이스에 즉시 복제할 수 있으므로 계획되지 않은 운용중단 중에는 데이터가 손실되지 않으며, Oracle GoldenGate는 여러 사이트에서 데이터 일관성을 제공합니다. 확장성을 위해 Oracle Globally Distributed Database는 벡터 검색에 대한 샤딩, 쿼리 라우팅, 샤드에 대한 업데이트, 삽입, 삭제 작업을 지원합니다.

전문 벡터 데이터베이스는 빠르게 변화하는 데이터에 대한 정기적인 일괄 처리 업데이트를 통해 일관성 없는 데이터 세트를 생성할 수 있습니다. Oracle Database 23ai를 사용하면 RAG 파이프라인 및 기본 데이터 소스가 계속 동기화됩니다. 쿼리와 관련하여 Oracle Autonomous Database Select AI는 Anthropic, Cohere, Google, Meta, Microsoft 및 OpenAI의 LLM을 사용하여 자연어 쿼리를 SQL 명령으로 전환합니다. 또한 개발자는 Oracle Database 23ai를 통해 Google의 Gemini 모델, Microsoft의 Azure AI 서비스, OpenAI의 LLM 등 다른 대규모 클라우드 제공업체의 AI 서비스를 활용하여 Oracle에 저장된 엔터프라이즈 데이터와 함께 사용할 수 있습니다.

Weaviate FAQ

Weaviate는 의미 및 벡터 검색을 어떻게 처리합니까?

Weaviate 데이터베이스는 다양한 애플리케이션을 위해 비정형 데이터로 구성된 벡터 임베딩의 대기 시간이 짧은 검색을 지원합니다. 여기에는 추천 엔진 및 RAG뿐만 아니라 텍스트, 이미지, 오디오 및 비디오 간의 관계에 대한 의미적 이해와 기존의 키워드 검색을 결합하는 하이브리드 검색이 포함됩니다.

Pinecone과 Weaviate의 차이점은 무엇입니까?

Weaviate는 BSD-3-Clause 라이선스와 함께 제공되며 온프레미스 또는 퍼블릭 클라우드 서비스에서 실행할 수 있습니다. Pinecone은 독점 라이선스로 배포되며 클라우드에서 실행됩니다(AWS 프라이빗 클라우드에 대한 링크를 통해서도 가능). Pinecone은 광범위한 데이터 유형을 지원하고, 오픈 소스 라이선스인 Weaviate는 커스터마이징할 수 있습니다.

Weaviate를 NLP 모델과 함께 사용할 수 있습니까?

예. Weaviate를 사용하면 소프트웨어와 함께 제공되는 모델을 사용하는 것 외에도 사용자가 자체 자연어 처리 모델을 실행하고 확장할 수 있습니다.

Weaviate가 다른 벡터 데이터베이스와 차별화되는 점은 무엇인가요?

Weaviate는 다양한 프로그래밍 언어 및 AI 도구에 대한 지원을 통해 개발자를 제품에 유치하는 데 중점을 둡니다. 이 아키텍처는 데이터 샤딩을 통한 수평 확장성을 위해 구축되었습니다.