Funkcje rozwiązania HeatWave GenAI

Duże modele językowe w bazie danych

Duże modele językowe (LLM) w bazie danych znacznie upraszczają tworzenie aplikacji korzystających z generatywnej sztucznej inteligencji. Generatywna sztuczna inteligencja przynosi szybkie korzyści; nie trzeba wybierać zewnętrznego modelu LLM ani zastanawiać się nad złożonością integracji, kosztami lub dostępnością takiego modelu w różnych centrach przetwarzania danych.

  • Można na przykład użyć wbudowanych modeli LLM, aby pomóc w generowaniu lub podsumowywaniu treści i danych wyszukiwania w ramach podejścia RAG (generowanie odpowiedzi opartych na pobraniu odpowiednich danych) za pomocą magazynu danych wektorowych HeatWave.
  • Można również połączyć generatywną sztuczną inteligencję z innymi wbudowanymi funkcjami HeatWave, takimi jak uczenie maszynowe, aby zmniejszać koszty i szybciej uzyskiwać trafniejsze wyniki.
  • Wbudowanych modeli LLM można używać we wszystkich regionach OCI, dedykowanym regionie OCI i w różnych chmurach, uzyskując spójne wyniki i przewidywalną wydajność we wszystkich wdrożeniach.
  • Używanie modelu LLM w bazie danych nie wiąże się z żadnymi dodatkowymi kosztami. Aby obniżyć koszty infrastruktury, można wyeliminować konieczność przydzielania zasobów procesorom GPU. Ponadto zasoby systemowe są zoptymalizowane (optymalna konfiguracja liczby wątków, rozmiaru partii danych i rozmiaru segmentu), co dodatkowo pomaga obniżyć koszty.
  • Model LLM w bazie danych i czat HeatWave pomagają programistom tworzyć aplikacje, które są wstępnie skonfigurowane do konwersacji kontekstowych w języku naturalnym. Nie ma potrzeby subskrybowania zewnętrznych modeli LLM ani przydzielania procesorów GPU.
  • Natywne wykonywanie modelu LLM w środowisku HeatWave pomaga zminimalizować ryzyko związane z przenoszeniem danych. Model LLM może korzystać z magazynu danych wektorowych HeatWave, aby poszerzyć swoją wiedzę na podstawie zastrzeżonych danych, zamiast polegać na precyzyjnym dostrajaniu.
  • Usługa Oracle HeatWave GenAI jest zintegrowana z usługą generatywnej sztucznej inteligencji OCI na potrzeby zapewnienia dostępu do wstępnie wytrenowanych, podstawowych modeli Cohere i Meta.

Magazyn danych wektorowych HeatWave

Magazyn danych wektorowych HeatWave pozwala połączyć potencjał modeli LLM z własnymi danymi, aby uzyskać dokładniejsze i bardziej dopasowane do kontekstu odpowiedzi niż w przypadku korzystania z modeli szkolonych wyłącznie na danych publicznych. Magazyn danych wektorowych przetwarza dokumenty w różnych formatach, w tym PDF, i przechowuje je jako wektory wygenerowane za pomocą modelu osadzania. Dla danego zapytania użytkownika magazyn danych wektorowych pomaga określić najbardziej podobne dokumenty, wyszukując podobieństw względem przechowywanych danych wektorowych i osadzonego zapytania. Dokumenty te są używane do rozszerzenia promptu wysyłanego do modelu LLM, aby zapewnić bardziej kontekstową odpowiedź dla pytającego.

  • Magazyn danych wektorowych HeatWave umożliwia korzystanie z generatywnej sztucznej inteligencji wraz z dokumentami biznesowymi bez konieczności przenoszenia danych do oddzielnej bazy danych wektorowych i bez specjalistycznej wiedzy z zakresu sztucznej inteligencji.
  • Generowanie wektorów w magazynie danych wektorowych przetwarza wiele danych wejściowych równolegle w wielu wątkach na wszystkich węzłach klastra. W rezultacie tworzenie magazynu danych wektorowych i pozyskiwanie nieuporządkowanych danych w różnych formatach, np. PDF, DOCX, HTML, TXT lub PPTX, jest bardzo szybkie i skaluje się wraz z rozmiarem klastra.
  • Kanał przepływu danych służący do wykrywania i przetwarzania zastrzeżonych dokumentów w magazynie danych wektorowych jest zautomatyzowany i polega m.in. na przekształcaniu nieuporządkowanych danych tekstowych użytkowników i generowaniu wektorów, co sprawia, że korzystanie z magazynu danych wektorowych jest bardzo łatwe dla programistów i analityków nieposiadających specjalistycznej wiedzy z zakresu sztucznej inteligencji.
  • Magazyn danych wektorowych znajduje się w obiektowej pamięci masowej, dzięki czemu jest bardzo opłacalny i wysoce skalowalny, nawet w przypadku dużych zbiorów danych. Można go również łatwo udostępniać różnym aplikacjom.
  • Transformacja danych jest wykonywana w bazie danych, co pomaga zmniejszyć ryzyko związane z bezpieczeństwem poprzez wyeliminowanie konieczności przenoszenia danych oraz pomaga obniżyć koszty poprzez wyeliminowanie konieczności korzystania z zasobów klienta.

Elastyczne i szybkie przetwarzanie wektorowe

Przetwarzanie wektorowe jest szybsze dzięki architekturze HeatWave działającej w pamięci i skalowanej rozszerzająco. HeatWave obsługuje nowy natywny typ danych VECTOR, umożliwiając używanie standardowego kodu SQL do tworzenia i przetwarzania danych wektorowych oraz zarządzania nimi.

  • Wektory można łączyć z innymi operatorami SQL. Na przykład można uruchamiać kwerendy analityczne, które łączą kilka tabel z różnymi dokumentami, a następnie przeprowadzać wyszukiwanie podobieństw we wszystkich dokumentach.
  • Reprezentacja w pamięci i skalowana rozszerzająco architektura sprawiają, że przetwarzanie wektorowe odbywa się równolegle nawet w 512 węzłach klastra HeatWave i jest wykonywane z prędkością porównywalną do przepustowości pamięci oraz bez utraty dokładności.

Czat HeatWave

Nowy interfejs czatu HeatWave umożliwia prowadzenie konwersacji kontekstowych w języku naturalnym rozszerzonych o zastrzeżone dokumenty odwzorowane w magazynie danych wektorowych.

  • Z nieuporządkowanych danych przechowywanych w bazie danych MySQL i w obiektowym magazynie danych można korzystać za pomocą języka naturalnego. Kontekst pytań jest zachowywany, aby umożliwić zadawanie kolejnych pytań w języku naturalnym. HeatWave przechowuje kontekst obejmujący historię zadawanych pytań, cytowania dokumentów źródłowych i prompty do modelu LLM. Ułatwia to konwersację kontekstową i pozwala zweryfikować źródło odpowiedzi wygenerowanych przez model LLM. Kontekst ten jest zapisywany w HeatWave i dostępny dla wszystkich aplikacji korzystających z HeatWave.
  • Zintegrowany nawigator Lakehouse pozwala zobaczyć dane dostępne w MySQL Database i magazynie obiektów. Następnie można łatwo załadować wybrane dane do magazynu danych wektorowych HeatWave i poinstruować model LLM, aby pobierał informacje z tego konkretnego źródła. W rezultacie można obniżyć koszty, przeszukując mniejszy zestaw danych, jednocześnie zwiększając zarówno szybkość, jak i dokładność działania.
  • Wyszukiwanie można prowadzić w całej bazie danych lub ograniczyć je do konkretnego folderu.
  • Za pośrednictwem czatu HeatWave można wybrać kilka modeli LLM, wbudowanych lub dostępnych w ramach usługi OCI Generative AI.