Często zadawane pytania dotyczące usługi HeatWave GenAI
Informacje ogólne
Czym jest HeatWave GenAI?
Oracle HeatWave GenAI zapewnia zintegrowaną, zautomatyzowaną i bezpieczną generatywną sztuczną inteligencję z dużymi modelami językowymi (LLM) w bazie danych; zautomatyzowany magazyn danych wektorowych w bazie danych; skalowane rozszerzająco przetwarzanie wektorowe oraz możliwość prowadzenia kontekstowych konwersacji w języku naturalnym. W rezultacie można korzystać z generatywnej sztucznej inteligencji bez konieczności posiadania specjalistycznej wiedzy z zakresu sztucznej inteligencji, przenoszenia danych lub ponoszenia dodatkowych kosztów.
Jakie są kluczowe funkcje rozwiązania HeatWave GenAI?
Kluczowe funkcje rozwiązania HeatWave GenAI:
- Modele LLM w bazie danych
- Integracja z usługami OCI Generative AI i Amazon Bedrock
- Magazyn danych wektorowych w bazie danych
- Automatyczne generowanie wektorów
- Skalowane rozszerzająco przetwarzanie wektorowe
- Czat HeatWave
Które modele LLM są dostępne w bazie danych w rozwiązaniu HeatWave?
W bazie danych HeatWave dostępne są obecnie poddane kwantyzacji wersje następujących modeli LLM:
- llama3-8b-instruct-v1
- mistral-7b-instruct-v1
Na czym polega automatyzacja aplikacji HeatWave Vector Store?
Za pomocą jednego polecenia SQL można utworzyć magazyn danych wektorowych dla nieuporządkowanych danych przedsiębiorstwa. Wszystkie kroki niezbędne do utworzenia magazynu danych wektorowych i osadzania wektorów są zautomatyzowane i wykonywane wewnątrz bazy danych. Obejmuje to wykrywanie dokumentów w obiektowej pamięci masowej, analizowanie ich, generowanie wektorów w równoległy i zoptymalizowany sposób oraz wstawianie ich do magazynu danych wektorowych, dzięki czemu aplikacja HeatWave Vector Store jest wydajna i łatwa w użyciu.
Czy HeatWave wymaga procesorów GPU do uruchamiania modelu LLM w bazie danych?
HeatWave działa na standardowym sprzęcie. Model LLM w bazie danych nie korzystają z procesorów GPU, ale z procesorów CPU. W rezultacie można obniżyć koszty i nie trzeba się martwić o dostępność modelu LLM w różnych centrach przetwarzania danych.
W jaki sposób HeatWave GenAI pomaga zwiększyć bezpieczeństwo danych?
Podczas korzystania z modeli LLM i magazynu danych wektorowych w bazie danych dane nie opuszczają bazy danych, co pomaga zwiększyć ich bezpieczeństwo.
Czy można uruchomić HeatWave GenAI na platformie AWS?
Tak, HeatWave GenAI można uruchomić natywnie na platformie AWS wraz z innymi funkcjami HeatWave, w tym HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML i HeatWave Autopilot.
Czy generowanie wektorów jest obsługiwane w więcej niż jednym języku?
Tak, wektory mogą być generowane dla danych tekstowych w 27 językach.
Jakie języki są obsługiwane przy wysyłaniu promptów?
Prompty można wysyłać w języku angielskim. Prompty wysyłane w innych językach, np. hiszpańskim i niemieckim, mogą zostać przetłumaczone na język angielski.
Czy można korzystać z wyszukiwania wektorowego bez klastra HeatWave?
Nie. Wyszukiwanie wektorowe jest wykonywane w klastrze HeatWave.
Które warianty powinny być używane w przypadku usługi HeatWave GenAI?
HeatWave korzysta z węzła MySQL. Zalecamy utworzenie węzła MySQL w wariancie MySQL.32 oraz węzłów HeatWave w wariancie HeatWave.512GB dla środowiska produkcyjnego. W przypadku programowania/testowania można użyć mniejszego wariantu MySQL. Obsługiwane warianty MySQL można przejrzeć tutaj. W przypadku HeatWave GenAI wariant HeatWave.32GB nie jest obsługiwany.
Jakie typy dokumentów są obsługiwane podczas tworzenia magazynu danych wektorowych?
Obsługiwane formaty to PDF, TXT, PowerPoint, Word i HTML.
Ile kosztuje usługa HeatWave GenAI?
Nie ma żadnych dodatkowych kosztów poza kosztem klastra HeatWave wymaganego przez usługę HeatWave GenAI. Możesz wywoływać modele LLM w bazie danych i modele wektorów udostępniane przez usługę HeatWave GenAI bez dodatkowych opłat. Możesz także wywoływać zewnętrzne modele LLM dostępne za pośrednictwem usługi OCI Generative AI w infrastrukturze OCI i usługi Amazon Bedrock na platformie AWS, a następnie za te usługi zostaną naliczone opłaty.
Czy moje dane są wykorzystywane do trenowania modeli LLM?
Nie. Modele LLM są wstępnie wytrenowane. Twoje dane nie są wykorzystywane do trenowania modeli LLM.
Czy usługa HeatWave GenAI obsługuje dostrajanie?
Nie. Nie można dostroić modeli LLM udostępnianych w bazie danych z usługą HeatWave.
Czy mogę korzystać z własnych modeli LLM lub modeli wektorów?
Nie. Nie możesz korzystać z własnych modeli LLM ani modeli wektorów. Możesz jednak wywoływać zewnętrzne modele LLM lub modele wektorów dostępne za pośrednictwem usługi OCI Generative AI podczas uruchamiania usługi HeatWave GenAI w infrastrukturze OCI i za pośrednictwem usługi Amazon Bedrock podczas uruchamiania usługi HeatWave GenAI na platformie AWS.
Jaka jest oczekiwana jakość wyników, zważywszy na fakt, że modele LLM w bazie danych zostały poddane kwantyzacji?
Z naszych testów wynika, że wyniki są porównywalne do niepoddanych kwantyzacji modeli LLM w zastosowaniach opartych na magazynie HeatWave Vector Store. Możesz łatwo przetestować te modele, aby ocenić ich wydajność i jakość wyników.
Jak często muszę tworzyć wektory?
Wektory trzeba wygenerować tylko raz i będą one przechowywane w magazynie HeatWave Vector Store. Zmiany w nieuporządkowanych dokumentach w obiektowej pamięci masowej będą automatycznie wyzwalać aktualizacje skojarzonych wektorów.
Czy do HeatWave Vector Store można importować dokumenty zawierające obrazy?
Tak. Dzięki funkcji optycznego rozpoznawania znaków magazyn HeatWave Vector Store może konwertować zeskanowane treści zapisane jako obrazy na dane tekstowe, które można poddać analizie, na przykład w celu wyszukiwania podobieństw.