Часто задаваемые вопросы по HeatWave GenAI

Общие вопросы

Что такое HeatWave GenAI?

Oracle HeatWave GenAI предоставляет интегрированный, автоматизированный и безопасный генеративный ИИ с языковыми моделями больших баз данных (LLM), автоматизированным векторным хранилищем в базе данных, горизонтально масштабируемой векторной обработкой и возможностью контекстных диалогов на естественном языке, позволяя использовать генеративный ИИ без опыта в этой области, перемещения данных или дополнительных затрат.

Каковы основные функции HeatWave GenAI?

Основные возможности HeatWave GenAI включают:

• LLM в базах данных
• Интеграция с OCI Generative AI и Amazon Bedrock
• Векторное хранилище в базе данных
• Автоматическое создание встраиваний
• Масштабирование векторной обработки
• Чат HeatWave

Какие встроенные модели LLM доступны в HeatWave?

В настоящее время в HeatWave доступны квантованные версии следующих LLM:

• llama3-8b-instruct-v1
• mistral-7b-instruct-v1

Как автоматизирован HeatWave Vector Store?

Можно создать векторное хранилище для неструктурированного контента предприятия с помощью одной команды SQL. Все шаги по созданию векторного хранилища и векторных встраиваний автоматизированы и выполняются внутри базы данных, включая обнаружение документов в объектном хранилище, их разбор, создание встраиваний параллельно и оптимизированно, а также их вставку в векторное хранилище, что делает HeatWave Vector Store эффективным и простым в использовании.

Требуются ли HeatWave для запуска встроенных LLM графические процессоры?

HeatWave работает на обычном оборудовании. Встроенные LLM работают не на графических процессорах, а на ЦП. В результате вы можете сократить расходы и не беспокоиться о доступности LLM в различных центрах обработки данных.

Как HeatWave GenAI помогает повысить безопасность данных?

При использовании встроенных LLM и векторного хранилища данные не покидают базу данных, что повышает безопасность данных.

Можно ли запустить HeatWave GenAI в AWS?

Да, HeatWave GenAI доступен в AWS вместе с другими возможностями HeatWave, включая HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML и HeatWave Autopilot.

Поддерживается ли генерация внедрений на нескольких языках?

Да, внедрения могут быть сгенерированы для текстовых данных на 27 языках.

Какие языки поддерживаются в промптах?

Промпты могут быть на английском языке. Промпты на других языках, таких как испанский и немецкий, могут быть переведены на английский язык.

Можно ли использовать векторный поиск без кластера HeatWave?

Нет, векторный поиск выполняется в кластере HeatWave.

Какие конфигурации следует использовать для HeatWave GenAI?

HeatWave выполняется на узле MySQL. Рекомендуется узел MySQL с конфигурацией MySQL.32, а также узлы HeatWave с использованием конфигурации HeatWave.512GB для производственной среды. Для разработки/тестирования можно использовать конфигурацию MySQL меньшего размера. Поддерживаемые конфигурации MySQL можно просмотреть здесь. Для HeatWave GenAI конфигурация HeatWave.32GB не поддерживается.

Какие типы документов поддерживаются при создании векторного хранилища?

Поддерживаемые форматы: PDF, text, PowerPoint, Word и HTML.

Сколько стоит HeatWave GenAI?

Дополнительные затраты, превышающие стоимость кластера HeatWave для использования HeatWave GenAI, не предусмотрены. Вы можете обращаться к встроенным LLM без дополнительной платы. Вы также можете обращаться к внешним LLM, доступным через OCI Generative AI в OCI и Amazon Bedrock в AWS, но за доступ к этим сервисам будет взиматься плата.

Используются ли мои данные для обучения LLM?

Нет, LLM являются предварительно обученными моделями. Ваши данные не используются для обучения LLM.

Поддерживает ли HeatWave GenAI точную настройку?

Нет, встроенные LLM в HeatWave не могут быть точно настроены.

Могу ли я использовать свои собственные LLM или встроенные модели?

Нет, вы не можете использовать собственные LLM или встроенные модели. Однако можно обращаться к внешним LLM, доступным через OCI Generative AI, при запуске HeatWave GenAI в OCI и через Amazon Bedrock при запуске HeatWave GenAI в AWS.

Каково ожидаемое качество результатов после квантизации встроенных LLM?

Наше тестирование показало, что результаты сопоставимы с неквантизированными LLM для сценариев использования на основе HeatWave Vector Store. Вы легко можете протестировать модели, чтобы самостоятельно оценить производительность и качество результатов.

Как часто нужно создавать внедрения?

Внедрения необходимо создать только один раз, и они будут храниться в HeatWave Vector Store. Изменения неструктурированных документов в хранилище объектов автоматически инициируют обновления связанных векторных внедрений.

Можно ли импортировать в HeatWave Vector Store документы, содержащие изображения?

Да, поддержка оптического распознавания символов позволяет HeatWave Vector Store преобразовывать отсканированный контент, сохраненный в виде изображений, в текстовые данные, которые можно анализировать, например, для поиска сходства.