Возможности HeatWave GenAI
Большие языковые модели в базах данных
Большие языковые модели (LLM) в базах данных значительно упрощают разработку приложений GenAI. Вы можете быстро извлечь выгоду из генеративного ИИ; вам не нужно выбирать внешнюю LLM и не нужно учитывать сложность интеграции, затраты или доступность внешней LLM в различных центрах обработки данных.
- Например, встроенные LLM можно использовать для создания или обобщения контента и данных поиска для выполнения генерации с расширенным извлечением (RAG) с помощью векторного хранилища HeatWave.
- Вы также можете объединить генеративный ИИ с другими встроенными возможностями HeatWave, такими как машинное обучение, чтобы снизить затраты и быстрее получить более точные результаты.
- Вы можете использовать встроенные LLM во всех регионах OCI, выделенном регионе OCI и во всех облаках и получать согласованные результаты с предсказуемой производительностью во всех развертываниях.
- Дополнительные затраты на использование LLM в базах данных отсутствуют. Вы можете сократить расходы на инфраструктуру, устранив необходимость обеспечивать наличие графических процессоров. Кроме того, при таком подходе оптимизируются системные ресурсы (оптимальная конфигурация числа потоков, размера пакета и размера сегментов) для дальнейшего снижения затрат.
- LLM в базах данных и чат HeatWave помогают разработчикам создавать приложения, заранее настроенные для контекстных диалогов на естественном языке. Нет необходимости подписываться на внешние LLM или обеспечивать наличие графических процессоров.
- Нативная работа LLM в HeatWave помогает минимизировать риски, связанные с перемещением данных. LLM могут воспользоваться преимуществами векторного хранилища HeatWave, чтобы расширить свои знания, используя собственные данные, а не полагаясь на тонкую настройку.
- Oracle HeatWave GenAI интегрирован с сервисом генеративного ИИ в OCI для доступа к предварительно обученным базовым моделям из Cohere и Meta.
Векторное хранилище HeatWave
HeatWave Vector Store позволяет объединить возможности LLM с собственными данными, чтобы получить более точные и контекстно релевантные ответы, чем с помощью моделей, обученных только на общедоступных данных. Векторное хранилище импортирует документы в различных форматах, включая PDF, и сохраняет их в виде встраиваний, созданных с помощью модели встраивания. Для заданного запроса пользователя векторное хранилище помогает идентифицировать наиболее похожие документы, выполняя поиск сходства между сохраненными встраиваниями и запросом. Эти документы используются для дополнения запроса, передаваемого в LLM, чтобы обеспечить более контекстный ответ с учетом особенностей именно вашего бизнеса.
- HeatWave Vector Store позволяет использовать генеративный ИИ с бизнес-документами без перемещения данных в отдельную векторную базу данных и без опыта работы с системами ИИ.
- Создание встраиваний в векторное хранилище параллельно обрабатывает несколько входных файлов в нескольких потоках на всех узлах кластера. В результате создание векторного хранилища и импорт неструктурированных данных в различных форматах, таких как PDF, DOCX, HTML, TXT или PPTX, происходит очень быстро и масштабируется с ростом размера кластера.
- Конвейер для обнаружения и импорта собственных документов в векторном хранилище автоматизирован, включая преобразование неструктурированных текстовых данных пользователей и создание встраиваний, что делает его очень простым для разработчиков и аналитиков и позволяет применять векторное хранилище даже без опыта работы с ИИ.
- Векторное хранилище находится в объектном хранилище, что делает его очень экономичным и высокомасштабируемым даже при больших наборах данных. Вы также можете легко поделиться векторным хранилищем с различными приложениями.
- Преобразование данных выполняется внутри базы данных, что помогает снизить риски безопасности за счет исключения перемещения данных и сократить затраты, устранив необходимость в клиентских ресурсах.
Гибкая и быстрая векторная обработка
Векторная обработка ускоряется благодаря встроенной и масштабируемой архитектуре HeatWave. HeatWave поддерживает новый собственный тип данных VECTOR, позволяя использовать стандартный SQL для создания векторных данных, их обработки и управления ими.
- Можно объединять векторы с другими операторами SQL. Например, можно выполнять аналитические запросы, которые объединяют несколько таблиц с разными документами и выполняют поиск сходства по всем документам.
- Представление в памяти и масштабируемая архитектура означают, что векторная обработка проходит параллельно с использованием до 512 кластерных узлов HeatWave и выполняется с пропускной способностью памяти — чрезвычайно быстро и без потери точности.
Чат HeatWave
Новый интерфейс чата HeatWave позволяет вам на живом языке вести контекстные диалоги, дополненные информацией из собственных документов, обрабатываемых в векторном хранилище.
- Вы можете взаимодействовать с неструктурированными данными, хранящимися в MySQL Database и в объектном хранилище, используя естественный язык. Контекст вопросов сохраняется, чтобы вести человекоподобный диалог при последующих обращениях того же клиента. HeatWave поддерживает контекст, опираясь на историю заданных вопросов, цитаты из исходных документов и запросы к LLM. Это обеспечивает контекстность общения и позволяет проверять источники ответов, сгенерированных LLM. Контекст хранится в HeatWave и доступен для всех приложений, использующих HeatWave.
- Интегрированный навигатор озерных хранилищ позволяет просматривать данные, доступные в MySQL Database и хранилище объектов. Затем можно легко загрузить выбранные данные в HeatWave Vector Store и поручить LLM извлекать информацию из этого конкретного источника. В результате можно снизить затраты, выполняя поиск по меньшему набору данных, одновременно увеличив как скорость, так и точность взаимодействия.
- Можно выполнять поиск по всей базе данных или ограничить область поиска отдельной папкой.
- Несколько LLM можно выбрать через чат HeatWave — среди них есть как встроенные, так и доступные с помощью сервиса OCI Generative AI.