1. Oracle Österreich
  2. Cloud
  3. Künstliche Intelligenz

AI Solutions Hub

Erleben Sie eine neue Ära der Produktivität mit generativen KI-Lösungen für Ihr Unternehmen. Nutzen Sie KI, die Sie für den gesamten Stack benötigen.

KI und maschinelles Lernen

Analysen und KI

Compute

Container

Data Lake

Developer Services

Generative KI

Identität und Sicherheit

  • Schnelle Bereitstellung von KI-Apps

    Beschleunigen Sie die Bereitstellung Ihrer KI-Anwendung mit Oracle Cloud und Kubernetes und verbessern Sie die Skalierbarkeit und Zuverlässigkeit mit Cloud-nativen Strategien.

Integration

Marketplace

  • NVIDIA NIM-Inferenz skalieren

    Stellen Sie mithilfe von OCI Object Storage und NVIDIA GPUs NVIDIA NIM auf der OCI Kubernetes Engine bereit, um sich skalierbare, effiziente Inferenz mit optimaler Performance zu sichern.

Open Source-Datenbanken

Oracle Database

Speicher

Inferenz

Modellentwicklung

Extraktion und Zusammenfassung

Kontextergebnisse (mit RAG)

Natural Language Processing

Computer Vision

  • Automatisierte Rechnungsverarbeitung mit KI

    Erfahren Sie, wie Sie die Rechnungsextraktion mit OCI Document Understanding automatisieren. Vereinfachen Sie die Dokumentenverarbeitung in ERP-Systemen mithilfe von KI.

  • Identifizieren beschädigter Pakete mit AI

    Identifizieren Sie beschädigte Pakete automatisch mit KI-Services, einschließlich OCI Vision, Oracle Digital Assistant und Oracle Analytics Cloud, für ein effizientes Logistikmanagement.

  • Automatisierung der Fehlererkennung mit Drohnen

    Optimieren Sie das Baugewerbe mit der KI von OCI Vision für die frühzeitige Erkennung von Anomalien durch Drohnen. Sparen Sie Zeit und Kosten mit automatisierter Qualitätskontrolle.

  • Brust- und Lungenkrebsforschung mit KI

    Erfahren Sie, wie OCI Vision und Oracle APEX durch fortschrittliche KI- und ML-Modelle bei der Brust- und Lungenkrebsforschung helfen können.

  • E-Mail-Rechnungsbearbeitung
    mit KI

    Erfahren Sie, wie Sie die Verarbeitung von E-Mail-Rechnungen mit OCI Document Understanding und Oracle Integration Cloud automatisieren und Ihre Mitarbeiter für wichtige Aufgaben entlasten können.

  • Objekterkennung mit OCI Vision

    Entdecken Sie OCI Vision für die Objekterkennung in der Fertigung, im Einzelhandel und in anderen Branchen. Sorgen Sie für eine bessere Qualitätskontrolle und Analyse mit fortschrittlicher KI-Technologie.

Spracherkennung

Stimmungsanalyse

Typische Szenarien

Mit OCI Generative AI erstellen

Video zur Beispiellösung ansehen (1:36)

Die Leistungsfähigkeit von LLMs in einem verwalteten Dienst nutzen

In der schnelllebigen Welt der Softwareentwicklung ist es entscheidend, auf dem Laufenden zu bleiben. Stellen Sie sich vor, Sie hätten einen KI-Assistenten, der Ihnen dabei helfen kann, eine komplexe Webseite schnell in Inhalte umzuwandeln, die leicht verständlich und teilbar sind. Das ist eine von vielen Aufgaben, bei denen Ihnen die generative KI von Oracle Cloud Infrastructure (OCI) helfen kann.

Nachfolgend finden Sie ein Beispiel dafür, wie Sie einen solchen KI-Assistenten mit OCI Generative AI erstellen können.

Der KI-gestützte GitHub-Trendprojekt-Summarizer ist eine Engine zur Erstellung persönlicher Inhalte, die automatisch die 25 beliebtesten GitHub-Trendprojekte abruft und zusammenfasst. OCI Generative AI hilft dabei, die README-Datei jedes Projekts zu extrahieren, zu lesen und in eine prägnante, ansprechende und informative Zusammenfassung zu kompilieren, die mit anderen geteilt werden kann.

Einfach ausprobieren – mit detaillierten Schritten und Beispielcode auf GitHub.

Modelle auswählen

Sie können ganz einfach zwischen mehreren über OCI Generative AI angebotenen LLMs wechseln, indem Sie die Variable model_id in summarize_llm.py ändern.

  • cohere.command-r-16k: Ein vielseitiges Modell für allgemeine Sprachaufgaben wie Textgenerierung, Zusammenfassung und Übersetzung mit einer Kontextgröße von 16K-Token. Ideal für den Aufbau einer Konversations-KI mit einem ausgewogenen Verhältnis zwischen Leistung und Kosteneffizienz.
  • cohere.command-r-plus: Eine erweiterte Version mit ausgefeilterem Verständnis und tieferen Sprachfunktionen. Ideal für komplexe Aufgaben geeignet, die differenzierte Antworten und eine höhere Verarbeitungskapazität erfordern.
  • meta.llama-3.3-70b-instruct: Ein 70B-Parametermodell mit 128K-Token-Kontextlänge und mehrsprachiger Unterstützung.
  • meta.llama-3.1-405b-instruct: Das größte öffentlich verfügbare LLM (405B-Parameter) mit außergewöhnlichen Fähigkeiten in den Bereichen Schlussfolgerung, Generierung synthetischer Daten und Tool-Nutzung. Ideal für Unternehmensanwendungen, die maximale Leistung erfordern.

Die oben genannten sind eine Auswahl der verfügbaren Modelle. Wir stellen ständig neuere Modelle zur Verfügung.

Unten finden Sie einen Codeausschnitt zum Aufruf von OCI Generative AI:

content.text = """Generate an abstractive summary of the given Markdown contents. Here are the contents to summarize: {}""".format(summary_txt)


chat_detail.content = content.text 

chat_detail.serving_mode = oci.generative_ai_inference.models.OnDemandServingMode(model_id="meta.llama-3.1-405b-instruct") # configurable model chat_response = generative_ai_inference_client.chat(chat_detail)

Einsatz von OCI Generative AI Agents mit RAG

Video zur Beispiellösung ansehen (1:44)

Verbesserter Zugriff auf Wissensdatenbanken

Retrieval-Augmented Generation (RAG) ist einer der wichtigsten Anwendungsfälle für KI. Mit RAG können Sie das Wissen eines LLM erweitern, ohne es neu zu trainieren. Auf diese Weise kann das LLM neue Informationen aus einer Datenbank oder von anderswo extrahieren und sie dem Nutzer schnell präsentieren.

Dadurch kann das LLM aktuelles Wissen erwerben, unabhängig davon, wann das LLM trainiert wurde und wann die Inferenz ausgeführt wurde. Infolgedessen können die aktualisierten Daten Ihre LLM mit wenig bis gar keinem Aufwand intelligenter machen.

Nach dem Hochladen von Dokumenten in Oracle Cloud Infrastructure (OCI) GenAI Agents verarbeitet der Dienst die Daten und bietet eine Möglichkeit, sie über einen Chatbot zu nutzen.

Einfach ausprobieren – mit detaillierten Schritten und Beispielcode auf GitHub.

Unten finden Sie einen Codeausschnitt für die Verwendung des RAG-Agenten in OCI:

# ask a question to RAG agent question = "What steps do I take if I have a new patient under the patient admission recommendations?" # Initialize service client with default config file agent_runtime_client = GenerativeAiAgentRuntimeClient(config)


chat_response = agent_runtime_client.chat( agent_endpoint_id="ocid1.test.oc1..<id>", chat_details=ChatDetails(user_message=question)) 

# Get the data from response print(chat_response.data)

Aufbau mit Oracle HeatWave GenAI

Video zur Beispiellösung ansehen (3:54)

Anwendungsentwicklung mit integrierter GenAI beschleunigen

Generative KI kann besonders gut dabei helfen, Stimmungen zusammenzufassen, wie dieses Szenario zeigt. Eine E-Commerce-Website kann Hunderte von Stock-Keeping Units (SKUs) mit zahlreichen Bewertungen für jede einzelne Einheit enthalten. Um Produktbewertungen schnell zusammenzufassen, können Entwickler die integrierten Funktionen von HeatWave GenAI nutzen, indem sie große Sprachmodelle in der Datenbank und einen automatisierten, in der Datenbank gespeicherten Vektorspeicher verwenden.

HeatWave GenAI kann auch bei Bedarf bei der Übersetzung und Analyse von Stimmungen helfen. Alle Vorgänge können mit HeatWave GenAI automatisiert werden, sodass die Zusammenfassungen immer auf dem neuesten Stand sind, wenn neue Bewertungen hinzugefügt werden.

Indem die Daten und die Verarbeitung innerhalb von HeatWave bleiben, können Entwickler Lösungen an ihre GenAI-Anforderungen anpassen und KI so einfach wie eine Datenbankabfrage gestalten.

Einfach ausprobieren – mit detaillierten Schritten und Beispielcode auf GitHub.

Unten sehen Sie einen Codeausschnitt, der zeigt, wie man positive Bewertungen zusammenfasst:

SELECT "################### Computing summaries for EXISTING reviews on a product ###################" AS "";

SELECT "" AS "";

CALL SUMMARIZE_TRANSLATE(1, "POSITIVE", "en", @positive_english_summary);
SELECT @positive_english_summary AS "--- English summary of positive reviews on the T-Shirt ---";

Aufbau mit Open-Source-Modellen auf OCI

Video zur Beispiellösung ansehen (1:30)

Open-Source-GenAI-Modelle auf einer einheitlichen Plattform einsetzen

Open-Source-LLMs, wie die von Hugging Face, sind leistungsstarke Tools, mit denen Entwickler GenAI-Lösungen relativ schnell ausprobieren können. Kubernetes in Kombination mit Oracle Cloud Infrastructure (OCI) ermöglicht die Skalierung von GenAI-Lösungen und bietet gleichzeitig Flexibilität, Portabilität und Ausfallsicherheit.

In dieser Demo sehen Sie, wie einfach es sein kann, fein abgestimmte LLM-Inferenzcontainer auf OCI Kubernetes Engine bereitzustellen, einem verwalteten Kubernetes-Dienst, der Bereitstellungen und Abläufe in großem Maßstab für Unternehmen vereinfacht. Der Dienst ermöglicht es Entwicklern, das benutzerdefinierte Modell und die Datensätze innerhalb ihrer eigenen Mandanten zu behalten, ohne auf eine Inferenz-API eines Drittanbieters angewiesen zu sein.

Wir werden Text Generation Inference als Inferenz-Framework verwenden, um die LLMs zu präsentieren.

Einfach ausprobieren – mit detaillierten Schritten und Beispielcode auf GitHub.

Unten sehen Sie einen Codeausschnitt, der zeigt, wie ein Open-Source-LLM bereitgestellt wird:

# select model from HuggingFace

model=HuggingFaceH4/zephyr-7b-beta


# deploy selected model
docker run ghcr.io/huggingface/text-generation-inference:2.0 --model-id $model

# invoke the deployed model
curl IP_address:port/generate_stream \
    -X POST \
    -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":50}}' \
    -H 'Content-Type: application/json'

Aufbau mit Oracle Code Assist

Video zur Beispiellösung ansehen (3:40)

Höhere Entwicklerproduktivität und verbesserte Code-Einheitlichkeit

Oracle Code Assist ist ein KI-Code-Begleiter, der Entwicklern helfen soll, die Entwicklungsgeschwindigkeit zu erhöhen und die Code-Einheitlichkeit zu verbessern. Oracle Code Assist wird von Large Language Models (LLMs) auf Oracle Cloud Infrastructure (OCI) angetrieben und für Java, SQL und die Anwendungsentwicklung auf OCI optimiert und verfeinert. Oracle Code Assist bietet Entwicklern kontextspezifische Vorschläge. Sie können es an die Best Practices und Codebases Ihrer Organisation anpassen.

Das Plugin ist derzeit als Beta-Version für JetBrains IntelliJ IDEA und Microsoft Visual Studio Code verfügbar und kann bei der Dokumentation, dem Verständnis von Legacy-Code und der Code-Vervollständigung helfen.

Um zu erfahren, wie Sie am Beta-Programm teilnehmen und loslegen können, besuchen Sie unser GitHub-Repository.

OCI AI Blueprints

Stellen Sie mithilfe von Oracle Cloud Infrastructure (OCI) AI Blueprints GenAI-Workloads in Minutenschnelle bereit, skalieren Sie diese und überwachen Sie sie. Das beinhaltet Hardwareempfehlungen, Softwarekomponenten und Out-of-the-box-Monitoring.

    • Stellen Sie effektiv LLMs bereit und skalieren Sie diese. So sichern Sie sich mühelos blitzschnelle Inferenz und eine nahtlose Integration.

    • Wählen Sie aus benutzerdefinierten Modellen oder einer Vielzahl von Open-Source-Modellen auf Hugging Face.

    • Stellen Sie automatisch GPU-Knoten und Modelle in OCI Object Storage bereit.

    • Sichern Sie sich einen einsatzbereiten API-Endpunkt für eine sofortige Modellinferenz.

    • Ermöglichen Sie eine automatische Skalierung auf Basis der Inferenzlatenz für geschäftskritische Anwendungen.

    • Integrieren und skalieren Sie mühelos Inferenz-Workloads, ohne dafür fundiertes technisches Fachwissen zu benötigen.

    • Überwachen Sie die Performance mit integrierten Tools für die Beobachtbarkeit wie Prometheus und Grafana.

    • Machen Sie Ihr Fine-Tuning intelligenter und nicht aufwändiger – bewerten Sie die Performance und optimieren Sie das KI-Training mit datengestützten Erkenntnissen.

    • Bewerten Sie die Performance mit der MLCommons-Methodik.

    • Führen Sie ein Fine-Tuning bei einem quantisierten Llama 2 70B-Modell mit einem standardisierten Datensatz durch.

    • Verfolgen Sie Trainingszeit, Ressourcenauslastung und Performancemetriken.

    • Protokollieren Sie automatisch Ergebnisse in MLflow und visualisieren Sie Erkenntnisse in Grafana.

    • Treffen Sie datengesteuerte Infrastrukturentscheidungen für ein optimiertes Fine-Tuning.

    • Optimieren Sie das LLM-Fine-Tuning mittels Low-rank-Adaptation (LoRA) – schneller, effizienter und fertig für die Bereitstellung.

    • Nutzen Sie LoRA für ein effizientes Fine-Tuning von LLMs mit minimalem Rechenaufwand.

    • Nutzen Sie für das Training Ihre benutzerdefinierten Datensätze oder öffentlich verfügbare Datensätze von Hugging Face.

    • Verfolgen und analysieren Sie detaillierte Trainingsmetriken, die während des gesamten Optimierungsprozesses in MLflow protokolliert werden.

    • Speichern Sie das optimierte Modell und die Trainingsergebnisse in einem Objektspeicher-Bucket, um eine nahtlose Bereitstellung zu ermöglichen.

    • Optimieren Sie die Performance mit einem Design, das eine schnelle, effektive Modellanpassung ohne starken Ressourcenverbrauch gewährleistet.

    • Skalieren Sie die Lösung nach Bedarf, von kleinen Datensätzen bis hin zum Fine-Tuning großer Modelle.