Retrieval-Augmented Generation (RAG) Nedir?

Üretken yapay zeka (AI), yapay zekanın çok sayıda veri noktası ile eğitildiği büyük dil modellerine (LLM) dayalı metin yanıtları oluşturmakta çok başarılıdır. İyi haber şu ki, oluşturulan metnin okunması genellikle kolaydır ve genellikle komutlar olarak adlandırılan, yazılımdan sorulan sorular için geniş ölçüde geçerli, detaylı yanıtlar sağlar.

Kötü haber ise yanıtı oluşturmak için kullanılan bilgilerin, genellikle genelleştirilmiş bir LLM olan yapay zekayı eğitmek için kullanılan bilgilerle sınırlı olmasıdır. LLM'nin verileri haftalar, aylar veya yıllar düzeyinde eski olabilir. Kurumsal bir yapay zeka sohbet robotunda kuruluşun ürünleri veya hizmetleri hakkında belirli bilgiler yer almayabilir. Bu durum, yanlış yanıtlara yol açabilir. Müşteriler ve çalışanlar arasında, teknolojiye olan güven azalır.

Retrieval-Augmented Generation (RAG) Nedir?

Retrieval augmented generation (RAG) burada devreye girer. RAG, temel modelin kendisini değiştirmeden bir LLM çıktısını hedeflenmiş bilgilerle optimize etmenin yolunu sağlar. Hedeflenmiş bilgiler LLM'den daha güncel, belirli bir kuruluş ve sektöre özgü olabilir. Bu sayede üretken yapay zeka sistemi komutlara daha bağlama uygun yanıtlar sunabilir ve bu yanıtları son derece güncel verilere dayandırabilir.

Patrick Lewis ve Facebook Yapay Zeka Araştırmaları ekibinin 2020'de yayınladığı "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" (Bilgi Yoğun NLP Görevleri için Alma İle Artırılmış Oluşturma) makalesi yayınlandıktan sonra, RAG önce üretken yapay zeka geliştiricilerinin dikkatini çekti. RAG kavramı, onu genel yapay zeka sistemlerinin değerini önemli ölçüde artırmanın bir yolu olarak gören birçok akademik ve endüstri araştırmacısı tarafından benimsendi.

Retrieval-Augmented Generation Açıklaması

Taraftarların ve medyanın, verilere erişmek ve oyuncular, takımlar, sporun geçmişi, kuralları, mevcut istatistikler ve puan durumları hakkındaki soruları yanıtlamak için sohbetten yararlanmasını isteyen bir spor ligi düşünün. Genelleştirilmiş bir LLM, geçmiş ve kurallar hakkındaki soruları yanıtlayabilir veya belirli bir ekibin stadyumunu açıklayabilir. Ancak LLM bu bilgilere sahip olmayacağı için dün geceki maç hakkında konuşamaz veya belirli bir sporcunun sakatlığı hakkında güncel bilgileri sağlayamaz. Bir LLM'i yeniden eğitmek için gereken önemli düzeydeki bilişim beygir gücü aldığı göz önüne alındığında, modeli güncel tutmak mümkün değildir.

Büyük, oldukça statik LLM'ye ek olarak, spor ligi; veritabanları, veri ambarları, oyuncu biyografisi içeren belgeler ve her maçı derinlemesine ele alan haber akışları dahil olmak üzere diğer birçok bilgi kaynağına sahiptir veya erişebilir. RAG, üretken yapay zekanın bu bilgileri almasını sağlar. Artık sohbet, daha güncel, daha bağlama uygun ve daha doğru bilgiler sağlayabilir.

Basitçe söylemek gerekirse, RAG, LLM'lerin daha iyi yanıtlar vermesine yardımcı olur.

Ana Fikirler

• RAG, büyük dil modelinin (LLM) yeniden eğitilmeye gerek kalmadan ek veri kaynaklarından yararlanmasına olanak tanıyarak üretken yapay zeka kalitesini artırabilen görece yeni bir yapay zeka tekniğidir.
• RAG modelleri, kuruluşun kendi verilerine dayalı olarak bilgi havuzları oluşturur ve veri havuzları, üretken yapay zekanın güncel ve bağlama uygun yanıtlar sunmasına yardımcı olmak üzere sürekli güncellenebilir.
• Doğal dil işleme kullanan sohbet robotları ve diğer konuşma sistemleri RAG'den ve üretken yapay zekadan büyük fayda sağlayabilir.
• RAG'nin uygulanması, yeni verilerin hızla kodlanmasına olanak tanıyan vektör veritabanları gibi teknolojileri gerektirir ve LLM'ye beslemek üzere bu verilerde arama yapar.

Retrieval-Augmented Generation Nasıl Çalışır?

Bir kuruluşun sahip olduğu tüm bilgileri düşünün: yapılandırılmış veritabanları, yapılandırılmamış PDF'ler ve diğer belgeler, bloglar, haber akışları ve geçmiş müşteri hizmetleri oturumlarının sohbet dökümleri. Bu dev miktarda dinamik veri RAG'de ortak bir biçime çevrilir ve genel yapay zeka sisteminin erişebileceği bir bilgi kitaplığında depolanır.

Daha sonra bu bilgi kitaplığındaki veriler, gömülü dil modeli adı verilen ve bir vektör veritabanında depolanan özel algoritma tipi kullanılarak sayısal temsiller halinde işlenir. Bu algoritmada hızla arama yapılabilir ve bağlama dayalı doğru bilgileri almak için kullanılabilir.

RAG ve Büyük Dil Modelleri (LLM)

Şimdi, bir son kullanıcının üretken yapay zeka sistemine belirli bir komut gönderdiğini düşünelim. Örneğin, "Bu geceki maç nerede oynanacak, oyuna hangi kadrolarla başlanacak ve muhabirler karşılaşma hakkında neler söylüyor?" Sorgu bir vektöre dönüştürülür ve sorunun bağlamıyla ilgili bilgileri alan vektör veritabanını sorgulamak için kullanılır. Bu bağlama dayalı bilgiler artı orijinal komut, hem kısmen güncel olmayan genel bilgilere hem de son derece güncel ve bağlama uygun bilgilere dayalı bir metin yanıtı oluşturan LLM'ye aktarılır.

İlginçtir ki genelleştirilmiş LLM eğitme süreci zaman alıcı ve maliyetli olsa da, RAG modeline yapılan güncellemeler tam tersidir. Yeni veriler, gömülü dil modeline yüklenebilir, sürekli ve kademeli olarak vektörlere çevrilebilir. Aslında, üretken yapay zeka sisteminin tamamından gelen yanıtlar RAG modeline geri beslenerek modelin performansını ve doğruluğunu artırabilir çünkü model, benzer bir soruyu daha önce nasıl yanıtladığını bilir.

RAG'nin ek bir avantajı da üretken yapay zekanın, vektör veritabanını kullanarak yanıtta yer verilen belirli veri kaynağını sağlayabilmesidir. LLM'ler bunu yapamaz. Dolayısıyla, üretken yapay zekanın çıktısında bir yanlışlık varsa, hatalı bilgileri içeren belge hızla tanımlanıp düzeltilebilir ve ardından, düzeltilen bilgiler vektör veritabanına beslenebilir.

Kısacası, RAG, LLM'nin kendi başına sağlayabileceği şeylerin ötesine geçen, üretken yapay zekaya kanıta dayalı güncellik, bağlam ve doğruluk sağlar.

Retrieval-Augmented Generation - Semantik Arama Karşılaştırması

RAG, LLM tabanlı üretken yapay zekanın doğruluğunu artırmak için kullanılan tek teknik değildir. Bir diğer teknik ise yapay zeka sisteminin, komuttaki belirli sözcükleri ve ifadeleri derinlemesine anlamaya çalışarak bir sorgunun anlamını daraltmasına yardımcı olan semantik aramadır.

Geleneksel arama, anahtar sözcüklere odaklanır. Örneğin, Fransa'ya özgü ağaç türleri hakkında yapılan temel bir sorgu, yapay zeka sisteminin veritabanında anahtar sözcük olarak "ağaçlar" ve "Fransa"yı kullanarak arama yapabilir ve her iki anahtar sözcüğü de içeren verileri bulabilir. Ancak sistem Fransa'daki ağaçların anlamını gerçekten anlamayabilir ve bu nedenle çok fazla veya çok az bilgi, hatta yanlış bilgi alabilir. Anahtar sözcük arama çok sabit değerli olduğu için aramada bilgiler eksik kalabilir: Normandiya'ya özgü ağaçlar, Fransa'da olmasına rağmen, bu anahtar sözcük eksik olduğu için gözden kaçırılabilir.

Semantik arama, soruların ve kaynak dokümanların anlamını belirleyerek ve daha doğru sonuçlar almak için bu anlamı kullanarak, anahtar sözcük aramasının ötesine geçer. Semantik arama, RAG'nin ayrılmaz bir parçasıdır.

Sohbet Uygulamalarında RAG Kullanma

Bir kişi bir soruya anında yanıt almak istediğinde sohbet robotunun hızını ve kullanılabilirliğini aşmak zordur. Çoğu robot, Müşterinin istediği görevler veya sonuçlar gibi sınırlı sayıda amaç için eğitilir ve bu amaçlara yanıt verir. RAG özellikleri, yapay zeka sisteminin amaç listesinde olmayan sorulara doğal dil yanıtları sağlamasına olanak tanıyarak mevcut robotları daha iyi hale getirebilir.

"Soru sorun, yanıt alın" paradigması, birçok nedenden dolayı sohbet robotlarını üretken yapay zeka için mükemmel bir kullanım senaryosu haline getirir. Doğru yanıt oluşturmak için sorular genellikle belirli bir bağlam gerektirir. Sohbet robotu kullanıcılarının alaka düzeyi ve doğruluk beklentileri genellikle yüksek olduğu göz önüne alındığında, RAG tekniklerinin nasıl geçerli olacağı açıktır. Aslında, birçok kuruluş için sohbet robotları, RAG ve üretken yapay zeka kullanımının başlangıç noktası olabilir.

Sorulara doğru yanıt vermek için genellikle belirli bir bağlam gerekir. Örneğin, yeni tanıtılan bir ürünle ilgili müşteri sorguları, veriler önceki modelle ilgiliyse yararlı olmaz, hatta yanıltıcı olabilir. Ve bu Pazar günü bir parkın açık olup olmadığını bilmek isteyen bir yürüyüşçü, bu park ve o özel tarih hakkında güncel ve doğru bilgiler bekler.

Retrieval-Augmented Generation'ın Avantajları

RAG teknikleri, LLM'nin tek başına sunabileceği şeylerin ötesine geçerek, oluşturucu bir yapay zeka sisteminin komutlara verdiği yanıtların kalitesini artırmak için kullanılabilir. Aşağıdakiler gibi avantajlar sağlanır:

• RAG, LLM'yi eğitmek için kullanılan verilerden daha taze olabilecek bilgilere erişebilir.
• RAG'nin bilgi havuzundaki veriler, önemli maliyetler getirmeden sürekli güncellenebilir.
• RAG'nin bilgi veri havuzu, genelleştirilmiş bir LLM'deki verilerden daha bağlama dayalı veriler içerebilir.
• RAG vektör veritabanındaki bilgilerin kaynağı tanımlanabilir. Veri kaynakları bilindiği için, RAG'deki yanlış bilgiler düzeltilebilir veya silinebilir.

Retrieval-Augmented Generation'ın Zorlukları

RAG ilk olarak 2020 yılında önerilmiş görece yeni bir teknoloji olduğu için, yapay zeka geliştiricileri, bu modelin bilgi alma mekanizmalarını üretken yapay zekada en iyi şekilde uygulamanın yollarını öğrenmeye devam ediyor. Bazı önemli zorluklar

• Çok yeni olduğu için kuruluşun RAG hakkındaki bilgilerini ve anlayışını geliştirme
• Artan maliyetler; RAG'li üretken yapay zekayı uygulamak, LLM'yi tek başına uygulamaktan daha pahalı olsa da bu rotayı izlemek, LLM'yi sıkça yeniden eğitmekten daha düşük maliyetlidir
• Bilgi kitaplığı ve vektör veritabanı içindeki yapılandırılmış ve yapılandırılmamış verilerin en iyi şekilde nasıl modelleneceğini belirleme
• Verileri RAG sistemine kademeli olarak besleyen bir işlem için gereksinimleri geliştirme
• Yanlışlık raporlarını ele almak üzere işlemleri yürürlüğe alma ve bu bilgi kaynaklarını RAG sisteminde düzeltme veya silme

Retrieval-Augmented Generation Örnekleri

RAG ile artırılmış birçok olası üretken yapay zeka örneği vardır.

Üretken yapay zeka ve RAG alanında lider olan Cohere, Kanarya Adaları'ndaki bir tatil kiralama hakkında bağlama dayalı bilgi sağlayabilecek bir sohbet robotu hakkında rapor yazdı. Rapor; plaj erişilebilirliği, yakın plajlardaki cankurtaranlar ve yürüme mesafesindeki voleybol sahalarının erişilebilirliği gibi bilgileri veriye dayalı olarak sunma örneklerini ele alıyor.

Oracle, RAG'nin finansal raporları analiz etme, gaz ve petrol keşfine yardımcı olma, çağrı merkezi müşteri diyaloglarından alınan transkripsiyonları inceleme ve tıbbi veritabanında alakalı araştırma makaleleri arama gibi diğer kullanım senaryolarını açıkladı.

Retrieval-Augmented Generation'ın Geleceği

Günümüzde, RAG'nin ilk aşamalarında teknoloji, sorgulara güncel, doğru ve bağlama dayalı yanıtlar sağlamak için kullanılmaktadır. Bu kullanım senaryoları sohbet robotları, e-posta, kısa mesajlar ve diğer sohbet uygulamaları için uygundur.

Gelecekte, RAG teknolojisi, üretken yapay zekanın bağlama dayalı bilgilere ve kullanıcı komutlarına göre uygun eylemi gerçekleştirmesine yardımcı olmak gibi bir yöne ilerleyebilir. Örneğin, RAG ile güçlendirilmiş bir yapay zeka sistemi, Kanarya Adaları'ndaki en yüksek puanlı plaj tatilini belirleyebilir, voleybol turnuvası sırasında sahile yürüme mesafesinde iki yatak odalı bir kabin rezervasyonu başlatabilir.

RAG daha karmaşık sorgulama hatlarına da yardımcı olabilir. Günümüzde, üretken yapay zeka, bir çalışana şirketin öğrenim ücreti masraf iadesi politikasından bahsedebiliyor olabilir. RAG ise yakındaki hangi okulların bu politikaya uygun derslere sahip olduğunu söylemek için daha bağlama dayalı veriler ekleyebilir. Çalışanın işlerine ve daha önce aldığı eğitimlere uygun programları önerebilir. Bu programlara başvurmasına ve bir geri ödeme isteği başlatmasına bile yardımcı olabilir.

Oracle İle Üretken Yapay Zeka

Oracle, Oracle Cloud Infrastructure (OCI) üzerinde çalışan OCI Generative AI hizmeti dahil olmak üzere çeşitli gelişmiş bulut tabanlı yapay zeka hizmetleri sunar. Oracle'ın teklifleri, kuruluşunuzun benzersiz veri ve sektör bilgilerine dayalı güçlü modeller içerir. Müşteri verileri LLM sağlayıcılarıyla paylaşılmaz veya diğer müşteriler tarafından görülmez. Müşteri verileri ile eğitilmiş özel modeller yalnızca bu müşteri tarafından kullanılabilir.

Oracle, çok çeşitli bulut uygulamaları genelinde üretken yapay zeka entegrasyonu da sağlıyor. OCI kullanan geliştiriciler ve veritabanı portföyünün tamamında üretken yapay zeka özellikleri bulunuyor. Dahası, Oracle'ın yapay zeka hizmetleri, kullanımınıza adanmış tek kullanıcılı yapay zeka kümeleri kullanarak öngörülebilir performans ve fiyatlandırma sunar.

LLM'lerin ve üretken yapay zekanın gücü ve yetenekleri yaygın olarak biliniyor ve anlaşılıyor. Geçtiğimiz yıl heyecan verici manşetlere konu oldular. Retrieval-augmented generation; daha güncel, daha doğru ve daha bağlama dayalı hale getirerek LLM'lerin avantajlarını artırır. Üretken yapay zekanın iş uygulamaları için RAG; izlenmesi, incelenmesi ve pilot çalışma yapılması gereken önemli bir teknolojidir.

Retrieval-Augmented Generation Hakkında Sık Sorulan Sorular

RAG, üretken yapay zeka ile aynı şey mi?

Hayır. RAG, LLM'de yer almayan bilgileri de kullanabildiği için, alma ile artırılmış oluşturma, sorgulara genel bir büyük dil modelinin kendi başına sağlayabileceğinden daha doğru sonuçlar sağlayabilen bir tekniktir.

RAG'de ne tür bilgiler kullanılır?

RAG; ilişkisel veritabanları, yapılandırılmamış doküman havuzları, internet veri akışları, medya haber akışları, ses transkripsiyonları ve işlem günlükleri gibi birçok kaynaktan gelen verileri içerebilir.

Üretken yapay zeka RAG'yi nasıl kullanır?

Kurumsal veri kaynaklarından gelen veriler bilgi havuzunda gömülü hale getirilir ve vektör veritabanında depolanan vektörlere dönüştürülür. Son kullanıcı bir sorgu yaptığında, vektör veritabanı bağlama dayalı ilgili bilgileri alır. Bağlama dayalı bu bilgiler, sorgu ile birlikte daha güncel, doğru ve bağlama dayalı bir yanıt oluşturmak için bağlamı kullanan büyük dil modeline gönderilir.

RAG, aldığı veriler için referansları belirtebilir mi?

Evet. RAG tarafından kullanılan vektör veritabanları ve bilgi veri havuzları, bilgi kaynakları hakkında belirli bilgiler içerir. Bu sayede kaynaklar belirtilebilir ve bu kaynaklardan birinde hata varsa, sonraki sorguların bu yanlış bilgileri döndürmemesi için kaynaklar hızla düzeltilebilir veya silinebilir.