RAG مقابل الضبط الدقيق: طريقة الاختيار

أصبحت نماذج اللغات الكبيرة للأغراض العامة، أو نماذج LLM، شائعة لدى الجمهور لأنها يمكن أن تناقش مجموعة واسعة من الموضوعات وتكتب أوراق المصطلحات، شكرًا لك على الملاحظات، والعديد من المهام الأخرى. في مجال الأعمال التجارية، ومع ذلك، فإن هذه النواتج العامة لن تفعل. تحتاج LLM الذي من المتوقع أن يوفر الدعم الفني لأداة معينة، على سبيل المثال، إلى الاعتماد على المعرفة الخاصة بالمجال.

توجد حاليًا طريقتان لمساعدة نماذج الذكاء الاصطناعي التوليدي على تقديم استجابات تعكس هذا النوع من الخبرة: الضبط الدقيق والإنشاء المعزز للاستعادة، أو RAG. ويواجه كل منهما فوائد وتحديات. دعونا نلقي نظرة أعمق على هذه الخيارات لفهم كيفية عملها ومتى تستخدمها.

النقاط الرئيسة

• يجعل كل من RAG والضبط الدقيق نماذج الذكاء الاصطناعي العامة أكثر فائدة في حقل معين أو لحالة استخدام محددة.
• تمنح RAG وصول LLM إلى مخازن البيانات الداخلية للشركة؛ مما يساعد LLM على توفير استجابات أكثر استهدافًا، وهو أمر بالغ الأهمية لحالات الاستخدام التي تعتمد على معلومات محدثة.
• تشمل الاستخدامات الشائعة لـ RAG الدعم الفني والبحث عن المخزون وتوصيات البيع بالتجزئة.
• يستخدم الضبط الدقيق مجموعة من البيانات الخاصة بالمجال لتدريب LLM عام الغرض لمهمة معينة. فكر في الطب أو البرمجة، والتي لها منطقها و لغتها الخاصة.
• يمكن الجمع بين الضبط الدقيق وRAG لمنح LLM معرفة قوية بالمجال ومعلومات محدثة.

ما المقصود بالإنشاء المعزز للاستعادة (RAG)؟

RAG، اختصارًا للإنشاء المعزز للاستعادة، هو إطار معماري طوره باحثون في Meta لمساعدة نماذج الذكاء الاصطناعي للأغراض العامة على تقديم مخرجات ذات صلة ومفيدة للمؤسسات. يقوم RAG بذلك من خلال منح نموذج لغة كبير، أو LLM، إمكانية الوصول إلى قاعدة معارف داخلية يمكنها استخدامها لزيادة بيانات التدريب الأصلية. والنتيجة هي نظام الذكاء الاصطناعي الذي يجمع بين طلاقة اللغة في LLM والبيانات المحلية لتقديم استجابات مستهدفة ومناسبة للسياق. يعمل هذا النهج، على عكس الضبط الدقيق لنموذج الذكاء الاصطناعي، دون تعديل النموذج الأساسي نفسه.

وقت استخدام RAG

استخدم RAG عندما يكون من المهم لاستجابات الذكاء الاصطناعي العامة توفير بيانات محدثة أو خاصة بالمؤسسة لم تكن جزءًا من تدريب LLM. على سبيل المثال، إذا كانت الشركة لديها مجموعة كبيرة من المعلومات الموثوقة حول منتجاتها أو عملياتها اليومية، فستوفر بنية RAG هذه البيانات لزيادة المطالبات والاستجابات التي تمر عبر LLM، مما يجعل المخرجات أكثر فائدة وقابلية للتحقق ودقة. يمكن أن يؤدي ذلك إلى تحسين أتمتة مكتب المساعدة أو فحوصات توافر المنتجات في البيع بالتجزئة أو حتى الرعاية الصحية حيث يمكن توفير ملاحظات الأطباء بسرعة للمرضى أو الأطباء الآخرين.

حالات استخدام RAG

تشمل المزايا الشائعة لـ RAG عبر المجالات استرجاع البيانات بشكل أفضل وأكثر اكتمالاً، ودعم العملاء المحسن، والقدرة على إنشاء محتوى مخصص. من خلال تكملة نماذج اللغات الكبيرة بالمعلومات الحالية، يمكن للمؤسسات نشر وكلاء الذكاء الاصطناعي لتوفير إجابات في الوقت الفعلي وذات صلة بالسياق لاستعلامات المستخدم، مما يقلل من الحاجة إلى التدخل البشري. يسمح تعدد استخدامات RAG بالتكيف مع مجموعة واسعة من التطبيقات، بما في ذلك ما يلي:

• التحليل الذكي للأعمال. يمكن للشركات استخدام RAG لمساعدة نماذج GenAI على سحب بيانات السوق ذات الصلة للإنتاج الآلي للرؤى والتقارير. يمكن أن تتضمن هذه البيانات أبحاث السوق وتحليل المنافسين وحجم المبيعات وملاحظات العملاء.
• توصيات المحتوى. يمكن لـ RAG تحسين أنظمة توصية المحتوى، غالبًا بالتزامن مع قواعد بيانات الموجه. يتيح RAG لنموذج الذكاء الاصطناعي استرجاع وتحليل مراجعات المستخدم وتقييماته وأوصاف المحتوى التي تسمح للنظام بإنشاء توصيات مخصصة تتماشى مع مطالبة المستخدم.
• التحقق من الحقائق في الصحافة ووسائل الإعلام الأخرى. يمكن لـ RAG مساعدة المؤسسات على استرجاع المستندات المرجعية بسرعة والتحقق من المطالبات المقدمة في المقالات أو التقارير أو الوسائط الاجتماعية.
• التشخيص الطبي. في مجال الرعاية الصحية، يمكن تطبيق RAG لدعم الأطباء والمعالجين الآخرين من خلال المساعدة في التشخيص والتخطيط للعلاج. وتقوم بذلك من خلال مساعدة نماذج الذكاء الاصطناعي على استرجاع دراسات الحالة الطبية أو الأوراق البحثية أو نتائج التجارب السريرية ذات الصلة بأعراض المريض أو حالته.
• الدعم التقني. يمكن استخدام RAG للمساعدة في تقليل وقت الحل وتحسين رضا المستخدم في الدعم الفني. قد يسترجع النظام أدلة ووثائق استكشاف الأخطاء وإصلاحها ذات الصلة أو حتى مسح سلاسل عمليات المنتدى وتوفيرها لنموذج اللغة الكبيرة للمساعدة في حل مشكلات المستخدم. بالإضافة إلى ذلك، يمكن أن يشير RAG إلى قاعدة بيانات تحتوي على سجلات للتفاعلات الحديثة للعميل للحصول على خدمة شخصية وأكثر تخصيصًا.

ما المقصود بالضبط الدقيق؟

يعني الضبط الدقيق لنموذج الذكاء الاصطناعي التوليدي أخذ نموذج عام الغرض، مثل Claude 2 من Anthropic أو Command from Cohere أو Llama 2 من Meta؛ مما يمنحه جولات إضافية من التدريب على مجموعة بيانات أصغر خاصة بالمجال؛ وتعديل معلمات النموذج بناءً على هذا التدريب. يساعد هذا الضبط النموذج على الأداء بشكل أفضل في مهام محددة لأنه تم تكييفه مع الفروق الدقيقة والمصطلحات في مجال معين، مثل الترميز أو الرعاية الصحية.

متى يتم استخدام الضبط الدقيق

اختر الضبط الدقيق عندما يحتاج LLM إلى أن يكون سريعًا في مجال معين. من خلال التدريب الإضافي، يمكن لـ LLM فهم الموجهات بشكل أفضل وتقديم المخرجات التي تعكس الفروق الدقيقة والمصطلحات في مجال معين. ستحتاج إلى الوصول إلى مجموعة بيانات كبيرة أو مخزن من المستندات التي تم تنسيقها لعملية التدريب، ولكن الضبط الدقيق يستحق الجهد لأنه يسمح بمزيد من التحكم في نمط ونبرة وطريقة المحتوى الذي تم إنشاؤه. يمكن أن يؤتي ثماره في المواد التسويقية أو تفاعلات العملاء. يمكن أن يكون الضبط الدقيق، مثل RAG، مفيدًا أيضًا في الطب والترميز وغيرها من المجالات عالية التخصص.

ضبط حالات الاستخدام

الضبط الدقيق، عملية تكييف نموذج الذكاء الاصطناعي العام لمهمة أو مجال معين، هو تقنية قوية يمكنها تحسين النتائج بشكل كبير لمجموعة من المؤسسات، خاصة في الحالات التي يكون فيها التخصيص والتخصص أساسيين. فيما يلي بعض حالات الاستخدام الشائعة حيث يمكن أن تكون فعالة بشكل خاص:

• أتمتة دعم العملاء. يمكن أن يساعد الضبط الدقيق لنموذج اللغة الكبيرة باستخدام مجموعة كبيرة ومنسقة جيدًا من البيانات والمستندات حول منتجات شركتك وخدماتها وعملياتها نموذج اللغة الكبيرة على أن يكون نظامًا مؤتمتًا لدعم العملاء أكثر فائدة. سوف يفهم LLM المضبوط بشكل أفضل المفردات والفروق الدقيقة في تفاعلات العملاء ويكون قادرًا على الاستجابة بشكل مناسب.
• المحتوى التعليمي. يمكن ضبط نماذج LLM على المواد التعليمية في مجال معين، مثل التاريخ أو القواعد. يمكن لنموذج اللغة الكبيرة بعد ذلك المساعدة في إنشاء محتوى تعليمي جديد، وتلخيص الكتب المدرسية، وإنشاء أسئلة الاختبارات، حتى توفير جلسات تعليمية في مختلف المجالات.
• معالجة المعلومات الطبية. يمكن ضبط نماذج LLM بدقة مع الأدب الطبي وسجلات المرضى المجهولة الهوية والنصوص والصور الطبية الأخرى، مما يجعلها أكثر فائدة لاقتراح العلاجات والتشخيصات.

الإنشاء المعزز للاستعادة (RAG) مقابل الضبط الدقيق: الاختلافات الرئيسية

يجعل كل من الضبط الدقيق وRAG نماذج LLM للأغراض العامة أكثر فائدة، لكنهما يفعلا ذلك بطرق مختلفة. القياس البسيط هو أن الضبط الدقيق لـ LLM يمنحها فهمًا أعمق لمجال معين، مثل الطب أو التعليم، في حين أن اقتران LLM ببنية RAG يمنحها إمكانية الوصول إلى بيانات محلية محدثة لاستجاباتها.

لماذا لا نستخدمها معًا للحصول على إجابات دقيقة وفي الوقت المناسب؟ إنه اتجاه متزايد وحتى يأتي مع اختصاره الخاص: RAFT، للضبط الدقيق المعزز للاسترجاع. باستخدام هذا النهج المختلط، يتم بعد ذلك نشر نموذج تم ضبطه على بيانات المجال المتخصصة في بنية RAG، حيث يستخدم خبرته في المجال لاستعادة المعلومات الأكثر صلة أثناء إنشاء الاستجابة. والنتيجة هي مخرجات دقيقة للغاية وذات صلة ومراعية للسياق.

سنناقش RAFT بشكل أكبر قليلاً، ولكن دعونا أولاً نحصل على فهم أفضل للنهجين.

ضبط دقيق

يساعد كل من RAG والضبط الدقيق نموذج اللغة الكبيرة على تجاوز الاستجابات العامة المستمدة من مجموعات بيانات التدريب الأصلية المعممة. يتضمن الضبط الدقيق وضع LLM من خلال جولات إضافية من التدريب باستخدام مجموعات البيانات الخاصة بمجال أو مؤسسة معينة.

• المتطلبات
  التي تتطلب من فرق تكنولوجيا المعلومات والأعمال وضع العمل الأولي لجمع مجموعات البيانات الكبيرة وتنظيفها وتسميتها لهذه الجولات الجديدة من التدريب. نظام التدريب نفسه كثيف الحوسبة، ويتطلب بنية ذكاء اصطناعي متقدمة من الشبكات العصبية المدعومة بوحدات معالجة رسومات كافية لتدريب LLM في فترة زمنية معقولة.
• الناتج
  والنتيجة هي LLM الذي يجيد المعلومات والتوازي في مجال معين أو حالة عمل معينة.
• السلبيات المحتملة
  على عكس نظام RAG، يعتمد LLM بالكامل على مجموعة البيانات المستخدمة لنظام التدريب الضبط الدقيق ويفتقر إلى الوصول إلى المعرفة الخارجية المُحدثة. يمكن أن تفقد LLM المضبوطة أيضًا، أو "تنسى"، بعض النقاط الدقيقة في تدريبها الأصلي. على سبيل المثال، قد يفقد الدقة في المحادثة العامة لأنه يصبح منغمسًا في تخصص معين، مثل الطب. ربما كنت تعرف الأطباء الذين يعانون من نفس المصير.

RAG

يغير RAG أيضًا استجابات نماذج اللغة الكبيرة، لكنه لا يغير النموذج الأساسي. بدلاً من ذلك، يستخدم نظام RAG قاعدة بيانات محلية أو مجموعة منسقة من المستندات لإعلام استجابات LLM، غالبًا مع تفاصيل دقيقة.

• نقاط القوة
  تعتبر بنية RAG متفوقة على الضبط الدقيق من حيث أمان البيانات وخصوصيتها لأنه يمكن تخزين البيانات في بيئة آمنة مع ضوابط وصول صارمة، مما يساعد على ضمان عدم انعكاس البيانات الخاصة في استجابات الذكاء الاصطناعي.
• نقاط الضعف
  يتمثل ضعف هذا النهج مقارنة بالضبط الدقيق في عدم تدريب نماذج اللغة على الدقة في أي مجال معين؛ فهي تعمل من المعرفة العامة بتدريب LLM.

مقارنة مجموعات المهارات والتكاليف

• مجموعات المهارات
  فيما يتعلق بمجموعات المهارات، في حين أن RAG أبسط في التنفيذ، يتطلب RAG والضبط الدقيق خبرة متداخلة في الترميز وإدارة البيانات. بالإضافة إلى ذلك، يحتاج الفريق المشارك في الضبط الدقيق إلى مزيد من الخبرة في معالجة اللغة الطبيعية (NLP) والتعلم العميق وتكوين النموذج.
• الوقت والتكلفة
  يتطلب الضبط الدقيق المزيد من العمل المسبق بينما يتطلب RAG المزيد من الموارد في وقت التشغيل. الضبط الدقيق يعني جولات من التدريب المكثف للحوسبة قبل نشر نموذج اللغة الكبيرة، مما يجعله مشروعًا أكثر تكلفة مقابل بنية RAG. بمجرد وضع LLM مضبوط في الخدمة، ومع ذلك، فإن بنية وقت التشغيل واضحة إلى حد ما. عند هذه النقطة، يضيف نظام RAG طبقة إضافية من التعقيد إلى LLM، مما يتطلب من الفريق الحفاظ على قاعدة بيانات محدثة وموارد حسابية إضافية لكل موجه.

النهج المختلط: RAFT

وقد أدت القيود والفوائد على هذين النهجين، بطبيعة الحال، إلى اتجاه متزايد للجمع بين نقاط قوتهما. والنتيجة هي النهج المختلط المسمى RAFT.

طريقة الاختيار بين RAG والضبط الدقيق

يعود الاختيار بين استخدام بنية RAG أو نظام الضبط الدقيق إلى الموارد التي لديك وكيف ستستخدم LLM. كما هو مذكور في الجدول أدناه، ستستفيد معظم حالات الاستخدام من الجهد المبذول للجمع بين النهجين—بالنسبة لمعظم الشركات، بمجرد بذلها جهدًا للضبط الدقيق، تعد RAG إضافة طبيعية. ولكن فيما يلي ستة أسئلة يجب طرحها لتحديد الأولويات:

1. هل يجب أن تتضمن الردود بيانات محلية وحالية للغاية؟ يعد إعلام استجابات LLM ببياناتك المحدثة الخاصة قوة RAG ولماذا اكتسبت شعبية بسرعة.
2. هل تعمل LLM في صناعة متخصصة؟ يسمح الضبط الدقيق لـ LLM بتفسير المطالبات بشكل أفضل وتقديم الاستجابات باللغة الفريدة لمهمة معينة أو مجال عمليات معين، مثل الرعاية الصحية.
3. هل خصوصية البيانات وأمانها أمر بالغ الأهمية؟ تتيح بنية RAG للمؤسسة الاحتفاظ بالبيانات الحساسة في قاعدة بيانات محلية آمنة بشكل جيد.
4. هل نبرة الردود وطريقتها هامة؟ يتيح الضبط الدقيق لنموذج اللغة الكبيرة تقديم استجابات باللغة المتخصصة التي تفضلها مؤسسة أو حقل معين. إذا كان العملاء أو عملاء البيع بالتجزئة أو الشركاء سيقومون بالاستعلام عن LLM، فإن الضبط الدقيق يضيف نغمة احترافية.
5. هل موارد وقت التشغيل محدودة؟ لا يتطلب LLM المُضبط موارد وقت تشغيل أكثر من LLM للأغراض العامة. RAG أكثر تعقيدًا، مما يتطلب من LLM الاستعلام عن قواعد البيانات المحلية لزيادة الاستجابات. هذا يضيف مصروفات إضافية.
6. هل هناك إمكانية الوصول إلى البنية التحتية للحوسبة ومجموعات مهارات الذكاء الاصطناعي؟ يتطلب ضبط LLM كلاهما. تحتاج RAG إلى موارد وقت التشغيل والبنية التحتية للبيانات لكن مهارات ذكاء اصطناعي أقل.

احصل على قيمة أعمال أكبر من GenAI باستخدام Oracle Cloud Infrastructure

سواء اخترت RAG أو الضبط الدقيق أو كليهما، تتخصص Oracle في مساعدة مؤسسات مثل مؤسستك على تحقيق مكاسب في الإنتاجية باستخدام الذكاء الاصطناعي التوليدي لـ Oracle Cloud Infrastructure (OCI)، وهي خدمة مُدارة بالكامل تتضمن قوة OCI واختيار نماذج اللغة الكبيرة مفتوحة المصدر أو المملوكة.

نجعل من السهل الجمع بين LLM الخاص بك مع RAG حتى تتمكن من الحصول على استجابات محدثة تستند إلى قواعد معرفتك المتنوعة. عندما يحين الوقت لتشغيل نظام الضبط الدقيق، تعد البنية التحتية لـ Oracle AI خيارًا رائعًا. ستجد مجموعات فائقة تعمل على توسيع ما يصل إلى 65536 وحدة معالجة رسومات—أكثر من كافية لتشغيل أحمال عمل التدريب والاستدلال الأكثر تطلبًا، مثل استجابات LLM ورؤية الكمبيوتر والتحليلات التنبؤية.

تستمر LLMs للأغراض العامة في التحسن، مع تدفق مستمر للإصدارات الجديدة التي تصل من أمثال Anthropic و Cohere و Google و Meta وغيرها الكثير. ولكن بغض النظر عن مدى كفاءة نماذج الذكاء الاصطناعي هذه في التعامل مع اللغة البشرية، فإنها ستحتاج دائمًا إلى طريقة لربط مجموعة المهارات هذه بالاحتياجات المحددة لحالات استخدام الأعمال. الضبط الدقيق وRAG هما حاليًا أفضل طريقتين للقيام بذلك. ابحث عنهم لمواصلة التطور مع تقدم نماذج الذكاء الاصطناعي والأجهزة وبنى البيانات.

الأسئلة الشائعة حول الضبط الدقيق مقابل RAG

هل RAG أفضل من الضبط الدقيق؟

يختلف الضبط الدقيق لنموذج RAG والذكاء الاصطناعي، مع فوائدهما وتكاليفهما الخاصة. كلاهما من الطرق الشائعة لجعل نماذج الذكاء الاصطناعي التوليدي أكثر فائدة، ويجب على كل مؤسسة اختيار الطريقة التي تناسب احتياجاتها بشكل أفضل. هناك خيار شائع آخر هو الجمع بين النهجين، اللذين يطلق عليهما RAFT، من أجل الضبط الدقيق المعزز للاسترجاع.

ما هو أفضل من RAG؟

RAG هي ببساطة تقنية لمساعدة LLM على تقديم استجابات أفضل من خلال الإشارة إلى بيانات الشركة ومستنداتها. ظهرت طريقة تسمى GraphRAG كوسيلة لزيادة تحسين استجابات LLM بما يتجاوز ما يمكن أن تفعله بنية RAG بمفردها، لكنها تضيف التعقيد المعماري وحالات الاستخدام الشائعة لم تظهر بعد.

يعد الضبط الدقيق لنموذج الذكاء الاصطناعي طريقة أخرى يمكنها مساعدة LLM على تقديم استجابات أكثر استهدافًا أو دقة، ويمكن دمجها مع RAG لزيادة تحسين أداء LLM.

هل يمكن استخدام RAG والضبط الدقيق معًا؟

نعم. يقدم هذا النهج المختلط نموذجًا مضبوطًا على بيانات المجال المتخصصة، ثم يتم نشره في بنية RAG حتى يتمكن من تقديم أحدث المعلومات أو الأكثر صلة في استجاباته.

ما الفرق بين RAG ونقل التعلم؟

تعمل RAG على تحسين استجابات LLM من خلال الوصول إلى قاعدة معارف محلية محدثة. يحسن نقل التعلم من استجابات نموذج الذكاء الاصطناعي للأغراض العامة من خلال الوصول إلى نموذج الذكاء الاصطناعي المنفصل الذي تم ضبطه للعمل في مجال معين.