ما المقصود بالبحث عن التشابه؟ الدليل النهائي

إن عبارة "كلما عملت بجد، بدا ذلك أسهل" هو اقتباس من لاعب الهوكي العظيم جوناثان تووز، لكن يمكن أيضًا أن يمثل شعار البحث عن التشابه. بالتأكيد، يبدو الأمر سهلاً—تقديم الإجابات والتوصيات في ثوانٍ. لكن تدفقات البيانات المُعقدة وأنظمة الذكاء الاصطناعي وقوة الحوسبة المصطفة خلف تقنية البحث هذه هائلة. من خلال تحديد التطابقات بسرعة، حتى في مجموعات البيانات الكبيرة، أصبح البحث عن التشابه لاعبًا محوريًا في معالجة اللغة الطبيعية وأنظمة التوصية والكشف عن الاحتيال ومحركات البحث، بالإضافة إلى عدد مُتزايد من حالات الاستخدام في الصناعة، بما في ذلك اكتشاف العلاجات. لكن كيف تتعامل هذه التقنية السريعة مع الكثير من البيانات غير المُنظمة بهذه السرعة؟ وكيف تختلف عن عمليات البحث عن الكلمات الرئيسة المتمرسة وتُكملها؟ اربط الحزام ودعنا نستكشف خصوصيات البحث عن التشابه وعمومياته.

ما المقصود بالبحث عن التشابه؟

البحث عن التشابه، المعروف أيضًا باسم بحث الجار الأقرب، وهي تقنية تستخدم في استرجاع المعلومات وتحليل البيانات التي تعثر على عناصر في مجموعة بيانات تشبه إلى حد كبير عنصر استعلام. يفيد هذا في التطبيقات التي يكون فيها الهدف هو تحديد الكائنات أو المستندات أو الصور أو نقاط البيانات الأخرى التي تشترك في الخصائص العامة مع استعلام معين. يمكنك رؤية البحث عن التشابه عمليًا في تطبيقات مثل محرك بحث الصور أو في توصيات محتوى خدمة البث.

ينشئ نظام البحث عن التشابه مجموعة أرقام، تسمى المتجه، لكل عنصر في مجموعة بيانات؛ يمثل المتجه رقميًا ميزات العنصر. يعطي هذا الكمبيوتر طريقة رقمية لفهم الأفكار والكائنات في العالم الحقيقي، سواء العناصر في مجموعة بيانات صور أو نص أو صوت أو فيديو أو أنواع أخرى من البيانات.

يتم بعد ذلك تخزين المتجهات التي تمثل العديد من أجزاء البيانات المُختلفة في قاعدة بيانات المتجه ويتم إنشاء فهرس متجهات، مما يتيح البحث السريع في البيانات. عند الاستعلام عن مجموعة البيانات، يتم إنشاء تضمين متجهات للميزات والأفكار التي تمثلها مصطلحات الاستعلام، مع استخدام نفس الخوارزمية المُستخدمة في الأصل لإنشاء المتجهات المُخزنة في قاعدة البيانات. ثم تستخدم قاعدة البيانات الخوارزميات لتحديد أقرب المطابقات للاستعلام في مجموعة البيانات.

في بعض الحالات، يُشار إلى هذا النوع من البحث باسم "البحث الدلالي" لأنه يطابق العناصر بخصائص الكائنات والأفكار التصورية الممثلة في عنصر، ليس بالكلمات الرئيسة في مستند أو بالبكسل في صورة. إن قدرة البحث عن التشابه في توفير نتائج سريعة ودقيقة، حتى مع مجموعات البيانات الكبيرة جدًا، تجعله لا غنى عنه للأنظمة القائمة على الذكاء الاصطناعي، مثل معالجة اللغة الطبيعية والتعرُّف على الصور والتصفية القائمة على المحتوى.

ليس غريبًا العثور على تطبيقات الأعمال التي تتضمن أفضل طرق البحث عن التشابه والبحث عن الكلمات الرئيسة التقليدية—فكِّر في نظام توصية يتضمن معلومات أعمال مُحدَّثة، مثل التسعير والتوافر. يمكن إنجاز هذه الأنواع من الوظائف عن طريق نقل البيانات بين قاعدة بيانات متجهات مُتخصصة ومخازن بيانات قائمة، أو باستخدام قاعدة بيانات متعددة الوسائط تعالج في الأصل كل من بيانات المتجهات والبيانات العلائقية.

البحث عن التشابه مقابل البحث التقليدي

بكلمات يسيطة، يدور البحث التقليدي حول العثور على ما تطلبه صراحةً، في حين يدور البحث عن التشابه حول العثور على ما يشبه ما لديك أو تسأل عنه.

يتم استخدام البحث التقليدي غالبًا في استعلامات قاعدة البيانات للعثور على المطابقات الدقيقة أو العناصر ذات الصلة العالية في البيانات المُنظمة على أساس كلمات رئيسة أو معايير محددة. على سبيل المثال، إذا كنت تبحث عن "أفضل رامن في سان فرانسيسكو"، فيمكن أن يرجع محرك البحث التقليدي صفحات الويب التي تحتوي على تلك الكلمات الرئيسة الدقيقة، والمصطلحات المُحددة مُسبقًا المرتبطة ارتباطًا وثيقًا، وربما تصنيفًا رقميًا. ينصب التركيز على ضمان دقة النتائج ومعالجة مصطلحات الاستعلام مباشرةً.

يتم توجيه البحث عن التشابه نحو البحث عن العناصر التي تقترب من المطابقات التصورية أو الهيكلية لاستعلامك. من المُفيد أن تكون البيانات غير مُنظمة أو شبه مُنظمة، مثل الصور أو النصوص أو نقاط البيانات المُعقدة. إذا كنت تبحث عن صور مثل صورتك، فينظر البحث عن التشابه في الصور التي تشترك في الميزات أو الأنماط المرئية، مثل العشب أو ناطحات السحاب أو الألوان أو المشاعر المجسدة، حتى لو لم تكن متطابقة. أو قد يُرجع نظام استرجاع المستندات المقالات التي تناقش مواضيع مماثلة أو تستخدم لغة مماثلة، حتى لو لم تكن الكلمات الرئيسة موجودة بها. في مثالنا الرامن، يمكن أن تشكل متجهات النص الواردة في المراجعات أساس البحث عن التشابه.

الفروق الرئيسية

يمكننا التفكير في الفروق الرئيسة بين البحث التقليدي والبحث عن التشابه بعدة طرق، بما في ذلك هدف أسلوب البحث، وأنواع البيانات المُستخدمة، والتقنيات الرياضية المُستخدمة، وحالات الاستخدام التي يتم بها النشر بشكل أفضل. كما ذكرنا أعلاه، يهدف البحث التقليدي إلى الوصول إلى مطابقات دقيقة أو عناصر ذات صلة عالية على أساس الكلمات الرئيسة أو معايير محددة، في حين يركز البحث عن التشابه في العثور على عناصر تشبه الاستعلام من الناحية المفاهيمية أو الهيكلية.

يعتمد البحث التقليدي على بيانات الجدول المُنظمة الشائعة في التطبيقات المؤسسية—فكِّر في الصفوف والأعمدة المستخدمة لتنظيم سجلات المخزون أو الموظفين—في حين أن البحث عن التشابه أفضل في التعامل مع البيانات غير المُنظمة أو شبه المُنظمة، مثل الصور والصوت ونقاط البيانات المُعقدة، وغالبًا بتنسيق JSON.

توجد رياضيات مُختلفة وراء النوعين من البحث. بالنسبة إلى أحد النوعين، يعتمد البحث التقليدي على المنطق المنطقي ومطابقة الكلمات الرئيسة وخوارزميات التصنيف لتحديد مدى ملاءمة عنصر في مجموعة بيانات. من ناحية أخرى، يستخدم البحث عن التشابه قياسات مسافة المتجه مثل تشابه جيب التمام، والمسافة الإقليدية، وتشابه جاكارد، لتحديد درجة التشابه بين العناصر التي تتم فهرستها. نناقش هذه المقاييس بمزيد من التفصيل لاحقًا في هذه المقالة. كما قد تخمِّن، يتم استخدام البحث التقليدي بشكل أشيع عندما تكون النتائج الدقيقة من استعلامات قاعدة البيانات لأنظمة استرداد معلومات الأعمال مطلوبة، بينما يتم استخدام البحث عن التشابه في أنظمة التوصية والتعرُّف على الصور والتصفية المستندة إلى المحتوى.

يجب أن نلاحظ هنا أنه في العديد من حالات استخدام الأعمال، ويستخدم النظام المجهز بالتوليد المعزز بالاسترجاع (RAG) كلاً من تقنيات الاستعلام بالإضافة إلى نموذج LLM لربط عمليات إرجاع البحث الدلالي مع بيانات الشركة المُحدثة للوصول إلى المخرجات الأدق والأفيد لأغراض الأعمال. على سبيل المثال، يطابق محرك التوصية عنصرًا على أساس البحث عن التشابه إلى جانب السعر والإتاحة المستمدة من استعلام SQL التقليدي ويوفر هذه المعلومات إلى LLM لإنشاء إجابة سهلة الفهم باللغة الطبيعية.

النقاط الرئيسة

• يُعد البحث عن التشابه، الذي يُطلق عليه أحيانًا بحث الجار الأقرب طريقة بحث شائعة بشكل متزايد وتقنية أساسية لـ RAG والأنظمة الأخرى المعتمدة على الذكاء الاصطناعي.
• يعمل البحث عن التشابه عن طريق اكتشاف العناصر واسترجاعها في مجموعة بيانات تشبه إلى حد كبير مصطلحات الاستعلام.
• يمثل البحث عن التشابه تقنية حيوية في معالجة اللغة الطبيعية وأنظمة التوصية وتطبيقات البحث عن الصور.

شرح البحث عن التشابه

يمثل البحث عن التشابه تقنية في علوم البيانات والتعلم الآلي تسعى إلى العثور بسرعة على العناصر في مجموعة بيانات تشبه إلى حد كبير عنصر الاستعلام. كيف تعرف هذه الأنظمة أن العناصر الموجودة في مجموعة بيانات، مثل صورة أو جزء من نص أو ملف صوتي مُتشابهة؟ يشغِّل النظام هذه البيانات من خلال نموذج ذكاء اصطناعي مُتطور يحدد ميزات العالم الحقيقي لكل عنصر حتى يمكن تقييمها رياضيًا. تسمى الأرقام التي تصف عنصرًا بتضمين المتجهات لديه. تعطي تضمينات المتجهات أجهزة الكمبيوتر أرقامًا يمكنها العمل معها والتي تمثل الأفكار والكائنات الموجودة في البيانات غير المُنظمة. تقوم قاعدة البيانات المتجهات بتخزين وفهرسة وتمكين البحث عن أعداد كبيرة من المتجهات، إذ يمثل كل منها عنصرًا فرديًا في مساحة عالية الأبعاد. يجعل هذا من الممكن تحديد مدى قرب أو تشابه عنصرين لبعضها بعضًا.

يحدد النظام بعد ذلك أقرب المطابقات على أساس مقياس مسافة معروف، مثل مسافة إقليدية، أو تشابه جيب التمام، أو تشابه جاكارد. يختار علماء البيانات الذين يطورون نظام البحث عن التشابه المقاييس وخوارزميات البحث بناءً على نوع البيانات التي يتم البحث عنها ونوع العمل الذي يقوم به النظام، مثل اكتشاف أوجه الخلل أو التوصية بالمنتج أو معالجة اللغة الطبيعية. على سبيل المثال، تم تصميم خوارزمية مثل الجار الأقرب التقريبي (ANN) لتسريع عملية البحث عن التشابه من خلال توفير مُفاضلة بين الدقة والسرعة—خاصةً في مجموعات البيانات التي قد تحتوي على مليارات العناصر. تشمل أساليب ANN الشائعة Annoy، وهي مكتبة مفتوحة المصدر توفِّر هيكل يشبه الشجرة للبحث الفعَّال، وFaiss، التي تستخدم تقنيات فهرسة مُتقدمة للتعامل مع مليارات المتجهات.

كيف يعمل البحث عن التشابه؟

يعمل البحث عن التشابه من خلال تحديد الميزات المُتشابهة بين الاستعلام والعناصر في مجموعة البيانات التي يتم البحث عنها. يتم ذلك غالبًا من خلال تقنيات مثل عمليات تضمين المتجه والفهرسة وبحث الجار الأقرب. فيما يلي نظرة عن كثب على الخطوات المشمولة:

• إنشاء تضمينات المتجهات: تمثل تضمينات المتجهات تمثيلات رقمية للميزات الموجودة في البيانات غير المُنظمة أو شبه المُنظمة. يتضمن إنشاء التضمينات تحويل البيانات الأولية، مثل النص أو الصور أو الصوت إلى سلاسل من الأرقام تسمى المتجهات، والتي تسجِّل الميزات والسياق الأساسين للبيانات. توجد مجموعة من نماذج الذكاء الاصطناعي المُستخدمة لإنشاء هذه التضمينات. على سبيل المثال في النصوص، ينشئء نموذج التضمين من Cohere متجهات تعكس العلاقات الدلالية والصياغية بين الكلمات، مما يسمح للكلمات المتشابهة أن تكون قريبة من بعضها بعضًا في مساحة المتجه. لاحظ أن مجال تضمينات المتجهات يتطور بسرعة، وتتوفر العديد من النماذج المُبتكرة مفتوحة المصدر في تبادل الشبكات العصبية المفتوحة.
• الفهرسة والاستعلام: تمثل الفهرسة عملية تنظيم تضمينات المتجهات وتخزينها بطريقة تسمح بالبحث والاسترجاع بكفاءة. في قاعدة بيانات متجهات، يحصل كل عنصر في مجموعة البيانات على تضمين متجه يصفه، ويتم ترتيب المتجهات في الفهرس لتمكين النظام من العثور بسرعة على متجهات مماثلة. كما يتم حساب متجه لكل استعلام بحث. يتيح هذا لقاعدة البيانات البحث بسرعة في فهرسها لتحديد العناصر الأكثر مثل الاستعلام.
• إجراء البحث: يبدأ البحث بالاستعلام الجاري تحويله إلى متجه باستخدام نفس التقنية المُطبقة على عناصر مجموعة البيانات. ثم تستخدم خوارزمية البحث المتجه الخاص بها للعثور على الجيران الأقرب لمتجه الاستعلام هذا. تتشابه هذه الجيران بشكل كبير مع الاستعلام. يتم تصنيف النتائج غالبًا بناءً على درجات التشابه الخاصة بها، ويتم إرجاع أعلى المطابقات إلى المستخدم أو معالجتها بشكل أكبر للوصول إلى أفضل نتائج الاستعلام.

مزايا البحث عن التشابه وحدوده

يُعد البحث عن التشابه أداة قوية مُفيدة لبعض التطبيقات، وخاصةً تلك التي تنطوي على بيانات غير مُنظمة. مع ذلك، من المهم أن تكون على دراية بحدوده واختيار التقنيات والمقاييس المناسبة للمشكلة المُحددة المطروحة.

تشمل المزايا ما يلي:

• الكفاءة: يحقق البحث عن التشابه استرجاعًا سريعًا ودقيقًا للنتائج من خلال فهرسة العناصر بشكل منطقي باستخدام الخوارزميات التي يمكنها تحديد موقع العناصر الأكثر تشابهًا بسرعة في مجموعة بيانات كبيرة—دون الحاجة إلى مُقارنات شاملة.
• التخصيص: باستخدام البحث عن التشابه، يمكن للتطبيقات تخصيص الاقتراحات للمستخدمين. يخصص التطبيق هذا من خلال تحليل سلوك المستخدم وتفضيلاته وإنشاء تضمينات المتجهات التي تسجِّل رغبات المستخدم واهتماماته. يمكن للبحث عن التشابه بعد ذلك تحديد المنتجات أو المقالات أو الوسائط واقتراحها بسرعة.
• تعدد الاستخدامات/القابلية للتوسع: تتيح القدرة على البحث بكفاءة في أنواع البيانات المُتنوعة والمُعقدة، مثل النص والفيديو والصوت للنظام تكييفه مع حالات الاستخدام المُختلفة: التصفية القائمة على المحتوى، والكشف عن الاحتيال، وغيرها الكثير.
• فعالية التكلفة: يمكن أن تترجم أوجه الكفاءة في البحث عن التشابه إلى تكاليف تشغيلية أقل وأداء أفضل. تخفض تقنيات الفهرسة الفعَّالة الخاصة بطريقة البحث والخوارزميات المُستهدفة من الوقت والموارد الحسابية اللازمة للعثور على عناصر مماثلة. يمكن أن يكون هذا مُفيدًا للغاية لمجموعات البيانات الكبيرة جدًا.

تشمل الحدود ما يلي:

• التعقيد: يمثل إنشاء تضمينات المتجهات، واختيار مقاييس التشابه المُناسبة، وتنفيذ خوارزميات الفهرسة والاستعلام الفعَّالة مهام تتطلب مستوى عالٍ من خبرة علوم الكمبيوتر وإدارة البيانات. قد يكون هذا عائقًا أمام المؤسسات التي ترغب في بناء أنظمتها الخاصة لكنها تفتقر إلى المهارات التقنية اللازمة.
• كثافة الموارد: على الرغم من أن البحث عن التشابه يمكن أن يكون طريقة فعَّالة من جانب التكلفة للبحث عن مجموعات البيانات الكبيرة، إلا أنه لا تزال توجد تكاليف يجب مراعاتها لحالة الاستخدام لديك. على سبيل المثال، قد تتطلب عملية إنشاء التضمينات وإنشاء الفهارس وتنفيذ الاستعلامات الكثير من الوقت والقوة الحسابية. يمكن أن يؤدي هذا إلى تكاليف أعلى ومتطلبات بنية تحتية أكثر تطلبًا.
• متطلبات إعداد البيانات: لتقديم نتائج أكثر صلة، يحتاج البحث عن التشابه إلى بيانات عالية الجودة ومعالجة مُسبقة شاملة. على سبيل المثال، تحتاج البيانات الأولية غالبًا إلى تنقيحها وتطبيعها وتحويلها إلى تنسيق مُناسب قبل أن يتمكن النظام من إنشاء تضمينات. يمكن أن تستغرق خطوة الإعداد هذه وقتًا طويلاً.
• مشكلات في الخصوصية: يعد الحفاظ على خصوصية البيانات والامتثال إلى اللوائح ذات الصلة جزءًا مهمًا من أي نظام بحث عن التشابه، خاصةً عندما يتعامل مع أحمال عمل الإنتاج. يمكن أن يضيف هذا تعقيدًا ونفقات إضافية إلى التنفيذ.

المفاهيم الرئيسة للبحث عن التشابه

يعد فهم المفاهيم الرئيسة للبحث عن التشابه أمرًا ضروريًا لتنفيذ التكنولوجيا واستخدامها بفعالية في تطبيقاتك. تعمل التقنيات والأساليب أدناه معًا لتحقيق النتائج المرجوة.

تمثيلات المتجهات

إن تمثيل المتجه هو العملية التي يتم فيها تحويل ميزات وخصائص المحتوى المُخزن إلى متجهات رقمية في مساحة متعددة الأبعاد. تسجِّل هذه المتجهات أسس عنصر البيانات، مثل معنى الكلمات في النص، أو العناصر المرئية في الصور، أو أنماط الصوت. إن المتجه الناتج الذي يصف العنصر هو تضمين المتجه. من خلال تكوين متجهات للبيانات وكذلك الاستعلامات، يمكن أن تستخدم قاعدة بيانات المتجهات التمثيلات لقياس مدى قرب العناصر والاستعلامات المُختلفة ومقارنتها بكفاءة.

مقاييس المسافة

تظهر مقاييس المسافة بأنها ضرورية في البحث عن التشابه لأنها تحدد حجم التشابه أو التباين بين المتجهات. يعتمد اختيار مقياس المسافة على طبيعة البيانات والمتطلبات المُحددة للتطبيق. تشمل مقاييس المسافات الشائعة مسافة إقليدية، والتي تقيس مسافة الخط المستقيم بين نقطتين؛ تشابه جيب التمام، الذي يقيِّم جيب التمام للزاوية بين متجهين لتحديد اتجاههما؛ وتشابه جاكارد، وهو مُفيد لمقارنة مجموعات من الميزات الممثلة في متجهات حتى لو كانت بأحجام مختلفة.

تقنيات البحث عن التشابه وخوارزمياته

تختار المؤسسة تقنية البحث عن التشابه بناءً على الهدف النهائي لتطبيقها. على سبيل المثال، هل تنشئ نظام للكشف عن أوجه الخلل أو البحث عن الصور أو معالجة اللغة الطبيعية؟ تتضمن هذه التقنيات مقاييس المسافة المذكورة أعلاه لتنفيذ مهمتها. فيما يلي اثنين من التقنيات الشائعة وهي KNN وANN، كما موضح:

خوارزمية أقرب الجيران، أو KNN: في بحث التشابه المستند إلى تقنية KNN، تتم مقارنة متجه الاستعلام بمجموعة من متجهات البيانات، وتحدد الخوارزمية نقاط بيانات "k" الأقرب إلى الاستعلام على أساس مقياس مسافة مُحدد، مثل مسافة إقليدية أو تشابه جيب التمام. تتنبأ KNN بفئة أو قيمة جزء جديد من البيانات أو الاستعلام بمقارنته مع الجيران القريبة في مجموعة البيانات، بافتراض وجود بيانات مماثلة بالقرب من بعضها بعضًا في مساحة المتجه.

تحسب KNN المسافات بين الاستعلام وكل البيانات في المجموعة، مما يجعلها مُكلفة حسابيًا، خاصةً مع مجموعات البيانات الكبيرة. على الرغم من ذلك، يمكن أن تكون KNN فعَّالة للعديد من التطبيقات، بما في ذلك أنظمة التوصية والتعرُّف على الصور والكشف عن أوجه الخلل.

الجار الأقرب التقريبي، أو ANN: تمثل ANN تقنية تستخدم في البحث عن التشابه للعثور بكفاءة على العناصر في مجموعة بيانات قريبة للغاية من المتجه الذي يمثل استعلامًا—لكن دون الحاجة إلى حساب المسافات الدقيقة لكل نقطة. إن هذه الطريقة جيدة لمجموعات البيانات واسعة النطاق، إذ يتطلب بحث الجار الأقرب الدقيق الكثير من قوة الحوسبة ليكون مُفيدًا. تُجري خوارزميات ANN، مثل التجزئة الحساسة للموقع (LSH) والأساليب المستندة إلى الشجرة بحث تقريبي عن طريق تقليل بُعدية البيانات أو استخدام بُنى الفهرسة لتقليل المرشحين المحتملين بسرعة. قد لا تكون النتائج دقيقة تمامًا، لكنها تكون غالبًا قريبة بما فيه الكفاية لتحقيق أهداف عملية. تُستخدم ANN بشكل شائع في تطبيقات مثل عمليات البحث عن الصور ومعالجة اللغة الطبيعية.

تطبيقات البحث عن التشابه

إن البحث عن التشابه شائع لعدة أنواع من التطبيقات. قد يواجه الشخص بحثًا عن التشابه عند تقديمه توصيات من خدمة تدفق أو إجابات من محرك بحث. لكن يمكن الوصول إلى تقنية البحث هذه أيضًا في الخلفية في مجال الإدراة المالية وأمان البيانات. فيما يلي نظرة على التطبيقات الشائعة الأخرى للبحث عن التشابه:

• البحث عن الصور: عندما تطلب من تطبيق الذكاء الاصطناعي العثور على الصور بناءً على استعلامك أو صورة المثال، فمن المرجح أن يستخدم البحث عن التشابه لتحديد موقع تلك الصور. يحوِّل النظام الصور إلى متجهات ميزات بحيث يمكن للخوارزميات مُقارنة هذه المتجهات بتلك المُخزَّنة لكل عنصر في مجموعة البيانات الخاصة به وتحديد الصور ذات الخصائص المتشابهة. يسترجع النظام بعد ذلك الصور الأكثر تشابهًا من قاعدة بيانات كبيرة بكفاءة. يفيد هذا في تطبيقات مثل البحث عن الصور العكسية، إذ يمكن للمستخدمين تحميل صورة للعثور على صور مماثلة أو مُتطابقة، وفي أنظمة استرجاع الصور القائمة على المحتوى التي تسترجع الصور بناءً على أوصاف مكتوبة. في مثال آخر، يقارن التحكم في جودة التصنيع صور الأجزاء التي تم إنشاؤها حديثًا بعينات جيدة ورديئة معروفة للتعرُّف على القطع لإجراء المزيد من التدقيق.
• أنظمة التوصية: عند وصولك إلى تطبيق بائع تجزئة أو خدمة بث والعثور على توصيات، فأنت تعلم أن أنظمتها أجرت بحثًا عن التشابه على أساس تفضيلاتك وسلوكياتك السابقة. تُحوِّل هذه الأنظمة تفضيلات المستخدم وسمات الأصناف إلى متجهات وتفهرسها في مساحة عالية الأبعاد وتتم فهرسة متجهات المنتجات أيضًا. ثم تحسب التشابه بين هذه المتجهات باستخدام مقاييس مثل تشابه جيب التمام أو مسافة إقليدية، مما يؤدي إلى قائمة قصيرة من العناصر التي من المرجح أن تَهُمك. على سبيل المثال، قد يسجِّل نظام التوصية بالأفلام اختياراتك السابقة وتفضيلاتك باعتبارها متجهات، مما يسمح للنظام بالتوصية بالأفلام التي تشبه تلك التي استمتعت بها بالفعل. جعل تمكين البحث عن التشابه في التخصيص السريع والدقيق منه حجر الزاوية للتجارة الإلكترونية وخدمات البث ومنصات الوسائط الاجتماعية.
• الكشف عن الاحتيال: عندما يفحص بائع التجزئة أو المؤسسة المالية المعاملات الاحتيالية، فإنها تستخدم غالبًا البحث عن التشابه. إذ يساعدها في تحديد الأنماط غير العادية أو أوجه الخلل في البيانات التي قد تشير إلى نشاط احتيالي. من خلال تمثيل المعاملات أو سلوكيات المستخدم باعتبارها متجهات، يمكن لهذه الأنظمة مقارنة نقاط البيانات الجديدة بالبيانات السابقة للعثور على أقرب المطابقات. إذا كانت المعاملة أو السلوك الجديد مُختلفًا بما فيه الكفاية عن أقرب جيرانه، فيمكن تمييزه على أنه مشبوه. من خلال المساعدة في اكتشاف القيم الشاذة وأوجه الخلل، أصبح البحث عن التشابه أمرًا بالغ الأهمية في الخدمات المالية وغيرها من الشركات التي تتطلع إلى وقف الخسائر أو التخفيف من التهديدات الأمنية.
• استكشاف البيانات التجارية: يمكن أن يساعد البحث عن التشابه، على سبيل المثال رجل الأعمال في استكشاف بيانات الشركة باستخدام متجهات اللغة الطبيعية بدلاً من عبارات SQL. باستخدام البحث عن التشابه وRAG، يمكن أن يتخذ استكشاف البيانات والتمثيل المرئي شكل محادثة بين رجل أعمال ومجموعة بيانات جدولية أو مخزن مستندات شبه مُنظم.
• الرعاية الصحية واكتشاف الأدوية: تضع صناعات الرعاية الصحية والتكنولوجيا الحيوية البحث عن التشابه للعمل بعدة طُرق. من خلال وضع متجهات بكميات كبيرة من بيانات الصناعة، فيمكن للبحث عن التشابه أن يكشف عن الدراسات أو التركيبات أو الآليات ذات الصلة بالسياق التي ربما تم تجاهلها من خلال طرق البحث التقليدية القائمة على الكلمات الرئيسة، مما يساعد الأشخاص في هذه الصناعات في الربط بين النقاط بطُرق جديدة. في قواعد البيانات الكيميائية ومكتبات المركبات الكيميائية، يمكن للبحث عن التشابه تحديد التطابقات بناءً على الخصائص الدوائية لتسريع اكتشاف الأدوية مع خفض التكاليف. يمكن أن تساعد قدرات مطابقة الأنماط هذه نفسها في اكتشاف علاقات جديدة في بيانات التعبير الجيني، وتسلسل البروتين، ومجموعات البيانات البيولوجية أو الكيميائية الكبيرة الأخرى.

الأدوات والمكتبات

توجد العديد من الأدوات والمكتبات المُصممة لمساعدة المؤسسات في تنفيذ البحث عن التشابه بكفاءة، لكنها تختلف في أساليبها وميزاتها. فيما يلي بعض الأمثلة على ذلك:

• Annoy، وهي اختصار للجار الأقرب تقريبًا Oh Yeah، هي مكتبة خفيفة الوزن وفعَّالة لبحث الجار الأقرب تقريبًا تم تطويرها بواسطة Spotify. إنها مُفيدة بشكل خاص للتطبيقات التي ترى أن السرعة وكفاءة الذاكرة من الاعتبارات الرئيسة. تبني Annoy هيكل يشبه الشجرة لفهرسة المتجهات، مما يسمح بالاسترجاع السريع للجيران الأقرب تقريبًا. يمكن دمج Annoy في مجموعة مُتنوعة من بيئات البرمجة، بما في ذلك Python وC ++.
• تمثل Faiss، اختصارًا للبحث عن تشابه بالذكاء الاصطناعي على Facebook، وهي مكتبة مفتوحة المصدر تم تطويرها بواسطة فريق Facebook AI Research والذي يستخدم الآن على نطاق واسع في التطبيقات بما في ذلك أنظمة التوصية والتعرُّف على الصور ومعالجة اللغة الطبيعية. تم تحسين Faiss للبحث عن التشابه عالي الأداء ويمكنها التعامل مع مليارات المتجهات على جهاز واحد. تدعم مقاييس المسافات المتعددة وأساليب الفهرسة، بما في ذلك الرسومات البيانية المسطحة والملف المقلوب (IVF) والرسوم البيانية لخوارزمية العالم الصغير الهرمي القابل للتنقل (HNSW).
• تمثل Milvus قاعدة بيانات مفتوحة المصدر ومتجهات سحابية أصلية مُصممة للبحث عن التشابه في مجموعة مُتنوعة من العناصر، بما في ذلك الصور ومقاطع الفيديو والنصوص. تدعم Milvus خوارزميات الفهرسة المُتعددة ومقاييس المسافة، ويمكن نشرها في السحابة أو في إصدار محدود على جهاز. إنها معروفة بمرونتها وسهولة تكاملها مع أطر معالجة البيانات والتعلم الآلي الأخرى، مما يجعلها خيارًا شائعًا لمجموعة واسعة من تطبيقات البحث عن التشابه.
• تمثل Pinecone قاعدة بيانات متجهات قائمة على السحابة مُصممة للبحث عن التشابه في التطبيقات واسعة النطاق. تقدم حلاً يبسِّط عملية تخزين المتجهات عالية الأبعاد وفهرستا والاستعلام عنها، مما يجعلها شائعة للمهام بما في ذلك أنظمة التوصية والبحث عن الصور ومعالجة اللغة الطبيعية. تدعم مجموعة مُتنوعة من مقاييس المسافة وتوفر واجهات API للتكاملات السريعة مع الأنظمة الحالية.
• تمثل Oracle AI Database قاعدة بيانات مُتعددة الوسائط توفر بحثًا أصليًا عن متجهات الذكاء الاصطناعي في مخازن البيانات الإستراتيجية للمؤسسات الكبيرة. تمكِّن المطورين بسهولة من إدخال بحث التشابه المدعوم بالذكاء الاصطناعي على بيانات عملك دون إدارة قواعد بيانات متعددة ودمجها أو المساس بالوظائف والأمان والاتساق. تستخدمها المؤسسات بما في ذلك المؤسسات الكبيرة والشركات الناشئة سريعة التقدم لتمكين تطبيقات البحث عن الذكاء الاصطناعي المُتطورة للغاية.

تحسين البحث عن التشابه باستخدام بحث متجهات Oracle AI

هل تنفذ البحث عن التشابه أو تخطط له في تطبيقاتك؟ إذا كان الأمر كذلك، فلا تُدخل الذكاء الاصطناعي على بياناتك. دع Oracle تُدخل البحث عن الذكاء الاصطناعي والتشابه إلى بيانات أعمالك في بنية مُبسطة وعلى مستوى مؤسسي.

يسهِّل البحث عن متجهات الذكاء الاصطناعي الأصلي في Oracle AI Database تصميم البحث عن التشابه وإنشائه وتشغيله إلى جانب أنواع البيانات الأخرى لتحسين تطبيقاتك. يتضمن هذا أنواع البيانات العلائقية والنصية وJSON والبيانات المكانية والرسوم البيانية—كل ذلك في قاعدة بيانات واحدة، ويمكنك تجربتها مجانًا.

تتضمن إمكانات بحث متجهات Oracle AI—تحميل المستندات والتحويل والتجميع والتضمين والبحث عن التشابه وRAG باستخدام نماذج LLM—المتاحة محليًا أو من خلال واجهات API داخل قاعدة البيانات.

أنشئ إمكانات البحث عن التشابه على البنية التحتية من Oracle Cloud ويمكنك الوصول إلى الذكاء الاصطناعي المُصمم للمؤسسة—مع قابلية التوسع والأداء والتوافر العالي والأمان المُضمن في المنصة لإدارة البيانات التي تدعم تطبيق الذكاء الاصطناعي.

الأسئلة الشائعة حول البحث عن التشابه

كيف يمكن أن يفيد البحث عن التشابه مؤسستي؟

يمكن لنظام البحث عن متجهات الذكاء الاصطناعي في مؤسستك أن يسهِّل على الأشخاص استكشاف مخازن البيانات والمستندات باستخدام متجهات اللغة الأصلية. كما يمكن أن يساعد مؤسستك في بناء التخصيص في الخدمات التي تقدمها للعملاء، مثل محرك توصية للبيع بالتجزئة عبر الإنترنت.

ما أنواع هي البيانات التي يمكن استخدامها في البحث عن التشابه؟

يمكن استخدام البحث عن التشابه مع أي بيانات تحتوي على تضمين متجهات، لكن يتم استخدامه غالبًا مع بيانات غير مُنظمة أو شبه مُنظمة، مثل النصوص والصور والفيديو والملفات الصوتية.

كيف يُحسِّن البحث عن التشابه من تجارب العملاء؟

يمكن أن يؤدي البحث عن التشابه إلى تحسين تجربة العملاء من خلال تخصيص المحتوى واقتراحه للعملاء على أساس تفضيلاتهم وخياراتهم السابقة.

ما مدى قابلية التوسع في البحث عن التشابه لمجموعات البيانات الكبيرة؟

يمثل البحث عن التشابه طريقة بحث مرنة وقابلة إلى التوسع. إذ يعالج مجموعات البيانات الكبيرة عن طريق فهرسة بيانات المتجهات بطريقة تسهِّل تحديد موقع العناصر المشابهة وإرجاعها إلى استعلام.