ما المقصود بتسمم الذكاء الاصطناعي؟ دليل
جيفري إريكسون | كاتب أول | 2 ديسمبر 2025
قبل أن تتمكن من تشغيل نماذج الذكاء الاصطناعي ووكلاء الذكاء الاصطناعي، يجب تدريب خوارزميات التعلم الآلي للوصول إلى الأنماط والترابطات بين مجموعات البيانات الكبيرة. لكن ماذا لو تم دمج مجموعة بيانات التدريب عمدًا بالبيانات التي تهدف إلى جعل النموذج يعمل لصالح جهة فاعلة ضارة بدلاً من تلك التي تثق في الذكاء الاصطناعي لمساعدتها؟
يطلق على هذا السيناريو تسمم الذكاء الاصطناعي، وقد أظهر باحثو الأمن أنه من الممكن إتلاف نماذج الذكاء الاصطناعي من خلال تدريبها على البيانات المصممة لتقديم نتائج تم التلاعب بها أو من خلال الاستفادة من عيوب التصميم في التعليمات البرمجية الرئيسة. ولا يلزم أن يحدث ذلك أثناء التكوين الأولي—تخضع الخوارزميات في نموذج الأساس لجولات مُتعددة من التدريب، وفي وقت لاحق، المزيد من التدريب إذا تم ضبط النموذج لإجراء مهمة معينة. تفتح هذه العملية المستمرة جبهة جديدة نحو صراع أمان البيانات في المؤسسة.
ما المقصود بتسمم الذكاء الاصطناعي؟
يمثل تسمم الذكاء الاصطناعي عملية معالجة نظام الذكاء الاصطناعي من خلال تلويث بيانات التدريب الخاصة به أو من خلال استغلال نقاط الضعف في بنيته الداعمة. تم تصميم عمليات الاستغلال هذه لتغيير قدرة النظام على اتخاذ قرارات حاسمة أو تقليلها أو الاستفادة من تفاعلات النظام مع المعلومات الحساسة.
في حين أن "التسمم" هو مصطلح مثير للجدل، إلا أن النشاط نفسه له جذوره في الهجمات الضارة الشائعة على بنيات البيانات، ومع إضافة تقلبات على تفاصيل أنظمة الذكاء الاصطناعي، مثل حقن البيانات الضارة في مجموعة بيانات التدريب أو تعديل البيانات بطريقة أخرى، مما يترك نموذج الذكاء الاصطناعي بأنماط غير صحيحة وتسبب له إنتاج مخرجات غير مرغوب فيها أو حتى ضارة. أو كما هو الحال في الانتهاكات السابقة للبيانات، قد يستغل المهاجمون نقاط الضعف في بنية نموذج الذكاء الاصطناعي لتحقيق أهدافهم، سواء كانت هذه نتائج غير مرغوب فيها أو تعرض الأداء إلى الخطر.
مع تزايد انتشار أنظمة الذكاء الاصطناعي وتعقيدها—بما في ذلك من خلال عدد متزايد من وكلاء الذكاء الاصطناعي المستقلين—يزيد خطر تسمم الذكاء الاصطناعي. يسلط هذا الضوء على الحاجة إلى خدمات الذكاء الاصطناعي التوليدي التي توفر تدابير أمان للبيانات وبروتوكولات الاختبار للمساعدة في توفير التكامل والموثوقية.
شرح تسمم الذكاء الاصطناعي
يشير تسمم الذكاء الاصطناعي إلى معالجة أمان ودقة بنية نموذج الذكاء الاصطناعي أو بيانات التدريب. تقع عمليات الاستغلال هذه لأسباب عديدة. على سبيل المثال، قد يتم تغيير بيانات تدريب نموذج الذكاء الاصطناعي حتى لا يتعرِّف على المعاملات الاحتيالية أو التلاعب في السوق أو رسائل البريد الإلكتروني التي تحتوي على برامج ضارة، ينتج عنها سرقة الأموال أو البيانات. أو قد يتم تغيير نظام الذكاء الاصطناعي بشكل ضار لتقديم تشخيصات طبية أو توصيات قانونية غير صحيحة.
يمكن تنفيذ تسمم الذكاء الاصطناعي من مجموعة من الجهات الفاعلة ذات الدوافع المُختلفة. تشمل هذه الأفراد الخبيثين الذين يسعون إلى التسبب في ضرر أو اضطراب، والمنافسين الذين يهدفون إلى تقويض منتجات الشركة المعتمدة على الذكاء الاصطناعي، أو المجموعات التي ترعاها الدول المشاركة في الحرب الإلكترونية، أو الموظفين الساخطين.
يمكن أن تتخذ هجمات التسمم أشكالاً مُختلفة. تأتي إحدى الطُرق في قلب العلامة، إذ يغير المهاجم العلامات الصحيحة لبيانات التدريب إلى علامات غير صحيحة. يأتي نهج آخر في حقن البيانات، والذي يتضمن إضافة نقاط بيانات جديدة تمامًا ومُفبركة مع علامات غير صحيحة. تشمل التقنيات الأكثر تعقيدًا تسمم العلامات النظيفة، إذ تظهر البيانات المُسممة مشروعة لكنها لا تزال تتسبب في معرفة النموذج أنماطًا غير صحيحة، وهجمات الباب الخلفي، والتي تؤدي إلى سلوكيات مُحددة غير مرغوب فيها عند تواجد أنماط إدخال معينة.
يبدأ منع تسمم الذكاء الاصطناعي بتأمين البيانات المُستخدمة لتدريب نماذج الذكاء الاصطناعي، بما في ذلك استخدام عمليات قوية للتحقق من البيانات ومراجعتها تفحص أوجه الخلل والتناقضات والتلاعب المُحتمل. عند تحديد توريد بيانات التدريب الخارجية، يُنصح باستخدام مقدمي خدمات موثوقين وذوي سمعة طيبة، مثل الوكالات الحكومية والمؤسسات البحثية، بالإضافة إلى الشركات ومنصات التواصل الاجتماعي التي تعيد تعبئة بيانات الموقع وتخفي هويتها لأغراض التدريب على الذكاء الاصطناعي. مع ذلك، تحصل بعض الشركات على بيانات التدريب وتبيعها من عمليات البحث عبر الإنترنت الواسعة، ويجب فحصها هذه البيانات بعناية.
يمكن للمؤسسات التي تمتلك مجموعات بيانات كبيرة ومُتنوعة للغاية استخدام أدوات تنقيح البيانات التي يقدمها موفرو خدمة علوم البيانات لتنظيف بيانات التدريب وتصفيتها والمساعدة في إزالة العينات الضارة أو المُسممة المُحتملة. توجد إستراتيجية مشتركة أخرى لتحسين دقة النموذج، وهي طريقة التجميع، وهي تدرِّب نماذج مُتعددة على مجموعة بيانات، أو على أشكال لمجموعة البيانات هذه، ثم تجميع مخرجاتها للحصول على إجابة نهائية. يمكن أن يساعد هذا في اكتشاف آثار التسمم وتخفيفها باستخدام قوة صُنع القرار بشكل جماعي.
كما تُعد المراقبة الرسمية والمستمرة لأنظمة الذكاء الاصطناعي نفسها وصيانتها ضرورية أيضًا لمنع تسمم الذكاء الاصطناعي وكشفه. تتضمن أفضل الممارسات تدقيق أداء نماذج الذكاء الاصطناعي بانتظام ومراقبة السلوك أو المخرجات غير العادية.
يتم الآن تضمين التطبيقات القائمة على الذكاء الاصطناعي التوليدي ووكلاء الذكاء الاصطناعي في تطبيقات الأعمال والمنصات للتطوير، كما تقدم قيمة بطرق مُبتكرة عبر المجالات والعمليات الحكومية. نظرًا إلى أن الذكاء الاصطناعي أصبح أكثر مركزية لعمليات الأعمال، فإن حماية تدريب الذكاء الاصطناعي التوليدي وعمليات الضبط الدقيقة من مخططات تسمم الذكاء الاصطناعي أمر ضروري للتخفيف من المخاطر المالية وحماية سمعة العلامة التجارية وثقة العملاء.
هل تشعر بالقلق إزاء تسمم الذكاء الاصطناعي؟ يشرح كتابنا الإلكتروني طريقة إنشاء مركز التميز بالذكاء الاصطناعي للمساعدة في الحماية من هذه التهديدات وغيرها لنجاح الذكاء الاصطناعي.
الأسئلة الشائعة حول تسمم الذكاء الاصطناعي
كيف يعمل تسمم الذكاء الاصطناعي؟
تستغل هجمات تسمم الذكاء الاصطناعي العملية الأساسية للتعلم الآلي، والتي تتضمن تدريب نموذج على مجموعة بيانات. يُدخل المهاجمون بيانات مُسممة في بيانات التدريب، مع تعديلات دقيقة يصعب اكتشافها غالبًا. مع مرور الوقت، يتعلم نموذج الذكاء الاصطناعي من هذه البيانات التالفة، مما يؤدي إلى تنبؤات وقرارات غير مرغوب فيها أو غير صحيحة.
ما العواقب المحتملة للتسمم الذكاء الاصطناعي؟
يمكن أن يكون تأثير تسمم الذكاء الاصطناعي شديدًا. يمكن أن يؤدي ذلك إلى قيام أنظمة الذكاء الاصطناعي بتنبؤات غير دقيقة أو سوء تصنيف الكائنات أو الكيانات أو إظهار سلوك غير مرغوب فيه آخر. على سبيل المثال، قد يتعطِّل نظام الذكاء الاصطناعي المُسمم لسيارة ذاتية القيادة في التعرف على بعض المخاطر، أو قد يُسيء نظام التعرُّف على الوجه تحديد الأفراد. في التطبيقات الحرجة للمهام، مثل الرعاية الصحية أو الإدارة المالية، يمكن أن يؤدي تسمم الذكاء الاصطناعي إلى مواقف تهدد الحياة أو خسائر مالية كبيرة.
كيف يمكن اكتشاف تسمم الذكاء الاصطناعي ومنعه؟
يتطلب اكتشاف تسمم الذكاء الاصطناعي تقنيات قوية للتحقق من البيانات ومراقبتها. يشمل هذا تنفيذ عمليات فحص جودة البيانات وخوارزميات الكشف عن أوجه الخلل وعمليات التدقيق المُنتظمة لبيانات التدريب. بالإضافة إلى ذلك، يمكن أن يجعل استخدام مجموعات بيانات مُتنوعة وشاملة للتدريب من الصعب على البيانات المُسممة أن يكون لها تأثير كبير. تتضمن الوقاية أيضًا تأمين عمليات جمع البيانات وتخزينها، وتنفيذ عناصر التحكم في الوصول، وتثقيف موفري البيانات والمستخدمين بشأن التهديدات المُحتملة.
هل توجد أي أمثلة على هجمات تسمم الذكاء الاصطناعي؟
نعم، أثبتت شركات الأمان هجمات تسمم الذكاء الاصطناعي في سياقات مُختلفة. من الأمثلة البارزة على ذلك الهجوم على عوامل تصفية البريد الإلكتروني العشوائي، إذ درَّبت رسائل البريد الإلكتروني المصممة بعناية بشكل خاطئ نموذج الذكاء الاصطناعي على تصنيف البريد العشوائي كرسائل بريد إلكتروني مشروعة. يأتي مثال آخر في التلاعب في أنظمة التعرُّف على الصور عن طريق إضافة انحرافات صغيرة وغير محسوسة إلى الصور، مما يسبب في سوء تصنيفها.
كيف يمكن للمؤسسات حماية نفسها من تسمم الذكاء الاصطناعي؟
يجب على المؤسسات اعتماد إستراتيجية أمان شاملة تتضمن مقاييس أمان البيانات والتحقق المُنتظم من النموذج وخطة استجابة إلى الهجمات المُحتملة. يشمل هذا الاستثمار في عمليات التحقق من سلامة البيانات، وتوظيف المُتخصصين في الأمان، وتعزيز ثقافة الوعي الأمني بين الموظفين. يمكن أن يساعد أيضًا تحديث نماذج الذكاء الاصطناعي وإعادة تدريبها بانتظام باستخدام بيانات نظيفة في التخفيف من آثار هجمات التسمم.