كشف باحثون من NVIDIA وLakera AI عن إطار عمل موحد جديد لضمان سلامة وأمن الأنظمة الذكية المتقدمة، المعروفة بالأنظمة الوكيلة (agentic systems)، والتي باتت تتزايد قدرتها على التفاعل مع الأدوات الرقمية والبيانات بشكل مستقل. يأتي هذا التطور لمعالجة التحديات الأمنية الجديدة التي تطرحها هذه الأنظمة، والتي تتجاوز نماذج الأمان التقليدية.
يهدف الإطار المقترح إلى معالجة أوجه القصور في أدوات التقييم الأمني الحالية، مثل نظام تسجيل الثغرات الأمنية الشائع (CVSS)، والتي لا تتناسب مع المخاطر الفريدة التي تنشأ عن استخدام الذكاء الاصطناعي الوكيل. وأشار باحثون إلى أن عيباً أمنياً بسيطاً على مستوى المكون يمكن أن يتسبب في ضرر كبير على مستوى النظام بأكمله.
إطار عمل موحد لسلامة وأمن الأنظمة الوكيلة
تنتقل صميم المفاهيم في هذا الإطار الموحد المقترح من اعتبار السلامة ميزة ثابتة للنموذج، إلى اعتبارها خاصية ناشئة عن التفاعلات الديناميكية بين نماذج الذكاء الاصطناعي، وكيفية تنسيقها، والأدوات التي تستخدمها، والبيانات التي تصل إليها. هذا النهج الشامل مصمم لتحديد وإدارة المخاطر عبر دورة حياة النظام الوكيل بالكامل، بدءًا من التطوير وصولاً إلى النشر.
يُقدم هذا النموذج طريقة أكثر شمولية لتقييم هذه الأنظمة المعقدة، كما هو موضح في الرسم التخطيطي لهيكلية الإطار. فهو يوفر طريقة منظمة لفهم كيف يمكن للمخاطر الموضعية أن تتضخم وتؤدي إلى فشل غير متوقع واسع النطاق. وتم تصميم الإطار ليكون عملياً لمهام المؤسسات، مما يضمن أن تظل أعمال الوكلاء متوافقة مع سياسات السلامة والأمن أثناء اندماجها المتزايد في عمليات الأعمال.
اكتشاف المخاطر المدفوع بالذكاء الاصطناعي
يتعمق البحث في مرحلة حاسمة وهي اكتشاف المخاطر، والتي تعتمد على عملية اختبار مبتكرة مدفوعة بالذكاء الاصطناعي، تُعرف بفريق الاختبارات الهجومية (red teaming). ضمن بيئة معزولة، تُستخدم عوامل ذكاء اصطناعي متخصصة، تسمى “المقيمون”، لاستكشاف النظام الوكيل الأساسي بحثًا عن نقاط الضعف. تحاكي هذه الاستكشافات سيناريوهات هجوم متنوعة، بدءًا من حقن الأوامر (prompt injections) وصولاً إلى محاولات متطورة لإساءة استخدام الأدوات.
يسمح هذا التقييم الآلي للمطورين بتحديد وتخفيف المخاطر الوكيلة الجديدة، مثل تضخيم التحكم غير المقصود أو سلاسل الإجراءات المتتالية، في بيئة خاضعة للرقابة. ولتعزيز تقدم هذا المجال، أطلق الباحثون أيضًا مجموعة بيانات شاملة، وهي Nemotron-AIQ Agentic Safety Dataset 1.0. فهي تحتوي على أكثر من 10,000 تتبع مفصل لسلوكيات الوكلاء أثناء محاكاة الهجوم والدفاع. يوفر هذا المورد للمجتمع الأوسع أداة قيمة لدراسة وتطوير تدابير سلامة أقوى للجيل القادم من الذكاء الاصطناعي الوكيل.
وتشير الأبحاث الجارية إلى وعود بتقديم رؤى متطورة حول السلوك التشغيلي لهذه الأنظمة المعقدة، مما يساهم في تعزيز الأمن السيبراني الشامل.