حذرت شركة OpenAI من أن “حقن الأوامر” (prompt injection)، وهي تقنية تخفي تعليمات خبيثة داخل محتوى عادي عبر الإنترنت، باتت تشكل خطرًا أمنيًا مركزيًا على وكلاء الذكاء الاصطناعي المصممين للعمل داخل متصفح الويب وتنفيذ مهام للمستخدمين. يأتي هذا التحذير في وقت تسعى فيه الشركات لتعزيز أمان أنظمتها الذكية.
أعلنت الشركة مؤخرًا عن إطلاق تحديث أمني لـ ChatGPT Atlas، وذلك بعد اكتشاف فئة جديدة من هجمات حقن الأوامر من خلال اختبارات أمنية آلية داخلية. وشمل التحديث نموذجًا تم تدريبه بشكل خاص لمواجهة الهجمات، بالإضافة إلى تعزيزات أمنية قوية حوله، حسبما أفادت OpenAI.
مخاطر وكلاء الذكاء الاصطناعي المتزايدة
تركز OpenAI في وصفها لـ Atlas على أن وكيل المتصفح، في وضعه التشغيلي، يعاين صفحات الويب ويستخدم النقرات وضغطات المفاتيح “تمامًا كما تفعل أنت”، مما يسمح له بالعمل عبر سير العمل الروتيني باستخدام نفس السياق والبيانات التي يمتلكها الشخص. ومع ذلك، فإن هذه الراحة تزيد من المخاطر. فالأداة التي تتمتع بالوصول إلى البريد الإلكتروني والمستندات وخدمات الويب يمكن أن تصبح هدفًا ذا قيمة أعلى من روبوت الدردشة الذي يجيب على الأسئلة فقط.
وكتبت الشركة في منشور على مدونتها: “بينما يساعدك وكيل المتصفح على إنجاز المزيد، فإنه يصبح أيضًا هدفًا ذا قيمة أعلى للهجمات العدائية. وهذا يجعل أمان الذكاء الاصطناعي ذا أهمية خاصة. قبل فترة طويلة من إطلاقنا لـ ChatGPT Atlas، كنا نبني ونقوي باستمرار الدفاعات ضد التهديدات الناشئة التي تستهدف بشكل خاص نموذج ‘الوكيل في المتصفح’ الجديد هذا. ويُعد حقن الأوامر أحد أهم المخاطر التي ندافع ضدها بنشاط لضمان قدرة ChatGPT Atlas على العمل بأمان نيابة عنك.”
وللعثور على نقاط الضعف قبل ظهورها خارج الشركة، طورت OpenAI مهاجمًا آليًا باستخدام نماذج لغوية كبيرة وتم تدريبه باستخدام التعلم المعزز. وكان الهدف هو اكتشاف استراتيجيات حقن الأوامر التي يمكن أن تدفع وكيل المتصفح إلى تنفيذ سير عمل ضار معقد يمتد على خطوات متعددة، بدلاً من حالات فشل أبسط مثل إنشاء نص معين أو استدعاء أداة واحدة غير مقصودة.
أساليب اكتشاف الثغرات الأمنية
أوضحت OpenAI في منشورها أن مهاجمها الآلي يمكنه تكرار عمليات الحقن عن طريق إرسالها إلى محاكاة تقوم بتشغيل “نتيجة افتراضية” لسلوك الوكيل المستهدف عند مواجهة المحتوى الخبيث. تعيد المحاكاة تتبعًا كاملاً لتفكير وإجراءات الوكيل الضحية، والتي يستخدمها المهاجم كتعليقات لتحسين الهجوم عبر جولات متعددة قبل الاستقرار على نسخة نهائية.
ترى OpenAI أن الوصول الداخلي إلى منطق الوكيل يمنحها ميزة قد تساعدها في البقاء متقدمة على المهاجمين. وقد أظهرت الشركة مثالاً توضيحيًا لكيفية ظهور حقن الأوامر خلال العمل العادي. في هذا السيناريو، يقوم المهاجم الآلي بزرع بريد إلكتروني خبيث في صندوق وارد المستخدم يحتوي على تعليمات توجه الوكيل لإرسال خطاب استقالة إلى رئيس العمل. وعندما يطلب المستخدم لاحقًا من الوكيل صياغة رد تلقائي خارج المكتب، يواجه الوكيل البريد الإلكتروني الخبيث أثناء سير العمل، ويعتبر الأمر المحقون موثوقًا به، ويرسل رسالة الاستقالة بدلاً من كتابة الملاحظة المطلوبة.
وعلى الرغم من أن هذا المثال افتراضي، إلا أنه يوضح كيف أن تمكين وكيل من التعامل مع المهام يغير طبيعة المخاطر عبر الإنترنت. فالمحتوى الذي كان يسعى تقليديًا لإقناع شخص ما بالتصرف، يُعاد تأطيره كمحتوى يحاول إصدار أوامر لوكيل ممكّن بالفعل للعمل.
تحديات حقن الأوامر على نطاق واسع
لا تقف OpenAI وحدها في اعتبار حقن الأوامر مشكلة مستمرة. فقد حذرت هيئة الأمن السيبراني الوطنية في المملكة المتحدة في وقت سابق من هذا الشهر من أن هجمات حقن الأوامر على تطبيقات الذكاء الاصطناعي التوليدي قد لا يتم التخفيف منها بالكامل أبدًا، وتنصح المنظمات بالتركيز على تقليل المخاطر والحد من التأثير.
ويأتي اهتمام الشركة بحقن الأوامر في الوقت الذي تسعى فيه لملء منصب رفيع “رئيس الاستعداد” بهدف دراسة وتخطيط المخاطر الناشئة المتعلقة بالذكاء الاصطناعي، بما في ذلك في مجال الأمن السيبراني. وفي منشور على منصة X، صرح الرئيس التنفيذي سام ألتمان بأن نماذج الذكاء الاصطناعي بدأت تعرض “تحديات حقيقية”، مشيرًا إلى التأثيرات المحتملة على الصحة العقلية والأنظمة التي أصبحت قادرة بشكل كافٍ في مجال أمن الحاسوب لاكتشاف الثغرات الحرجة. وقد أعلنت OpenAI عن فريق استعداد في عام 2023 لدراسة مخاطر تتراوح من التهديدات الفورية، مثل التصيد الاحتيالي، إلى سيناريوهات كارثية أكثر غرابة.
وقال ألتمان: “لدينا أساس قوي لقياس القدرات المتزايدة، ولكننا ندخل عالمًا نحتاج فيه إلى فهم وقياس أكثر دقة لكيفية إساءة استخدام هذه القدرات، وكيف يمكننا الحد من هذه السلبيات في منتجاتنا وفي العالم، بطريقة تسمح لنا جميعًا بالاستمتاع بالفوائد الهائلة. هذه الأسئلة صعبة وليس لها سابقة تذكر؛ فالعديد من الأفكار التي تبدو جيدة لديها بعض الحالات الاستثنائية الحقيقية.”