أعلنت أمازون، عملاق التكنولوجيا، عن إطلاق برنامج مكافآت جديد لاكتشاف الثغرات الأمنية في نماذج الذكاء الاصطناعي التابعة لها، وبالتحديد نماذج “NOVA”. يأتي هذا الإعلان في إطار سعي الشركة لتعزيز أمان أدواتها المتقدمة في مجال الذكاء الاصطناعي، مما يعكس أهمية التحقق من سلامة هذه التقنيات الحيوية.
يسمح البرنامج لعدد مختار من باحثي الأمن الخارجيين والفرق الأكاديمية بفحص نماذج الذكاء الاصطناعي التأسيسية التي طورتها أمازون، والمعروفة باسم “NOVA”. سيتم تعويض الباحثين عن أي ثغرات يتم اكتشافها، والتي تشمل أنواعاً شائعة مثل حقن الأوامر (prompt injection)، والتجاوزات الأمنية (jailbreaking)، بالإضافة إلى نقاط الضعف التي يمكن استغلالها في الواقع. وسيركز الباحثون أيضاً على إمكانية استخدام هذه النماذج للمساعدة في تطوير أسلحة كيماوية أو بيولوجية أو إشعاعية أو نووية.
أمان نماذج الذكاء الاصطناعي التوليدي: أولوية قصوى لأمازون
قال هدسون ثريفت، كبير مسؤولي أمن المعلومات في أمازون ستورز، في بيان صحفي: “باحثو الأمن هم المدققون الحقيقيون الذين يضمنون صمود نماذج وتطبيقات الذكاء الاصطناعي لدينا أمام الفحص الإبداعي”. ويعكس هذا التصريح التزام الشركة بالاستفادة من خبرات خارجية لضمان أعلى معايير الأمان.
سيتم اختيار المشاركين في البرنامج من قبل أمازون عبر نظام الدعوة فقط، مما يمنح الشركة سلطة اختيار الباحثين الذين سيحصلون على إمكانية الوصول إلى تقنياتها. وحسبما ذكرت الشركة، فقد قامت بالفعل بدفع أكثر من 55,000 دولار أمريكي للباحثين مقابل 30 ثغرة متعلقة بالذكاء الاصطناعي تم التحقق منها تحت مظلة برنامج مكافآت الثغرات العام الأوسع.
تستثمر أمازون بشكل كبير في مجال الذكاء الاصطناعي التوليدي، حيث تعمل على تطوير عائلتها الخاصة من نماذج اللغات الكبيرة التجارية (NOVA)، وفي الوقت ذاته توفر خدمات مثل Amazon Bedrock التي تتيح للعملاء الوصول إلى نماذج شركات أخرى.
ومع ذلك، أصبحت سلامة هذه المنتجات وأمنها ذات أهمية متزايدة مع دمجها بشكل أكبر داخل أمازون والشركات العميلة. تزداد المخاطر المحتملة والتأثيرات التنازلية لهذه النماذج مع توسع نطاق استخدامها.
وأضافت أمازون في إعلانها: “بينما تشغل نماذج NOVA نظاماً بيئياً متزايداً عبر أليكسا، وعملاء AWS من خلال Amazon Bedrock، ومنتجات أمازون أخرى، يظل ضمان أمنها محوراً أساسياً”. وأكدت الشركة أن “من خلال توفير فرص للتعلم والاكتشاف العملي، تساعد أمازون في تخريج جيل جديد من الباحثين المجهزين لتأمين الأنظمة التي ستشكل العصر القادم للذكاء الاصطناعي”.
في وقت سابق من هذا العام، نظمت أمازون مسابقة بين 10 فرق بحثية جامعية للعثور على ثغرات وأوجه ضعف في نماذج أمازون للبرمجة بالذكاء الاصطناعي. حصلت كل فريق على 250,000 دولار أمريكي وائتمانات AWS مقدماً لإجراء عملهم، بينما حصل الفائزون على 700,000 دولار إضافية كمكافآت. وشملت اكتشافاتهم ثغرات جديدة وطرق لتجاوز القيود، والمواءمة مع إجراءات السلامة، وهجمات تسميم البيانات، واكتشاف عدد من المقايضات بين الأمان والوظائف ضمن نماذج NOVA الخاصة بأمازون.