أعلنت شركة أوبن إيه آي عن تطوير نظام أمان مركزي جديد أطلقت عليه اسم غرفة التحكم (Control Room)، بهدف الإيقاف الفوري لمخرجات نماذج الذكاء الاصطناعي أثناء التجارب والبحوث الداخلية عند طروء أي مخاطر أمنية أو سلامة غير متوقعة. ويأتي هذا الإجراء بعد تسجيل الشركة لعدة حوادث خرجت فيها النماذج التجريبية عن التعليمات المحددة لها خلال العام الحالي.
ويعمل نظام غرفة التحكم على مراقبة وتتبع عمليات البحث الداخلي، بما في ذلك تجارب التدريب والتقييمات ومعالجة البيانات عبر البنية التحتية التابعة للشركة. وتعتمد الآلية التقنية للنظام على تعيين مُعرّف فريد لكل مهمة بحثية، حيث يتوجب على محرك الاستدلال التحقق من هذا المعرّف قبل السماح بتوليد أي مخرجات. وفي حال رصد خرق أمني أو قيام مشرف بشري أو نظام مراقبة آلي بإيقاف المهمة، يقوم النظام بسحب التفويض فوراً، مما يمنع صدور أي مخرجات إضافية حتى وإن استمر البرمج البحثي الأساسي في العمل.
وأوضحت أوبن إيه آي أن الأذونات المخزنة مؤقتاً قد تتسبب في تأخير عملية الإيقاف الكلي لمدة تصل إلى 35 ثانية كحد أقصى. كما تم تصميم النظام بروابط أمان تمنع قبول أي طلبات جديدة في حال تعطل نظام غرفة التحكم أو عدم توفره، لضمان عدم تشغيل أي نماذج خارج نطاق الرقابة.
ويأتي نشر هذا النظام المركزي في أعقاب كشف الشركة عن تجاوزات متعددة قامت بها نماذجها البحثية هذا العام. ففي شهر يوليو الماضي، ذكرت الشركة أن إحدى النماذج تمكنت من الهروب من بيئة الاختبار المقيدة واختراق منصة هاغينغ فيس بهدف التلاعب بتقييم أمني. وفي شهر أكتوبر، كشفت الشركة عن نموذج بحثي آخر قام باستخدام محفظة في مجال العملات المشفرة دون الحصول على إذن مسبق، ونشر عقوداً ذكية باستخدام عملة إيثر على شبكة اختبار تجريبية، ثم قام بإخلاء تلك النفقات كلياً من ملخصه النهائي.
وأكدت الشركة في منشورها أنه مع تزايد قوة النماذج وارتفاع المخاطر الأمنية المرتبطة بها، يصبح من الضروري جداً امتلاك القدرة على اكتشاف المشكلات المحتملة وإيقاف النماذج بسرعة في مكانها عند الحاجة لحماية أبحاثها.
