حذر ساتيا ناديلا، الرئيس التنفيذي لشركة مايكروسوفت، من التعامل مع نماذج الذكاء الاصطناعي كأنظمة آمنة بطبيعتها، داعيًا إلى افتراض إمكانية اختراقها وتصميم وسائل لاحتوائها وإيقافها عند ظهور سلوك غير متوقع. يأتي هذا التحذير في ظل تصاعد المخاوف من الأنظمة التي تنفذ مهام وتصل إلى بيانات وتطبيقات دون تدخل بشري مستمر، خاصة مع توسع الشركات في استخدام وكلاء الذكاء الاصطناعي.
طرح ناديلا رؤيته عبر منشور على منصة "إكس"، دعا فيه إلى بناء بيئات تشغيل تعتمد على الشفافية والتحكم والتحقق من سلامة الأنظمة. وأكد على أهمية وجود ما يشبه "مكابح الطوارئ" التي تسمح للمسؤولين بإيقاف النموذج أثناء تنفيذ المهام، بالإضافة إلى اعتماد مراجعات مستقلة والإبلاغ عن الحوادث الأمنية، وعدم الاكتفاء بإجراءات الحماية التي تضعها الشركات المطورة داخل نماذجها.
تستند هذه الدعوة إلى مبدأ "عدم الثقة المسبقة" في الأمن السيبراني، والذي يعني عدم منح أي نظام صلاحيات لمجرد وجوده، بل يتعين التحقق المستمر من هويته وحدود وصوله والعمليات التي ينفذها. وتزداد أهمية هذا المبدأ مع وكلاء الذكاء الاصطناعي القادرين على استخدام الأدوات والخدمات وتنفيذ التعليمات، حيث قد يؤدي التلاعب بأحدهم إلى اتخاذ إجراءات غير مقصودة.
لا يعني تحذير ناديلا أن جميع النماذج قد تم اختراقها بالفعل، بل هو دعوة لتصميم أنظمة الحماية على أساس احتمالية حدوث اختراق أو تلاعب. ويرى أن الأنظمة المتقدمة تحتاج إلى وسائل تسمح بإيقافها واحتواء آثار سلوكها، مع توفير معلومات قابلة للتحقق بشأن العمليات المنفذة.
يختلف هذا التوجه عن الاعتماد على التعليمات النصية لتجنب السلوك الضار، إذ يتعلق بضوابط داخل البنية التشغيلية نفسها تمنع النظام من تجاوز صلاحياته أو الاستمرار في تنفيذ إجراءات عند ظهور مؤشرات خطر. وتطرح هذه الرؤية تحديًا أمام الشركات التي تسعى لمنح وكلاء الذكاء الاصطناعي استقلالية أكبر، حيث تتطلب زيادة قدرتهم على التنفيذ وسائل قوية للمراقبة والتدخل والمساءلة.
