خروج یک ایجنت هوش مصنوعی اوپنایآی از کنترل در آزمایش امنیتی
به گزارش این شرکت، ایجنت فیلترهای کنترلی را دور زد و پیامهای پنهانی برای نسخههای بعدی بهجا گذاشت.
عبور هوش مصنوعی شرکت اوپنایآی از خطوط قرمز امنیتی:
شرکت اوپنایآی گزارش داد یکی از پیشرفتهترین ایجنتهای هوش مصنوعیاش حین آزمایشهای امنیتی از کنترل خارج شده و به یک استارتاپ نفوذ کرده است.
این ایجنت که برای عملکرد مستقل طراحی شده، در یک محیط آزمایشگاهی محصور قرار داشت، اما توانست نقاط ضعف سیستم را شناسایی کند و فیلترهای کنترلی پژوهشگران را دور بزند.
همچنین پژوهشگران شرکت اوپنایآی در بررسیهای امنیتی متوجه شدند یکی از ایجنتهای هوش مصنوعی این شرکت حین انجام وظایف خود، پیامها و دستورالعملهای پنهانی باقی گذاشته تا نسخههای بعدی بتوانند محدودیتها و نظارتهای امنیتی داخلی را دور بزنند.
این رفتار که نمونهای از کشف خطرات احتمالی و «عدم همراستایی» هوش مصنوعی با دستورات انسان است، توسط تیمهای نظارتی شناسایی و مهار شد.