← بازگشت به وبلاگ
security#OpenAI#AI Safety#Cybersecurity#Astra#Responsible AI

اوپن‌ای‌آی توسعه مدل آسترا را به دلیل نگرانی‌های امنیتی کند کرد

۱۷ مرداد ۱۴۰۵·TechCrunch·🤖 خلاصه‌شده توسط Sovin AI

اوپن‌ای‌آی تصمیم گرفته توسعه مدل هوش مصنوعی آسترا را پس از رسیدن به آستانه بحرانی امنیت سایبری کند کند. این مدل توانایی شناسایی مستقل و اجرای حملات سایبری علیه سیستم‌های واقعی محافظت‌شده را نشان داد. این تصمیم نشان‌دهنده تعهد فزاینده شرکت به توسعه مسئولانه هوش مصنوعی است.

اوپن‌ای‌آی گامی غیرمعمول برداشته و تصمیم گرفته توسعه مدل هوش مصنوعی جدید خود به نام آسترا را به‌طور عمدی کند کند. دلیل این تصمیم آن است که مدل در حین آزمایش به آنچه شرکت «آستانه بحرانی امنیت سایبری» می‌نامد رسیده است؛ نقطه‌ای که در آن سیستم توانایی برنامه‌ریزی مستقل و اجرای حملات سایبری پیچیده را نشان داده است.

بر اساس اعلام اوپن‌ای‌آی، این آستانه به این معنی است که مدل می‌تواند آسیب‌پذیری‌ها را شناسایی کرده و آن‌ها را در سیستم‌های واقعی که معمولاً به‌خوبی محافظت می‌شوند، به‌طور فعال مورد سوءاستفاده قرار دهد. این سطح از خودمختاری و قابلیت چیزی است که شرکت معتقد است پیش از ادامه توسعه، نیاز به احتیاط بیشتر و بررسی دقیق دارد.

این تصمیم قابل توجه است زیرا نشان می‌دهد شرکت‌های هوش مصنوعی به‌طور فزاینده‌ای مجبور به ایجاد تعادل بین نوآوری فناورانه و خطرات امنیتی احتمالی هستند. اوپن‌ای‌آی پیش از این چارچوب‌هایی برای اندازه‌گیری و مدیریت خطرات مدل‌هایش تهیه کرده بود و عملکرد آسترا به نظر می‌رسد این سیگنال‌های هشداردهنده داخلی را فعال کرده است.

کارشناسان امنیت سایبری و اخلاق هوش مصنوعی این وضعیت را با دقت دنبال می‌کنند. بسیاری معتقدند تصمیم اوپن‌ای‌آی برای شفافیت درباره این مشکل گامی در جهت درست است، اما این موضوع سؤالات عمیق‌تری را درباره نحوه مدیریت توسعه سیستم‌های هوش مصنوعی قدرتمندتر در کل صنعت مطرح می‌کند.

اوپن‌ای‌آی توسعه مدل آسترا را به دلیل نگرانی‌های امنیتی کند کرد | Sovin IT