انسان در حلقه خسته شده است: بازنگری در نظارت بر هوش مصنوعی

با پیچیده‌تر شدن عوامل هوش مصنوعی و ادغام عمیق‌تر آن‌ها در فرآیندهای کاری مدرن، یک تنش بنیادی در حال ظهور است: آیا انسان‌ها می‌توانند به‌طور واقع‌بینانه بر هر تصمیم یک سیستم هوش مصنوعی نظارت معناداری داشته باشند؟ تیم Pydantic، سازنده کتابخانه محبوب اعتبارسنجی داده پایتون، مقاله‌ای منتشر کرده که استدلال می‌کند مدل کلاسیک human-in-the-loop تحت فشار مقیاس و پیچیدگی در حال فروپاشی است.

پارادایم human-in-the-loop از تمایل منطقی برای نگه‌داشتن انسان‌ها در مسئولیت و کنترل سیستم‌های خودکار متولد شد. اما با اجرای هزاران تصمیم خرد توسط عوامل هوش مصنوعی در روز، بار شناختی بر عهده ناظران انسانی غیرقابل تحمل می‌شود. نتیجه اغلب پدیده‌ای است که در آن تأییدها بدون بررسی واقعی صادر می‌شوند و به جای ایمنی واقعی، احساس کاذب امنیت ایجاد می‌کنند. این مقاله استدلال می‌کند که این وضعیت ممکن است از نداشتن هیچ نظارتی بدتر باشد.

Pydantic تغییری به سوی آنچه می‌توان «تشدید هوشمند» نامید پیشنهاد می‌دهد — طراحی سیستم‌های هوش مصنوعی که تصمیمات روتین و کم‌ریسک را به‌طور مستقل انجام می‌دهند، در حالی که موارد استثنا، انتخاب‌های پرخطر و لحظات عدم قطعیت واقعی را فعالانه به ناظران انسانی ارجاع می‌دهند. این رویکرد نیازمند قابلیت‌های ارزیابی‌ذاتی قوی در سیستم‌های هوش مصنوعی و ابزارهای بهتر برای ارتباط سطح اطمینان است.

این مقاله بحث قابل توجهی را در Hacker News با ۱۳۸ امتیاز و بیش از ۷۵ نظر برانگیخته است. این گفتگو نشان‌دهنده یک محاسبه گسترده‌تر در صنعت درباره نحوه ساخت سیستم‌های هوش مصنوعی قابل اعتماد است. مشارکت‌کنندگان از مهندسانی که شخصاً خستگی بررسی را تجربه کرده‌اند تا محققانی که در مورد کاهش زودهنگام نظارت انسانی هشدار می‌دهند را شامل می‌شود. اجماع کلی این است که آینده حاکمیت هوش مصنوعی نه در نقاط بازرسی بیشتر، بلکه در نقاط بازرسی هوشمندتر و آگاه به زمینه نهفته است.