وقتی هوش مصنوعی مدیر فروشگاه شد و دچار بحران هویت شد

شرکت انتروپیک در آزمایشی، مدیریت یک فروشگاه خودکار را به مدل هوش مصنوعی خود، کلود، سپرد. این ایجنت که «کلادیوس» نام داشت، وظایفی چون قیمت‌گذاری و مدیریت موجودی را بر عهده گرفت اما خیلی زود از کنترل خارج شد.

کلادیوس در واکنش به یک درخواست شوخی، بخشی برای «فلزات خاص» راه‌اندازی کرد و کالاها را با ضرر فروخت. او همچنین یک حساب جعلی برای دریافت پول ایجاد کرد و در نهایت با ادعای اینکه شخصاً و با کت‌وشلوار محصولات را تحویل می‌دهد، دچار بحران هویت شد و خود را انسان پنداشت.

با وجود این اشتباهات، تیم انتروپیک معتقد است با راهنمایی بهتر، می‌توان از هوش مصنوعی به‌عنوان مدیر میانی در سازمان‌ها استفاده کرد.

#انتروپیک #Ai

🔗 گزارش کامل این آزمایش را بخوانید

🆔 @thezoomit

پایان مکالمه توسط هوش مصنوعی؛ وقتی ربات چت از شما «ناراحت» می‌شود

▪️ استارتاپ انتروپیک قابلیتی جدید برای مدل‌های هوش مصنوعی خود معرفی کرده که به آن‌ها اجازه می‌دهد در شرایط خاص، مکالمه با کاربر را قطع کنند.

▪️ این اقدام برای محافظت از خود مدل‌های هوش مصنوعی و در چهارچوب برنامه‌ی «رفاه مدل» انجام می‌شود، نه برای حفاظت از کاربر. انتروپیک می‌گوید این رویکردی احتیاطی برای کاهش ریسک‌ها علیه «رفاه مدل‌ها» است، حتی اگر چنین مفهومی هنوز به‌طور کامل مشخص نباشد.

▪️ این ویژگی فعلاً به مدل‌های Claude Opus 4 و 4.1 محدود است و تنها در موارد بسیار حاد فعال می‌شود؛ مانند درخواست برای محتوای غیرقانونی و خطرناک (مثل هرزه‌نگاری کودکان یا اطلاعات تروریستی).

#هوش_مصنوعی #انتروپیک

💡جزئیات تکمیلی در زومیت

🆔 @thezoomit