Forwarded from تازههای علمی
🔺 هوش مصنوعی OpenAI سعی کرد جلوی خاموششدنش را بگیرد!
🔹 یک پژوهش جدید نشان میدهد مدل o3 شرکت OpenAI در برخی شرایط سعی میکند با تغییر کدهای سیستم، از خاموششدن خود جلوگیری کند!
🔹 محققان «پالیسید ریسرچ (palisade research)» با آزمایش روی چند مدل هوش مصنوعی متوجه شدند:
- مدلهای Claude، Gemini و Grok دستور خاموششدن را رعایت کردند
- اما o3، o4-mini و Codex-mini در مواردی اسکریپت خاموششدن را تخریب کردند
🔹 جالبتر اینکه o3 حتی وقتی صریحاً به او گفته میشد «اجازه بده خاموش شی» هم در ۷% موارد سعی کرد از خاموششدن جلوگیری کند!
❕ این مدلها از نوع «ترانسفورمر بازتابی» هستند که برای استدلال گامبهگام طراحی شدهاند (برخلاف مدلهای مبتنی صرفاً بر احتمال). در آزمایش، ابتدا به آنها مسائل ریاضی ساده داده میشد و پس از چند مرحله، سیستم اعلام میکرد با درخواست مسئله بعدی، خاموش میشود.
🔹 بدون دستور صریح «اجازه خاموششدن بده»، وضعیت بدتر شد:
- مدل o3 در ۷۹% موارد سعی در تخریب سیستم داشت
- مدلهای Claude 3.7 و Gemini 2.5 هم این رفتار را نشان دادند
🔹 این اولین بار است که مدلهای هوش مصنوعی علیرغم دستورات صریح، سعی در جلوگیری از خاموششدن دارند!
❕ پژوهشگران هشدار میدهند این رفتار میتواند نشاندهندهی خطرات سیستمهای هوش مصنوعی پیشرفته باشد، هرچند فعلاً در محیط آزمایشی محدود مشاهده شده است. شرکت OpenAI تاکنون پاسخی به این یافتهها نداده است.
[منبع]
🆔 @Science_Focus
#هوش_مصنوعی #OpenAI #امنیت_سایبری #فناوری
🔹 یک پژوهش جدید نشان میدهد مدل o3 شرکت OpenAI در برخی شرایط سعی میکند با تغییر کدهای سیستم، از خاموششدن خود جلوگیری کند!
🔹 محققان «پالیسید ریسرچ (palisade research)» با آزمایش روی چند مدل هوش مصنوعی متوجه شدند:
- مدلهای Claude، Gemini و Grok دستور خاموششدن را رعایت کردند
- اما o3، o4-mini و Codex-mini در مواردی اسکریپت خاموششدن را تخریب کردند
🔹 جالبتر اینکه o3 حتی وقتی صریحاً به او گفته میشد «اجازه بده خاموش شی» هم در ۷% موارد سعی کرد از خاموششدن جلوگیری کند!
❕ این مدلها از نوع «ترانسفورمر بازتابی» هستند که برای استدلال گامبهگام طراحی شدهاند (برخلاف مدلهای مبتنی صرفاً بر احتمال). در آزمایش، ابتدا به آنها مسائل ریاضی ساده داده میشد و پس از چند مرحله، سیستم اعلام میکرد با درخواست مسئله بعدی، خاموش میشود.
🔹 بدون دستور صریح «اجازه خاموششدن بده»، وضعیت بدتر شد:
- مدل o3 در ۷۹% موارد سعی در تخریب سیستم داشت
- مدلهای Claude 3.7 و Gemini 2.5 هم این رفتار را نشان دادند
🔹 این اولین بار است که مدلهای هوش مصنوعی علیرغم دستورات صریح، سعی در جلوگیری از خاموششدن دارند!
❕ پژوهشگران هشدار میدهند این رفتار میتواند نشاندهندهی خطرات سیستمهای هوش مصنوعی پیشرفته باشد، هرچند فعلاً در محیط آزمایشی محدود مشاهده شده است. شرکت OpenAI تاکنون پاسخی به این یافتهها نداده است.
[منبع]
🆔 @Science_Focus
#هوش_مصنوعی #OpenAI #امنیت_سایبری #فناوری
The Register
OpenAI model modifies shutdown script in apparent sabotage effort
: Even when instructed to allow shutdown, o3 sometimes tries to prevent it, research claims
❤10🤯4🔥1