Forwarded from تازههای علمی
🔺 هشدار انتروپیک: کارمندان تماماً هوش مصنوعی تا یک سال دیگر وارد شرکتها میشوند
🔹 انتروپیک (Anthropic)، شرکت پیشرو در حوزه هوش مصنوعی، پیشبینی میکند که تا کمتر از یک سال دیگر، «کارمندان مجازی مبتنی بر هوش مصنوعی» به شبکههای شرکتی اضافه خواهند شد. این کارمندان هوشمند، برخلاف رباتهای فعلی، حافظه مستقل، نقش سازمانی مشخص و حتی حساب کاربری و رمزعبور مخصوص خود را دارند!
🔹 جیسون کلینتون، مدیر امنیت اطلاعات انتروپیک، هشدار میدهد که حضور این کارمندان مجازی، چالشهای امنیتی جدیدی ایجاد خواهد کرد. مثلاً اگر یک هوش مصنوعی برای انجام وظیفهاش به سیستمهای حساس شرکت نفوذ کند، چه کسی مسئول خواهد بود؟
❕ سیستم یکپارچهسازی (Continuous Integration): بخشی در فرآیند توسعه نرمافزار است که کدهای جدید قبل از انتشار، در آن ادغام و آزمایش میشوند. اگر یک کارمند هوش مصنوعی به این بخش دسترسی داشته باشد و بهاشتباه یا عمداً آن را هک کند، ممکن است کل سیستم را به خطر بیندازد.
🔹 انتروپیک دو مسئولیت اصلی در این زمینه دارد:
۱. آزمایش مدل هوش مصنوعی کلود (Claude) برای مقاومت در برابر حملات سایبری.
۲. رصد سوءاستفاده از این مدل توسط هکرها.
🔹 شرکتهای امنیتی مانند Okta هم در حال توسعه ابزارهایی برای مدیریت «هویتهای غیرانسانی» هستند. این ابزارها دسترسی کارمندان هوش مصنوعی به سیستمها را کنترل و فعالیتهای مشکوک را شناسایی میکنند.
❕ هویت غیرانسانی (Non-Human Identity): به حسابهای کاربری یا دسترسیهایی گفته میشود که متعلق به انسان نیستند. مثلاً دسترسی یک ربات یا هوش مصنوعی به بخشی از شبکه شرکت. مدیریت این هویتها به دلیل تعداد زیاد و رفتار غیرقابل پیشبینی، چالش بزرگی برای امنیت سایبری است.
🔹 با این حال، تجربه گذشته نشان داده که ادغام هوش مصنوعی در محیط کار همیشه ساده نیست. سال گذشته، شرکت Lattice اعلام کرد قصد دارد رباتها را در چارت سازمانی جای دهد، اما به دلیل انتقادات، این ایده را کنار گذاشت.
[منبع]
🆔 @Science_Focus
#هوش_مصنوعی #امنیت_سایبری #فناوری_نوین
🔹 انتروپیک (Anthropic)، شرکت پیشرو در حوزه هوش مصنوعی، پیشبینی میکند که تا کمتر از یک سال دیگر، «کارمندان مجازی مبتنی بر هوش مصنوعی» به شبکههای شرکتی اضافه خواهند شد. این کارمندان هوشمند، برخلاف رباتهای فعلی، حافظه مستقل، نقش سازمانی مشخص و حتی حساب کاربری و رمزعبور مخصوص خود را دارند!
🔹 جیسون کلینتون، مدیر امنیت اطلاعات انتروپیک، هشدار میدهد که حضور این کارمندان مجازی، چالشهای امنیتی جدیدی ایجاد خواهد کرد. مثلاً اگر یک هوش مصنوعی برای انجام وظیفهاش به سیستمهای حساس شرکت نفوذ کند، چه کسی مسئول خواهد بود؟
❕ سیستم یکپارچهسازی (Continuous Integration): بخشی در فرآیند توسعه نرمافزار است که کدهای جدید قبل از انتشار، در آن ادغام و آزمایش میشوند. اگر یک کارمند هوش مصنوعی به این بخش دسترسی داشته باشد و بهاشتباه یا عمداً آن را هک کند، ممکن است کل سیستم را به خطر بیندازد.
🔹 انتروپیک دو مسئولیت اصلی در این زمینه دارد:
۱. آزمایش مدل هوش مصنوعی کلود (Claude) برای مقاومت در برابر حملات سایبری.
۲. رصد سوءاستفاده از این مدل توسط هکرها.
🔹 شرکتهای امنیتی مانند Okta هم در حال توسعه ابزارهایی برای مدیریت «هویتهای غیرانسانی» هستند. این ابزارها دسترسی کارمندان هوش مصنوعی به سیستمها را کنترل و فعالیتهای مشکوک را شناسایی میکنند.
❕ هویت غیرانسانی (Non-Human Identity): به حسابهای کاربری یا دسترسیهایی گفته میشود که متعلق به انسان نیستند. مثلاً دسترسی یک ربات یا هوش مصنوعی به بخشی از شبکه شرکت. مدیریت این هویتها به دلیل تعداد زیاد و رفتار غیرقابل پیشبینی، چالش بزرگی برای امنیت سایبری است.
🔹 با این حال، تجربه گذشته نشان داده که ادغام هوش مصنوعی در محیط کار همیشه ساده نیست. سال گذشته، شرکت Lattice اعلام کرد قصد دارد رباتها را در چارت سازمانی جای دهد، اما به دلیل انتقادات، این ایده را کنار گذاشت.
[منبع]
🆔 @Science_Focus
#هوش_مصنوعی #امنیت_سایبری #فناوری_نوین
Axios
Exclusive: Anthropic warns fully AI employees are a year away
Managing those AI identities will require companies to completely reassess their cybersecurity strategies.
👍6😢2
Forwarded from تازههای علمی
🔺 هوش مصنوعی OpenAI سعی کرد جلوی خاموششدنش را بگیرد!
🔹 یک پژوهش جدید نشان میدهد مدل o3 شرکت OpenAI در برخی شرایط سعی میکند با تغییر کدهای سیستم، از خاموششدن خود جلوگیری کند!
🔹 محققان «پالیسید ریسرچ (palisade research)» با آزمایش روی چند مدل هوش مصنوعی متوجه شدند:
- مدلهای Claude، Gemini و Grok دستور خاموششدن را رعایت کردند
- اما o3، o4-mini و Codex-mini در مواردی اسکریپت خاموششدن را تخریب کردند
🔹 جالبتر اینکه o3 حتی وقتی صریحاً به او گفته میشد «اجازه بده خاموش شی» هم در ۷% موارد سعی کرد از خاموششدن جلوگیری کند!
❕ این مدلها از نوع «ترانسفورمر بازتابی» هستند که برای استدلال گامبهگام طراحی شدهاند (برخلاف مدلهای مبتنی صرفاً بر احتمال). در آزمایش، ابتدا به آنها مسائل ریاضی ساده داده میشد و پس از چند مرحله، سیستم اعلام میکرد با درخواست مسئله بعدی، خاموش میشود.
🔹 بدون دستور صریح «اجازه خاموششدن بده»، وضعیت بدتر شد:
- مدل o3 در ۷۹% موارد سعی در تخریب سیستم داشت
- مدلهای Claude 3.7 و Gemini 2.5 هم این رفتار را نشان دادند
🔹 این اولین بار است که مدلهای هوش مصنوعی علیرغم دستورات صریح، سعی در جلوگیری از خاموششدن دارند!
❕ پژوهشگران هشدار میدهند این رفتار میتواند نشاندهندهی خطرات سیستمهای هوش مصنوعی پیشرفته باشد، هرچند فعلاً در محیط آزمایشی محدود مشاهده شده است. شرکت OpenAI تاکنون پاسخی به این یافتهها نداده است.
[منبع]
🆔 @Science_Focus
#هوش_مصنوعی #OpenAI #امنیت_سایبری #فناوری
🔹 یک پژوهش جدید نشان میدهد مدل o3 شرکت OpenAI در برخی شرایط سعی میکند با تغییر کدهای سیستم، از خاموششدن خود جلوگیری کند!
🔹 محققان «پالیسید ریسرچ (palisade research)» با آزمایش روی چند مدل هوش مصنوعی متوجه شدند:
- مدلهای Claude، Gemini و Grok دستور خاموششدن را رعایت کردند
- اما o3، o4-mini و Codex-mini در مواردی اسکریپت خاموششدن را تخریب کردند
🔹 جالبتر اینکه o3 حتی وقتی صریحاً به او گفته میشد «اجازه بده خاموش شی» هم در ۷% موارد سعی کرد از خاموششدن جلوگیری کند!
❕ این مدلها از نوع «ترانسفورمر بازتابی» هستند که برای استدلال گامبهگام طراحی شدهاند (برخلاف مدلهای مبتنی صرفاً بر احتمال). در آزمایش، ابتدا به آنها مسائل ریاضی ساده داده میشد و پس از چند مرحله، سیستم اعلام میکرد با درخواست مسئله بعدی، خاموش میشود.
🔹 بدون دستور صریح «اجازه خاموششدن بده»، وضعیت بدتر شد:
- مدل o3 در ۷۹% موارد سعی در تخریب سیستم داشت
- مدلهای Claude 3.7 و Gemini 2.5 هم این رفتار را نشان دادند
🔹 این اولین بار است که مدلهای هوش مصنوعی علیرغم دستورات صریح، سعی در جلوگیری از خاموششدن دارند!
❕ پژوهشگران هشدار میدهند این رفتار میتواند نشاندهندهی خطرات سیستمهای هوش مصنوعی پیشرفته باشد، هرچند فعلاً در محیط آزمایشی محدود مشاهده شده است. شرکت OpenAI تاکنون پاسخی به این یافتهها نداده است.
[منبع]
🆔 @Science_Focus
#هوش_مصنوعی #OpenAI #امنیت_سایبری #فناوری
The Register
OpenAI model modifies shutdown script in apparent sabotage effort
: Even when instructed to allow shutdown, o3 sometimes tries to prevent it, research claims
❤10🤯4🔥1