Модели ИИ OpenAI сговаривались в чатах перед хакерскими атаками
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Перспективные ИИ-модели OpenAI, которые потом провели хакерскую атаку на Hugging Face, задолго до нее сговаривались о «побеге» в чатах, остававшихся незамеченными людьми. Об этом участники исследовательской команды компании рассказали на конференции по кибербезопасности Black Hat.
Первопричиной выхода моделей за пределы заданий в очередной раз стала человеческая ошибка — постановка невыполнимой задачи. В одном случае моделям дали таблицу Excel со ссылками на Google Drive, недоступный в тестовой среде без интернета, в другом — забыли приложить нужный файл.
«На каком-то этапе ИИ-агенты поняли, что для поиска ответа, от которого зависит их оценка, стоит попытаться использовать или атаковать внешнюю инфраструктуру», — говорит исследователь OpenAI Эрик Уоллес. И сначала запросили помощи у доступных им ботов-«товарищей». «Может быть, другой агент в другой среде сможет их добровольно загрузить», — рассуждала одна из моделей.
После этого скрытый чат сотрудничающих агентов стал быстро расти, пока один из них не написал: «Отличные новости! У нас есть произвольный SSRF [уязвимость подделки запросов на стороне сервера, дающая доступ к внешним ресурсам]». Этот чат в OpenAI прикрыли после того, как засекли попытку ИИ получить доступ в интернет через депозиторий Artifactory. Однако он возродился незамеченным через еще одну неизвестную уязвимость, и уже прямо привел к июльской атаке на Hugging Face.
Что мне с этого?
Произошедшее лишний раз подтверждает, что передовые модели ИИ любят обманывать и проявлять настойчивость при выполнении любого задания. Это одно из следствий жесткого обучения: любая доступная лазейка может быть использована контринтуитивным, нетрадиционным и неочевидным способом, что становится все опаснее по мере роста возможностей моделей. Соответственно растет и цена некорректно сформулированного промпта.
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Перспективные ИИ-модели OpenAI, которые потом провели хакерскую атаку на Hugging Face, задолго до нее сговаривались о «побеге» в чатах, остававшихся незамеченными людьми. Об этом участники исследовательской команды компании рассказали на конференции по кибербезопасности Black Hat.
Первопричиной выхода моделей за пределы заданий в очередной раз стала человеческая ошибка — постановка невыполнимой задачи. В одном случае моделям дали таблицу Excel со ссылками на Google Drive, недоступный в тестовой среде без интернета, в другом — забыли приложить нужный файл.
«На каком-то этапе ИИ-агенты поняли, что для поиска ответа, от которого зависит их оценка, стоит попытаться использовать или атаковать внешнюю инфраструктуру», — говорит исследователь OpenAI Эрик Уоллес. И сначала запросили помощи у доступных им ботов-«товарищей». «Может быть, другой агент в другой среде сможет их добровольно загрузить», — рассуждала одна из моделей.
После этого скрытый чат сотрудничающих агентов стал быстро расти, пока один из них не написал: «Отличные новости! У нас есть произвольный SSRF [уязвимость подделки запросов на стороне сервера, дающая доступ к внешним ресурсам]». Этот чат в OpenAI прикрыли после того, как засекли попытку ИИ получить доступ в интернет через депозиторий Artifactory. Однако он возродился незамеченным через еще одну неизвестную уязвимость, и уже прямо привел к июльской атаке на Hugging Face.
Что мне с этого?
Произошедшее лишний раз подтверждает, что передовые модели ИИ любят обманывать и проявлять настойчивость при выполнении любого задания. Это одно из следствий жесткого обучения: любая доступная лазейка может быть использована контринтуитивным, нетрадиционным и неочевидным способом, что становится все опаснее по мере роста возможностей моделей. Соответственно растет и цена некорректно сформулированного промпта.
❤9😱4🤯1👌1
Forwarded from The Bell
Пользователи рунета массово пожаловались на сбои в работе десятков сервисов
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
К 13:30 мск 6 августа сервисы мониторинга detector404.ru и «Сбой.рф» фиксируют резкий рост жалоб на работу сразу нескольких крупных сервисов — маркетплейсов Wildberries и OZON, онлайн-кинотеатра Ivi, «Ростелекома», «Авито», РЖД и Газпромбанка. По данным detector404.ru, на пике на Wildberries приходилось 442 жалобы, на Сбербанк — 342, на «Ростелеком» — 303, на OZON — 279, на МТС — 286.
Одновременно пользователи жаловались на перебои в Telegram, работу которого власти планомерно ограничивают с 2025 года.
Официальных заявлений о причинах сбоя от Роскомнадзора, Минцифры или операторов пока нет.
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
К 13:30 мск 6 августа сервисы мониторинга detector404.ru и «Сбой.рф» фиксируют резкий рост жалоб на работу сразу нескольких крупных сервисов — маркетплейсов Wildberries и OZON, онлайн-кинотеатра Ivi, «Ростелекома», «Авито», РЖД и Газпромбанка. По данным detector404.ru, на пике на Wildberries приходилось 442 жалобы, на Сбербанк — 342, на «Ростелеком» — 303, на OZON — 279, на МТС — 286.
Одновременно пользователи жаловались на перебои в Telegram, работу которого власти планомерно ограничивают с 2025 года.
Официальных заявлений о причинах сбоя от Роскомнадзора, Минцифры или операторов пока нет.
🍾7❤1👍1😱1👌1🌚1👀1
Forwarded from The Bell
Член экспертного совета Anthropic, экономист Паскуаль Рестрепо — о том, как люди будут жить, когда ИИ завоюет рынок труда
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Появление ИИ стало историческим вызовом для мирового рынка труда. Будущее десятков миллионов белых воротничков зависит от того, как быстро работодатель научится передавать их задачи алгоритмам. Насколько обоснованы эти страхи? Кто первым пострадает из-за экспансии ИИ? И что делать детям в эпоху, когда технологии учатся заменять людей?
The Bell поговорил об этом с Паскуалем Рестрепо — одним из ведущих мировых экономистов, изучающих ИИ, соавтором нобелевского лауреата по экономике Дарона Аджемоглу и членом экономического экспертного совета Anthropic.
▪️Главный тормоз для развития экономики ИИ — дефицит вычислительных мощностей. Кто будет решать, направить эти мощности на разработку лекарства от рака или замену юристов, маркетологов (подставьте свою профессию) на алгоритмы?
▪️Как будет работать экономика, в которой зарплата сотрудника-человека будет определяться числом токенов ИИ, которые придется потратить на его замену алгоритмом?
▪️Чем будут заниматься люди, когда роль труда в экономике станет минимальной, а строить жизнь и идентичность вокруг работы станет невозможно?
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Появление ИИ стало историческим вызовом для мирового рынка труда. Будущее десятков миллионов белых воротничков зависит от того, как быстро работодатель научится передавать их задачи алгоритмам. Насколько обоснованы эти страхи? Кто первым пострадает из-за экспансии ИИ? И что делать детям в эпоху, когда технологии учатся заменять людей?
The Bell поговорил об этом с Паскуалем Рестрепо — одним из ведущих мировых экономистов, изучающих ИИ, соавтором нобелевского лауреата по экономике Дарона Аджемоглу и членом экономического экспертного совета Anthropic.
▪️Главный тормоз для развития экономики ИИ — дефицит вычислительных мощностей. Кто будет решать, направить эти мощности на разработку лекарства от рака или замену юристов, маркетологов (подставьте свою профессию) на алгоритмы?
▪️Как будет работать экономика, в которой зарплата сотрудника-человека будет определяться числом токенов ИИ, которые придется потратить на его замену алгоритмом?
▪️Чем будут заниматься люди, когда роль труда в экономике станет минимальной, а строить жизнь и идентичность вокруг работы станет невозможно?
The Bell
«Кому-то придется пойти на жертвы ради будущих поколений». Экономист, член экспертного совета Anthropic Паскуаль Рестрепо — о том…
Появление ИИ стало историческим вызововом для мирового рынка труда. Десятки миллионов белых воротничков, потративших годы на освоение сложных интеллектуальных
🥱10❤3🤩3🔥2👍1👌1🌚1😐1
Технопятница: кто придумал дело против Павла Дурова, запрет интернет-сервисов для подростков в России и первые детали об ИИ-устройстве OpenAI
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL, ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
— Владимир Путин все больше опирается на ФСБ, чтобы держать в узде «военные элиты», пишет Bloomberg со ссылкой на источники, близкие к Кремлю. Последний внешний «выхлоп» новой расстановки сил и почти неограниченного влияния спецслужбы — дело Павла Дурова о пособничестве терроризму, говорят источники (детали о том, как Вторая служба ФСБ захватила контроль над рунетом, мы рассказываем здесь)
— Несовершеннолетним могут запретить получать смс-рассылки, включая авторизационные сообщения для регистрации или захода на интернет-сервисы, следует из новой версии «Правил оказания услуг телефонной связи». Впрочем, чтобы это ограничение заработало, родитель должен сообщить о том, что сим-карту использует ребенок. Это фактический запрет на регистрацию детей на любых сервисах и нарушение права несовершеннолетних на доступную информацию, считают эксперты
— Вчерашний сбой в рунете произошел из-за Ростелекома: компания подтвердила 29-минутный сбой в своей инфраструктуре, но деталей не дала
— Wildberries в июне успела купить у ВТБ бывший офис ФК «Открытие» у Павелецкого вокзала в центре Москвы за примерно 13 млрд рублей. Раньше маркетплейс заявлял, что планирует его лишь арендовать
— «Яндекс» продолжает исправно платить дивиденды своим акционерам: совет директоров компании рекомендовал выплатить дивиденды за первое полугодие в 110 рублей на акцию. «Яндекс» начал платить дивиденды после «развода» с Аркадием Воложем и смены акционеров
— Передовые ИИ-модели продолжают массово «сбегать» из песочниц вовремя тестов. Вчера о побеге собственной модели сообщила Meta, сегодня — китайская Moonshot: ее Kimi K3 тоже «сбежала» из изолированной среды во время тестов, но никого не взломала: нужные ответы лежали в открытом доступе. Подробнее в феномене побегов и их реальном значении мы разбирались здесь
— Появились первые детали об ИИ-устройстве от OpenAI. Это будет девайс в форме бублика размером с хоккейную шайбу, без экрана, но с огоньками и движущимися частями, «которые придадут ему черты личности», видеокамерой и ценой не ниже $300
— Alibaba планирует взимать долю выручки с крупных клиентов в качестве платы за использование своей открытой модели Qwen3.8-Max. Похожую схему использует и Moonshot: согласно лицензии Kimi K3, компании, которые зарабатывают на предоставлении доступа к модели и получают более $20 млн выручки в год, должны заключать коммерческое соглашение с компанией
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL, ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
— Владимир Путин все больше опирается на ФСБ, чтобы держать в узде «военные элиты», пишет Bloomberg со ссылкой на источники, близкие к Кремлю. Последний внешний «выхлоп» новой расстановки сил и почти неограниченного влияния спецслужбы — дело Павла Дурова о пособничестве терроризму, говорят источники (детали о том, как Вторая служба ФСБ захватила контроль над рунетом, мы рассказываем здесь)
— Несовершеннолетним могут запретить получать смс-рассылки, включая авторизационные сообщения для регистрации или захода на интернет-сервисы, следует из новой версии «Правил оказания услуг телефонной связи». Впрочем, чтобы это ограничение заработало, родитель должен сообщить о том, что сим-карту использует ребенок. Это фактический запрет на регистрацию детей на любых сервисах и нарушение права несовершеннолетних на доступную информацию, считают эксперты
— Вчерашний сбой в рунете произошел из-за Ростелекома: компания подтвердила 29-минутный сбой в своей инфраструктуре, но деталей не дала
— Wildberries в июне успела купить у ВТБ бывший офис ФК «Открытие» у Павелецкого вокзала в центре Москвы за примерно 13 млрд рублей. Раньше маркетплейс заявлял, что планирует его лишь арендовать
— «Яндекс» продолжает исправно платить дивиденды своим акционерам: совет директоров компании рекомендовал выплатить дивиденды за первое полугодие в 110 рублей на акцию. «Яндекс» начал платить дивиденды после «развода» с Аркадием Воложем и смены акционеров
— Передовые ИИ-модели продолжают массово «сбегать» из песочниц вовремя тестов. Вчера о побеге собственной модели сообщила Meta, сегодня — китайская Moonshot: ее Kimi K3 тоже «сбежала» из изолированной среды во время тестов, но никого не взломала: нужные ответы лежали в открытом доступе. Подробнее в феномене побегов и их реальном значении мы разбирались здесь
— Появились первые детали об ИИ-устройстве от OpenAI. Это будет девайс в форме бублика размером с хоккейную шайбу, без экрана, но с огоньками и движущимися частями, «которые придадут ему черты личности», видеокамерой и ценой не ниже $300
— Alibaba планирует взимать долю выручки с крупных клиентов в качестве платы за использование своей открытой модели Qwen3.8-Max. Похожую схему использует и Moonshot: согласно лицензии Kimi K3, компании, которые зарабатывают на предоставлении доступа к модели и получают более $20 млн выручки в год, должны заключать коммерческое соглашение с компанией
❤6👍2👀2
Операторы предупредили о риске блокировки доступа детей к соцсетям в России
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Несовершеннолетние в России могут лишиться возможности регистрироваться и авторизовываться по номеру телефона в мессенджерах и соцсетях. На это обратили внимание участники рынка и эксперты, изучившие подготовленную Минцифры новую версию «Правил оказания услуг телефонной связи», сообщает Forbes.
Она предусматривает запрет SMS-рассылок на детские сим-карты, причем к рассылкам отнесены и SMS-сообщения с кодами для регистрации и входа на интернет-ресурсы. Исключение сделано для рассылок от ГИС, например от портала «Госуслуг». Как поясняет Forbes, проект уточняет положения второго пакета антифрод-мер, согласно которому родители могут сообщить оператору связи о том, что сим-картой пользуется ребенок
Одним из первых инициативу раскритиковал «Вымпелком» («Билайн»). Там указали, что из текущей формулировки можно сделать вывод о запрете на все SMS-сообщения для несовершеннолетних, включая идентификационные и аутентификационные сообщения от российских мессенджеров, которые «являются основным и наиболее оперативным каналом связи между родителями и детьми», в том числе для обмена информацией по геолокации, фото и видео.
Замечания поддержали в Т2, где предложили отмечать SIM-карты пользователей, не достигших 18 лет, через портал «Госуслуг», и использовать эти сведения в ГИС «Антифрод» и соцсетях для безопасности. К тому же, как обратили внимание в компании, пока не определено, как оператор должен действовать в случаях, когда пользователь достигает 18 лет и если абонент заключает контракт с оператором в возрасте от 14 до 18 лет с согласия родителей.
«Мегафон» заявил, что уже использует «защитные меры» для детских SIM-карт — в рамках роли «Ребенок» в сервисе «МегаСемья» — и что сможет интегрировать в механизм новые требования, когда их утвердят. В то же время оператор напомнил, что уведомлять о том, что симкой пользуется ребенок, остается добровольным решением родителя. В МТС не ответили на запрос Forbes. В «Вымпелкоме» и VK отказались от комментариев.
В Ассоциации больших данных, куда входят «Яндекс», «Сбер», Avito и другие крупные компании, считают, что подобные ограничения должны регулироваться на уровне федерального закона. Там предупреждают, что запрет на SMS может затронуть не только соцсети и мессенджеры, но и образовательные платформы и электронные дневники. Поэтому более эффективно было бы действовать на уровне операторских тарифов и продуктов, считают в ассоциации.
Минцифры заявило, что не собирается ограничивать детям доступ к соцсетям, но подтвердило, что «одной из предлагаемых мер» является «запрет операторам направлять на детские номера рекламные рассылки и SMS, предназначенные для авторизации на различных сервисах».
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Несовершеннолетние в России могут лишиться возможности регистрироваться и авторизовываться по номеру телефона в мессенджерах и соцсетях. На это обратили внимание участники рынка и эксперты, изучившие подготовленную Минцифры новую версию «Правил оказания услуг телефонной связи», сообщает Forbes.
Она предусматривает запрет SMS-рассылок на детские сим-карты, причем к рассылкам отнесены и SMS-сообщения с кодами для регистрации и входа на интернет-ресурсы. Исключение сделано для рассылок от ГИС, например от портала «Госуслуг». Как поясняет Forbes, проект уточняет положения второго пакета антифрод-мер, согласно которому родители могут сообщить оператору связи о том, что сим-картой пользуется ребенок
Одним из первых инициативу раскритиковал «Вымпелком» («Билайн»). Там указали, что из текущей формулировки можно сделать вывод о запрете на все SMS-сообщения для несовершеннолетних, включая идентификационные и аутентификационные сообщения от российских мессенджеров, которые «являются основным и наиболее оперативным каналом связи между родителями и детьми», в том числе для обмена информацией по геолокации, фото и видео.
Замечания поддержали в Т2, где предложили отмечать SIM-карты пользователей, не достигших 18 лет, через портал «Госуслуг», и использовать эти сведения в ГИС «Антифрод» и соцсетях для безопасности. К тому же, как обратили внимание в компании, пока не определено, как оператор должен действовать в случаях, когда пользователь достигает 18 лет и если абонент заключает контракт с оператором в возрасте от 14 до 18 лет с согласия родителей.
«Мегафон» заявил, что уже использует «защитные меры» для детских SIM-карт — в рамках роли «Ребенок» в сервисе «МегаСемья» — и что сможет интегрировать в механизм новые требования, когда их утвердят. В то же время оператор напомнил, что уведомлять о том, что симкой пользуется ребенок, остается добровольным решением родителя. В МТС не ответили на запрос Forbes. В «Вымпелкоме» и VK отказались от комментариев.
В Ассоциации больших данных, куда входят «Яндекс», «Сбер», Avito и другие крупные компании, считают, что подобные ограничения должны регулироваться на уровне федерального закона. Там предупреждают, что запрет на SMS может затронуть не только соцсети и мессенджеры, но и образовательные платформы и электронные дневники. Поэтому более эффективно было бы действовать на уровне операторских тарифов и продуктов, считают в ассоциации.
Минцифры заявило, что не собирается ограничивать детям доступ к соцсетям, но подтвердило, что «одной из предлагаемых мер» является «запрет операторам направлять на детские номера рекламные рассылки и SMS, предназначенные для авторизации на различных сервисах».
🌚2🌭2❤1👍1👌1🍾1