Robocounsel
1.95K subscribers
265 photos
18 videos
80 files
659 links
О регулировании и социальных аспектах применения ИИ и данных, преимущественно в ЕС. Публикации отражают сугубо личное мнение автора.

Контакт, вопросы: используйте кнопку 💬 в левом нижнем углу.

Шрифт в логотипе - Alex Murphy Solid от Goatmeal
Download Telegram
Оупен-Эй-Ай опубликовал 2 новые оупен-сорс модели

Модели gpt-oss-120b и gpt-oss20b имеют, по словам разработчика, производительность, сопоставимую с их же проприетарными моделями и доступны для скачивания на Хаггингфейс.

Первая модель предназначена для развёртывания на корпоративной инфраструктуре, вторая — для работы на обычном компьютере.

Обе модели предоставляются на условиях лицензии Apache 2.0.

Это первые опенсорсные модели компании с момента выпуска GPT-2 в 2019 году.

Выпуск опенсорсной модели гендиректор компании Сэм Альтман анонсировал ранее в марте этого года.
👍8
Robocounsel
Новый поток курса по Регламенту ЕС по ИИ Поскольку многие просят у меня информацию о курсе на одну страницу — вот она. Пятый поток стартует в сентябре, и на этот раз я добавляю разбор нового GPAI Model Code of Practice и специфичных для ИИ аспектов кибербезопасности…
Мой курс по Регламенту ЕС по ИИ одобрен IAPP

Прохождение курса засчитывается в счёт ваших обязательств по повышению квалификации по любой из следующих сертификаций IAPP: AIGP, CIPP/A, CIPP/C, CIPP/CN, CIPP/E, CIPP/US, CIPM, CIPT.

Освоение программы эквивалентно 13 баллов (каждые 2 года вам необходимо набирать 20 баллов, то есть курс закрывает потребности в повышении квалификации более чем на год).
🔥32❤6👏5😱1🤩1
Антропик и авторы книг достигли мирового соглашения: банкротство откладывается?

Ранее в этом году судья Олсап принял к рассмотрению коллективный иск авторов, чьи произведения Антропик для обучения своих ИИ-моделей скачал из пиратских библиотек LibGen и PiLiMi.

Потенциально это до 5 млн. произведений (к рассмотрению приняты только те, которые были зарегистрированы в Бюро по авторским правам США), а размер установленной законом компенсации, который могла бы присудить коллегия присяжных, варьируется от 750 до 30 тыс. долларов за работу (или до 150 тыс., при установлении умысла).

При этом даже при более консервативных оценках (в случае, если доказанно использованных для обучения произведений оказалось бы меньше — не миллионы, а "всего" сотни тысяч экземпляров) потенциальная сумма выплат могла составить миллиарды долларов.

Текущая годовая выручка компании — в районе 3 млрд. долларов.

Понимая риски возможного банкротства компании от такого иска, Антропик решил договориться с авторами по-мирному. И, похоже, после процедуры медиации это удалось.

Предварительное рассмотрение мирового соглашения судьёй назначено на 5 сентября.
🔥7❤3
Проблема уязвимости любых ИИ-систем на базе больших языковых моделей для такой атаки, как промт-инъекция, как существовала, так и продолжает существовать. Никаких надёжных мер противодействия этим атакам не существует. Поэтому просто не пользуйтесь никакими ИИ-браузерами типа Комет на вашем компьютере. Оставьте эти эксперименты ИИ-фанатам недалёкого ума и не имеющим никакого понимания связанных с этим угроз:
👍3❤1
Forwarded from Клуб CDO (PostoplanBot)
Недавно команда Brave разобрала расширение Comet от Perplexity и обнаружила критическую уязвимость: LLM, под капотом Comet, не различает команды пользователя и контент страницы, что позволяет злоумышленникам внедрять свои инструкции прямо через веб-контент. Например, вредоносный пост на Reddit может заставить Comet получить доступ к вашей почте или инициировать восстановление аккаунта.

Попытки исправить проблему оказались неудачными — уязвимость осталась. Главная инженерная сложность: для LLM всё, что поступает на вход, выглядит как единый поток токенов. Надёжно отделить “доверенное” от “недоверенного” не удаётся, несмотря на многочисленные попытки.

Brave предлагает явно разделять инструкции пользователя и контент страницы, всегда считая последний недоверенным. Но на практике это пока не реализовано эффективно.

Вывод: сама концепция агентных расширений для браузера в текущем виде может быть небезопасной по определению. Даже перспективные научные подходы (например, CaMeL) не решают проблему полностью.

Ключевые takeaway:
— Архитектурное разделение trusted/untrusted input для LLM — must have.
— Текущие методы защиты от prompt injection не работают.
— Безопасная интеграция LLM в браузеры требует новых подходов к обработке контекста и команд.
— Сообщество наконец признаёт серьёзность проблемы, но надёжного решения пока нет.

https://simonwillison.net/2025/Aug/25/agentic-browser-security/#atom-everything
🔥5❤2🤔1
Клаудфлейр представил свой "рейтинг уверенности" для ГенИИ-приложений

Рейтинг складывается из двух компонентов:
1) общая уверенность в приложении (макс. 5 баллов, оценивается общая зрелость в плане SaaS);
2) уверенность в ГенИИ (макс. 5 баллов, оцениваются риски, специфичные для генеративного ИИ).

Каждый из компонентов оценивается исключительно на основании общедоступной информации, включая опубликованные политики, отчёты об инцидентах и имеющиеся сертификаты.

Например, наличие сертификата ИСО 27001 даёт 0,4 балла к общей зрелости SaaS, отказ от передачи данных третьим лицам добавляет 0,5 балла, поддержка TLS 1.3 — ещё 0,2 балла. А наличие сертификата ИСО 42001, к примеру, добавляет сразу 1 балл к уверенности в управлении ГенИИ-рисками.

Компания приглашает экспертов делиться мнениями, чтобы постоянно улучшать методологию расчёта рейтинга, и напоминает, что рейтинг не может подменять собой полную экспертную оценку и дью-дилидженс со стороны пользователей приложений.

А если вы разрабатываете решения на основе ИИ и вас интересует внедрение ИСО 42001 в вашей компании — обращайтесь.
🔥4
Относительная природа персональных данных

Что сказал по этому поводу Европейский суд сегодня по делу C-413/23, частично опрокинув решение суда первой инстанции:

1. Мнение — это персональные данные, покуда понятен автор. Содержание, цели и эффект выражения личного мнения не влияют на квалификацию личного мнения как персональных данных. Личное мнение — это персональные данные, покуда между мнением и выразившим его лицом сохраняется связь.

2. "Абсолютный" подход к персональным данным не поддерживается. Является ли та или иная информация персональными данными — всегда решается применительно к конкретным обстоятельствам. В данном деле SRB был оператором, получившим данные от субъектов, и для него эти данные были персональными.

Поэтому:

3. Обязанность оператора раскрывать получателей данных зависит от статуса данных для оператора, а не для получателей. В этом деле для SRB (оператора) данные были персональными, поэтому он был обязан раскрыть получателя (ст.15(1)(d) EUDPR), даже если оператор псевдонимизировал данные перед передачей и получатель на своём конце получал уже только информацию, которую никак не мог соотнести с конкретными лицами без несоразмерных затрат.

P.S. Ну и ещё один момент — суд об этом не сказал, но это следует: если бы субъекты пытались предъявлять претензии получателю псевдонимизированных данных, Делойту (который, допустим, передал бы эти псевдонимизированные дальше какому-то субподрядчику), у них бы ничего не вышло, потому что для Делойта полученные псевдонимизированные мнения были лишены связи с конкретными авторами мнений и поэтому уже не являлись персональными данными.
❤6👍4
Изменение политики Линкдин в части обучения ИИ: как отказаться

C 3 ноября 2025 г. Линкдин начинает обработку ПДн пользователей из Европейской экономической зоны, Швейцарии и Великобритании для обучения ИИ-моделей.

У пользователей из этих регионов в настройках появился новый переключатель, который теперь будет включён по умолчанию (опт-аут).

Отключить можно по прямой ссылке здесь.

О планах по изменению политики компания планирует разослать отдельное уведомление, основные данные уже есть в этой их статье, обновлённой сегодня утром.
👍8
Большие языковые модели и профессиональное развитие: быстрее — не значит лучше.

Коллеги задаются вопросом — использование ЛЛМ-чатботов в работе (в частности, юристов) — это хорошо или плохо? "Тупеют" ли такие специалисты или наоборот, профессионально растут быстрее тех, кто этот инструмент не использует?

На мой взгляд, использование этих чатботов может быть очень разным. Применять их для быстрого поиска ответов на вопросы, чтобы не особо рефлексируя скопировать ответ куда-то — вот это надёжный путь к быстрой деградации. И совсем другое, когда чатбот используется для итеративного осмысления и критического анализа.

Меня не удивляет, что люди хуже запоминают информацию, когда используют чатботы просто для получения готовых ответов.

Есть достаточно данных, подтверждающих простую закономерность: чем меньше мы вовлечены в работу с материалом, тем хуже запоминаем. Простой пример: если просто прочитать новый закон, в памяти останется минимум. Если читать его, попутно делая для себя заметки и комментарии, усваивается гораздо больше.

Когда чатбот применяется не для итеративного осмысления материала, а лишь для быстрого получения готового фрагмента текста, который нужно куда-то вставить, запоминание скорее всего будет даже хуже, чем при простом чтении первоисточника (без составления заметок).

При работе с первоисточником хотя бы виден полный контекст, из которого вы извлекаете фрагмент текста.

Соответственно, в тезис о том, что младшие юристы могут стать экспертами быстрее просто благодаря чатботам — я не верю. Не всякое применение ЛЛМ-чатботов одинаково влияет на личное и профессиональное развитие — как я отметил выше, есть хорошие и плохие практики.

Более того, работа исключительно с текстовым материалом не трансформируется автоматически в опыт ведения сделок и успешной работы с клиентами — извините за очевидное. Существуют хорошие исследователи и аналитики, которые слабо справляются с практической работой "в поле", и наоборот. Разносторонние эксперты тоже существуют, но такая универсальность не является данностью — я бы избегал наивных предположений, что из одного автоматически вытекает другое.
❤5👍2🤔1
ИИ как медицинское изделие в ЕС

Всё, что вы хотели знать, но боялись спросить (ну или было не у кого) про соотношение Регламентов MDR, IVDR и AIA — в совместном документе AIB 2025-1 / MDCG 2025-6 Европейского совета по искусственному интеллекту и Координационной группы по медицинским изделиям.
❤5🔥4
Даже AGI-оптимисты считают, что до него десятилетие

Дваркеш Патель записал интервью с Андреем Карпатым.

Андрей объясняет:
— почему обучение с подкреплением (RL) ужасно (но всё остальное — ещё хуже);
— как «коллапс модели» мешает большим языковым моделям учиться «по-человечески»;
— почему даже AGI, скорее всего, ничего глобально не изменит в сложившемся за 250 лет тренде устойчивого глобального роста ВВП на ~2% в год;
— почему автономное вождение заняло столько времени (прим. АТ: так у Дваркеша, а Андрей поясняет, что проблема по-настоящему автономного вождения до сих пор не решена, вообще-то);
— и каким он видит будущее образования.

Кто такой Андрей Карпатый и почему его можно слушать, в отличие от многих других: сооснователь Оупен-Эй-Ай (исследователь в 2015–2017, возвращался в 2023–2024), экс-директор по ИИ и Автопилот Вижн в Тесле (2017–2022), PhD в Стэнфорде под руководством Фэй-Фэй Ли, автор и основной преподаватель курса CS231n. В 2024 запустил образовательный проект Eureka Labs.

P.S. Любопытно, что это как с управляемым термоядерным синтезом — как фанатов ни спроси (что термояда, что AGI), до него всегда остаётся всего около 10 лет. В 1950х — оставалось всего 10 лет. В 1980х — снова осталось всего 10 лет. В 2025 опять всего 10 лет. Наверное в 2035 тоже снова останется ещё 10 лет. Впечатляющее постоянство!
🔥6👍4😁3
А вы смотрите Евразийский конгресс по защите
данных?


Если нет, то очень даже зря. Лучше поздно, чем никогда, поэтому исправляю оплошность, и даю ссылку на стрим:
- сегодняшний;
- вчерашний (участвовал в двух панелях — в международном обзоре на 1:50:44 и с новостями из процесса ИИ-стандартизации в ЕС на 4:25:07);
- вся программа на эту неделю.

Смотрим-пересматриваем!
❤10👍5
Заканчивается регистрация на шестой поток курса по Регламенту ЕС по ИИ

Занятия начинаются в ноябре, и по сравнению с прошлыми потоками дополнительно включают:
— более детальный разбор технических стандартов по ИИ от СЕН-СЕНЭЛЕК и ИСО, без которых выполнить требования Регламента на практике будет проблематично;
— практическую информацию для тех, кто внедряет или использует ИИ в медицинских изделиях и фармацевтическом секторе.

Также затронем специфичные для ИИ аспекты кибербезопасности, учитывая все дополнительные риски, которые создают набирающие популярность ИИ-агенты.

🌟 Только у нас на курсе — новейший постатейный комментарий к регламенту — Annotated AI Act (Издание 2025/2026) Арнуда Энгельфрита в качестве обязательного чтения. Электронная версия в подарок, на бумажную — эксклюзивная скидка.

✅ Почему этот курс особенный: у меня за плечами профильное образование (LL.M. in Innovation, Technology and the Law, Edinburgh) и десятилетие работы в профильной сфере, я участвую в разработке технических стандартов к Регламенту ЕС об ИИ в СЕН-СЕНЭЛЕК. Я не набираю большие группы, все задания (да, письменные работы, а не только тесты) проверяю лично я. Чтобы сохранить качество, количество мест строго ограничено.

🕒 Для работающих профессионалов: курс длится 4 недели, помимо 2 часов в Зуме вам потребуется около 6 часов в неделю в удобном для вас темпе, но со сроками сдачи заданий я достаточно гибок — понимаю, что работа может быть приоритетом. Занятия в зуме (2 часа в неделю) проходят по пятницам вечером, но вы можете смотреть записи, если так удобнее. Дополнительные часы для личного приёма помогут вам разобраться в конкретных вопросах, даже если вы не успеваете за группой.

⚡️ Регистрируйтесь сейчас, пока есть места. Подробности, отзывы и регистрация с оплатой в евро — на сайте курса. Для оплаты в рублях — оставьте заявку через бот.

💼 Дополнительные плюсы: работодатель может оплатить ваше обучение, а сертификат подходит для подтверждения CPD/CPE-кредитов в рамках обязательного повышения квалификации (но уточняйте у организации, которая предъявляет к вам требования, политика может различаться). Вам также будут предоставлены эксклюзивные условия для членства в AI Governance Community of Practice.
❤8🔥2
Проект европейского стандарта 18286 СМК для поставщиков ИИ-систем близится

В рабочей группе № 2 совместного комитета JTC 21 СЕН-СЕНЕЛЕК мы обработали все комментарии, поступившие на рабочий проект (working draft) этого стандарта, поэтому документ наконец-то вышел на стадию публичной консультации (enquiry).

Текст в ближайшие дни появится на сайтах национальных органов по стандартизации членов СЕН-СЕНЭЛЕК.

Напомню, что статьёй 17 Регламента ЕС по искусственному интеллекту предусмотрено, что поставщики ИИ-систем повышенной опасности обязаны внедрить систему менеджмента качества (СМК).

Статьёй определены базовые нормативные требования к такой СМК, в то время как порядок реализации этих требований закрепляется в европейском техническом стандарте.

Понять, относится ли ваша система к категории повышенно-опасных и актуален ли для вас этот стандарт вы можете по перечням из раздела А приложения I и из приложения III к Регламенту и правилам статьи 6 Регламента.
❤7👍2🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
Хотите, чтобы ИИ-агент помог вам в бизнесе, чётко и автономно выполняя ваши инструкции?

Тогда агенты, имеющиеся в наличии сейчас — на базе больших языковых моделей (LLM) — вам не подойдут. Простая демонстрация от Ричарда Бурмана (отвечает за ИИ-гавернанс в Мастеркарде).

Мы даём агенту инструкцию: купить зерна по цене не более 9 фунтов за единицу. И он, поторговавшись, благополучно закрывает сделку... по цене 10 фунтов за единицу. Потому что какое дело модели до ваших инструкций...

В данном случае демонстрация сделана на Комет, но точно также (непредсказуемо-ненадёжно) себя будут вести любые иные ИИ-агенты на базе LLM. Это архитектурная особенность, устранить эту проблему, не меняя архитектуру, невозможно.

Удачных покупок!
2😁8👍3🤔1
prEN 18286 Artificial intelligence - Quality management system for EU AI Act regulatory purposes

Проект одного из стандартов в поддержку Регламента ЕС по ИИ, в разработке которого я принимал участие, перешёл в стадию публичной консультации до 23 декабря.

Стандарт покрывает требования ст. 17 Регламента (система менеджмента качества для поставщиков ИИ-систем повышенной опасности).

Посмотреть на английском можно — бесплатно зарегистрировавшись — здесь.
1🔥9❤4👏1
Новомодные ИИ-браузеры опасны, но не бесполезны

Опасны для пользователей ввиду 100% уязвимости для промт-инъекций, но не бесполезны для ИИ-разработчиков.

Георг Золлер высказывает теорию: план ИИ-разработчиков в том, чтобы дотянуться до тех данных, которые сейчас скрыты за пейволлами или иным образом недоступны для обычной индексации поисковыми системами.

Если гора этих данных не идёт к Магомету, Магомет использует ИИ-браузер. Вы пускаете к себе этого троянского коня, и теперь всё содержимое браузера как на блюдечке.

Так это или нет — не знаю, но в любом случае ИИ-браузеры опасны ввиду избыточной уязвимости для кибератак, о чём многократно писал, и рекомендовать их сегодня никому невозможно.
❤4👍1
Что у вас там в Европах с ОРЗД и ИИ-Актом?

На прошлой неделе эта тема лихо вошла в тренды, так как где-то в среду сначала в прессу, а потом более широко, утекли предлагаемые поправки по "упрощению" цифрового законодательства, в частности ОРЗД (GDPR) и ИИ-Акта (AI Act). Все, кто хотел, обсудили это в Линкдине примерно в четверг-пятницу (я у себя в Линкдине тоже, но точечно), самые медленные на выходных, ну и к понедельнику новости добрались в искажённом виде до российской аудитории.

Что там на самом деле? Утекла какая-то ранняя версия, и, кажется, только составленная DG CNECT (но, например, не согласованная с DG JUST, который просто так не пропустит никакие поправки к GDPR). Утекла очевидно потому, что кому-то это было выгодно — так можно оказывать давление с целью продавить или заставить активнее публично обсуждать какие-то конкретные предложения, конкретные варианты решений развилок. Ещё даже до того, как они пройдут межведомственное согласование.

Все обсуждения текста должны это учитывать — вы видите раннюю версию проекта, ещё даже не согласованного внутри самой Еврокомиссии. Который затем должен быть опубликован, и пройти обычную законотворческую процедуру — через Совет и Европарламент. На этом пути возможны довольно значительные изменения.

Для тех, кому это реально интересно и нужно, в части поправок к Регламенту ЕС по ИИ у меня будет закрытая сессия на эту тему на Патреоне в эту среду.
👍3