Robocounsel
1.95K subscribers
265 photos
18 videos
80 files
659 links
О регулировании и социальных аспектах применения ИИ и данных, преимущественно в ЕС. Публикации отражают сугубо личное мнение автора.

Контакт, вопросы: используйте кнопку 💬 в левом нижнем углу.

Шрифт в логотипе - Alex Murphy Solid от Goatmeal
Download Telegram
Испанская регуляторная песочница: рекомендации по имплементации Регламента по ИИ

Что хорошего: они существуют. 800+ страниц. Не поверхностные, детальность — на уровне, достаточном для поддержки операционной деятельности. Это здорово.

Что плохого: я для примера изучил их руководство по имплементации статьи 9 (риск-менеджмент). Видно, что вложено много усилий, но концептуально в неправильном направлении. Игнорируется, что риск-менеджмент в этой статье основан на требованиях о безопасности продукции. За основу рекомендаций взяты подход и примеры из кибербезопасности.

Что радикально неправильно: для последнего есть статья 15. Там место threats, vulnerabilities, adversarial risk sources. Там про кибербезопасность самих систем. Как системы защищены от несанкционированного воздействия из внешней среды.

Статья 9 — про другое. Там про безопасность систем как вида продукции — для потребителей и населения. Про то, как избежать нежелательного воздействия системы на внешнюю среду. Соответственно набор концептов иной: hazards, hazardous situations, harm.

Детали — в моей новой статье на Линкдин. Там же ссылка на сами испанские рекомендации.
👍2🔥1
Как оценивать, выбирать и закупать юртех-продукты на базе генеративного ИИ

В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026, неожиданно.

Проблематика сейчас гораздо шире, в частности проблема с генеративным ИИ в его надёжности (reliability), а не только в «средней точности по бенчмарку Х».

В этом смысле очень вовремя вышла новая работа про 4 измерения надёжности ИИ-агентов. Её главный тезис мне кажется особенно полезным для пользователей и разработчиков юртех-продуктов: высокий балл точности (accuracy) ИИ-системы ещё не означает, что её можно безопасно и предсказуемо встраивать в юридический процесс.

Что это за 4 измерения (в сильно упрощённом виде):

Consistency (согласованность / повторяемость)
Одна и та же задача при одинаковых условиях должна давать сопоставимый результат.
Для ГенИИ это больное место: ответ «примерно в ту же сторону» — часто да, дословно и стабильно — далеко не всегда.

Robustness (робастность / устойчивость)
Что происходит при отклонении от идеальных условий: криво распознанный документ, нестандартный шаблон, шум в данных, сбой вызываемого внешнего компонента, чуть иначе сформулированная инструкция? Где система ломается, и как именно?

Predictability (предсказуемость отказов; по сути — калибровка уверенности)
Умеет ли система сказать «не знаю», «не уверена», «нужна проверка экспертом»?
Для юртеха это критично. Самоуверенная ошибка в праве часто опаснее честного ответа о неопределённости.

Safety (безопасность отказа / ограничение вреда)
Если ошибка всё же случилась, насколько последствия обратимы и контролируемы?
Есть ли fail-safe, эскалация человеку, журналирование, возможность быстро обнаружить и решить проблемы?

Почему это важно именно для юртеха:

В юридических задачах цена ошибки часто не плохой «пользовательский опыт», а процессуальный риск, финансовый риск, риск нарушения прав, регуляторные последствия.

Даже когда система используется как «копилот», а не как автономный исполнитель, остаётся «налог на проверку» (review burden), про который почти всегда умалчивают вендоры юртех-софта, но который съедает как минимум часть обещанной эффективности, а то и сводит её прирост к нулю или уводит в минус (когда проще было сделать задачу от начала и до конца руками).

Поэтому вопрос при закупке продукта вендору должен звучать не «какая у вас точность, что с галлюцинациями?», а скорее так: как система ведёт себя при повседневном решении одной и той же задачи, при вариациях вводных данных, при сбоях, и как она сигнализирует о своей неуверенности?

И самое главное: «Какие ваши доказательства?» (c) известный фильм.

- Неприемлемый ответ: «Мы прикладываем к этому массу усилий, нас хвалят клиенты, мы хорошие, мамой клянёмся».

- Идеальный ответ: «Вот результаты внешнего независимого аудита на текущую версию нашего продукта в динамике за последний год по запрошенным вами метрикам и его экзекьютив саммари».
❤8👍4
Robocounsel
Как оценивать, выбирать и закупать юртех-продукты на базе генеративного ИИ В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026…
Облачный ИИ — это удобно, но только до поры

Хорошим бонусом к предыдущему материалу будет напоминание от Раяна МакДоноу.

Если ИИ-сервис, от которого зависит ваша операционная деятельность, или его ключевой компонент (ИИ-модель) развёрнуты не на вашей собственной инфраструктуре, всегда стоит учитывать риск, что завтра эта ваша деятельность превратится в тыкву.

Это, конечно, самый худший сценарий, но и более умеренные — на самом деле не столь умеренны.

Сами подумайте: Антропик получил от Хегсета (американское Минобороны, которое теперь неиронично — Оруэлл перевернулся в гробу — называется буквально Минвойны) ещё не приказ, но уже угрозу: дайте больше доступа, уберите меры, ограничивающие применение в военных целях.

Не согласитесь — применим положения Закона о мобилизационной готовности (В России подобный тоже есть — 31-ФЗ).

Даже если угроза останется лишь угрозой, это должно заставить вас задуматься, если ещё не. В любой момент человек в погонах может придти в ИИ-компанию — лидер рынка, и сказать: "Execute order 66" "Вы наша критическая инфраструктура, и теперь ваша ИИ-модель будет всем отвечать так, как указано в приложении к приказу".

Поэтому то, что у вас ИИ-компонент завязан на облако и на дядю, тем более в другой стране (но даже если и в своей) — заведомо означает, что в любой момент может не только перестать работать какой-то ваш завязанный на этот компонент процесс, но и то, что аккуратно и незаметно для вас ваш процесс может начать давать чуть иные результаты. Например, ваш чатбот начнёт склоняться к чуть другим ответам по каким-то темам.

А потом вы обнаружите неожиданные отдалённые последствия в том, какие именно решения принимает ваш менеджмент и каких результатов вы добиваетесь (или не добиваетесь), и как плавно, постепенно, но на горизонте нескольких лет — на 180 градусов, поменялась ваша стратегия.

Есть над чем подумать, не правда ли?
👍6🔥3❤2🌚1
Forwarded from Robocounsel Plus
Директору Меты по безопасности искусственного сверхинтеллекта (Director, Superintelligence Alignment) не хватило интеллекта естественного, чтобы не подключать Openclaw к своей рабочей почте (теперь удалённой).
😁11
Механизмы подтверждения возраста: исследование ANPD

Бразильский орган по защите данных опубликовал отчёт об исследовании существующих подходов к оценке и подтверждению возраста пользователей (включая проверку по документам, оценку на основе онлайн-поведения и биометрической категоризации, а также другие методы).

Актуально всем, кто занимается комплаенсом в этой области.

Английский перевод | Анонс | Португальский
❤7😁2
Robocounsel
Мой проект в рамках StandICT Чуть больше года я участвую и набираюсь опыта в разработке технических стандартов по управлению рисками ИИ (AI Risk Management, ИИ РМ, prEN 18228) и системе менеджмента качества для поставщиков ИИ-систем (Quality Management System…
Второй грант от StandICT

Принимаю поздравления: я второй раз выиграл грант на финансирование моей работы в области технических стандартов для систем искусственного интеллекта!

Мой проект: "Supporting the development of prEN 18286, prEN 18228, ISO/IEC 42001 guidance and SME handbook".

Фокус будет на двух направлениях:
1) на европейском уровне: поддержка финализации в СЕН/СЕНЭЛЕК проектов европейских стандартов по риск-менеджменту (prEN 18228) и менеджменту качества ИИ-систем (prEN 18286) повышенной опасности (Регламент ЕС по ИИ)
2) на международном уровне: поддержка разработки в ИСО/МЭК (1) нового руководства 42003 по внедрению требований стандарта 42001 (система менеджмента ИИ-систем, AIMS) и (2) пособия для малого и среднего бизнеса по тому же стандарту 42001.

Напомню, что инициатива StandICT.eu поддерживает экспертов, разрабатывающих технические стандарты с учётом интересов европейского малого и среднего бизнеса и общественно значимых эффектов (в том числе по ИИ), за счёт бюджетных средств Европейского союза.
🔥33❤8
Рекламная инфраструктура двойного назначения

404 Media пишут, что Таможенно-пограничная служба США (CBP) отслеживает передвижения интересующих её лиц через данные с их телефонов, полученные через рекламные аукционы — RTB (real-time bidding).

Это возможно, например, когда вы устанавливаете приложения, монетизируемые по рекламной модели.

Когда такое приложение на вашем телефоне подгружает рекламный баннер, за доли секунды проходит аукцион: сотни рекламных сетей одновременно получают пакет данных об устройстве, включая геолокацию.

Победитель показывает рекламу, но и проигравшие также получают ваши данные.

Соответственно органы, заинтересованные в слежке, или их "партнёры" или подставные лица регистрируются как участники аукционов — но не для показа рекламы, а чтобы системно собирать данные о пользователях.

Сами разработчики приложений при этом могут быть не в курсе деталей — достаточно лишь того, что они используют рекламный SDK — чужой код, встроенный ради монетизации. Так рекламные сети получают доступ к тем же данным геолокации, что и само приложение.

Иными словами, источник данных для слежки — не какие-то отдельные подозрительные приложения, а любые приложения со встроенной рекламой.

Что можно попробовать сделать для противодействия: отключить или периодически сбрасывать рекламный идентификатор (может называться AdId/GAID/IDFA или аналогично) в настройках приватности на телефоне, отключить предоставление данных о геолокации в настройках приложений.
❤2👍2
В среду 18 марта буду на WB Privacy & Day

16 MSK / 14 CET, на английском

Регистрируйтесь на https://privacyday.rwb.ru/, увидимся онлайн!
❤6🔥4👏2
Российский законопроект об ИИ: экспресс-обзор ключевых положений

Опубликован для обсуждения проект ФЗ «Об основах регулирования сфер применения технологий ИИ в РФ». Вносится Правительством, планируемое вступление в силу — 1 сентября 2027.

1. В госсектор и на критическую инфраструктуру: только через реестр доверенного ИИ

В ГИС и на значимых объектах КИИ госорганов допускаются только ИИ-модели из реестра доверенных. Условия: подтверждение безопасности (AI safety) от ФСТЭК/ФСБ, обработка данных только в РФ (data sovereignty), подтверждение качества (AI quality) от отраслевых регуляторов. Правительство вправе распространить это на отдельные объекты КИИ за пределами госсектора.

Продвигаются суверенные и национальные модели ИИ — разработка, обучение и данные исключительно в РФ.

2. Защита прав граждан

Прозрачность при продаже и оказании услуг (in-use transparency): при использовании ИИ без участия человека потребитель должен быть уведомлён.

Прозрачность автономных решений (ADM transparency): если решение, затрагивающее права гражданина, принимается ИИ автономно — обязательно уведомление.

Право на отказ от ИИ (right to be not subject to ADM): в установленных Правительством случаях — должна быть обеспечена возможность получения услуги без применения автоматизации.

Оспоримость автоматизированных решений госорганов (contestability): по-видимому, должна обеспечиваться конструктивно, через объяснимость (explainability), что ограничит спектр допустимых ИИ-технологий в этой сфере (похожие положения есть в Регламенте ЕС).

3. Законопроект также устанавливает, помимо прочего:

— обязанности участников правоотношений (разработчик, оператор, владелец сервиса, пользователь): безопасность, документирование, тестирование, мониторинг, инциденты;
— ответственность участников правоотношений и основания освобождения от неё;
— маркировку синтетического контента с opt-out и ответственностью за удаление;
— правила и исключения из общего режима защиты объектов интеллектуальной собственности на стадии их использования для обучения ИИ и при их создании при эксплуатации ИИ;
— возможность запрета и ограничения трансграничного функционирования ИИ;
— пострыночный надзор (postmarket surveillance).

4. Краткое сравнение с Регламентом ЕС по ИИ

Принципиальное отличие: российский законопроект не опирается на технические стандарты (ГОСТ или иные) как механизм имплементации требований закона. В ЕС Регламент по ИИ является частью законодательства о безопасности продукции и построен по NLF — стандарты СЕН/СЕНЭЛЕК дают презумпцию соответствия требованиям закона.

Для систем повышенной опасности в ЕС, в том числе на критической инфраструктуре - в основном декларирование и иногда сертификация, плюс CE-маркировка, для остальных систем - свободный выпуск на рынок.

В российском проекте — разрешительный порядок для критической инфраструктуры и госсектора через реестр, и свободный выпуск на рынок в остальных случаях.

Также Регламент ЕС не содержит требований о суверенитете данных, суверенных моделей и механизмов запрета или ограничения трансграничного применения ИИ.
❤10
Приватность не мертва, просто в цифре по умолчанию её меньше

Меньше, чем в естественной среде нашего обитания, ввиду того, как цифровые технологии работают по умолчанию.

Именно поэтому возникло законодательство о защите персональных данных: законы наподобие GDPR принуждают разработчиков и операторов цифровых технологий, вопреки их желаниям и стремлениям, восстанавливать то состояние приватности (privacy by design and by default), которым люди пользовались естественным образом до появления цифровых технологий.

По мотивам идей Алана Вестина — Alan Westin, Privacy and Freedom (1967).
❤6
ИИ-редактор текста Телеграма приватен не более, чем сам Телеграм

Казалось бы очевидно, но маркетинг Телеграма такой маркетинг, что в погоне за ростом аудитории допускают явное враньё в анонсах.

Разбор в иллюстрации.

Дуров, обрати внимание, s'il te plaît.
❤9
Кто за что отвечает в контексте рисков для приватности и защиты персональных данных?

Часто возникает путаница: за что отвечает DPO, за что юрист, а за что бизнес. По-хорошему процесс управления этими рисками, роли и задачи должны выглядеть так.
👍4❤3
Как ИИ-агенты регулируются правом ЕС

Новый пре-принт только что опубликован, я в соавторах:
"AI Agents Under EU Law: A Compliance Architecture for AI Providers."

Рассказываю, чем статья полезна и интересна, и что в ней можно считать спайси.
❤10🔥3👏2
Шесть лёгких способов подпасть под действие Регламента ЕС по ИИ

Компактная версия на картинке, чуть более развёрнутая — здесь.
❤11
Нидерландская компания оштрафована на 100 млн. евро за передачу данных в Россию

Нидерландский орган по защите персональных данных вынес такое решение в отношении MLU BV, нидерландского правопреемника Ridetech, оказывавшего услуги такси в Финляндии и Норвегии под брендом и в приложении Yango (ранее относившегося к Яндексу).

По данным собственного отчёта Ridetech об оценке последствий трансграничной передачи персональных данных (transfer impact assessment), передача этих данных в Россию была сопряжена с риском произвольного доступа к данным со стороны российских властей.

Нидерландские коллеги не считают Роскомнадзор независимым органом по защите прав субъектов персональных данных по смыслу европейского законодательства, поскольку в полномочия Роскомнадзора одновременно входят и задачи, концептуально конфликтующие с защитой прав граждан, такие как борьба с терроризмом ("закон Яровой").

Орган, уполномоченный на надзор одновременно за двумя этими одинаково важными, но противоположно направленными государственными задачами, обречён на конфликт интересов, и поэтому не может считаться беспристрастно защищающим права граждан.

Кроме того, Роскомнадзор подчинен Минцифры, что также лишает его претензий на независимость.

А в ситуации отсутствия независимого органа под надзору в юрисдикции получателя персональных данных трансграничная передача в эту юрисдикцию данных из ЕС на основании стандартных договорных оговорок (SCCs) незаконна, так как не предоставляет субъектам из ЕС необходимых гарантий защиты их прав.
😱7👍4🥴2❤1
Предвзятость решения, принятого ЛЛМ, можно доказать только статистически, не индивидуально

Об этом в интервью WIRED поведал Ши Браун, один из ведущих в мире экспертов по техническому аудиту ИИ-систем, рассказывая о наиболее популярной на сегодня архитектуре (большие языковые модели, LLM).

Объективно ответить на вопрос, занижает ли, например, такая система оценку определённым кандидатам, можно дать лишь в целом по группе, в разрезе определённого признака (например, инвалидность).

Дать же ответ, было ли предвзятым конкретное решение ЛЛМ-системы, и установить его причины, принципиально невозможно. На сегодня это техническое, архитектурное ограничение.
👍4❤3
This media is not supported in your browser
VIEW IN TELEGRAM
ФАС ЗСО: ИИ – ваш инструмент, конечный результат – ваша ответственность

Настя тут правильно обращает внимание на штраф за очередные галлюцинации в поданном в суд документе.

Сразу вспоминаются некоторые коллеги в уже далёких поздних 2010-х спорившие со мной по поводу "кто же будет отвечать за ошибки искусственного интеллекта, это же очень сложный и неоднозначный правовой вопрос".

Говорил уже тогда: вопрос несложный, вопрос тривиальный. Несерьёзный, если хотите.

Каждый, каждый юрист должен это знать. А если вы судья, делайте как коллеги из ФАС ЗСО.

Ссылаются представители, что их подвёл ИИ, забыли о своей деонтологической обязанности и личной ответственности за конечный результат — документ, представляемый суду?

Штраф за неуважение. Все здоровее будем.
👍9👏6🔥1
Избегайте публикации фото, по которым можно считать отпечатки

Исследователи из Танзании проанализировали практики пользователей социальных сетей и выявили три наиболее типичных жеста, в том числе на селфи, которые позволят злоумышленникам извлечь ваши биометрические данные и потенциально получить доступ к ресурсам и устройствам, которые верифицируют вас по отпечаткам пальцев.

Чем больше пальцев на фото — тем выше риск.

Предупредите близких.

P.S. Девушка ненастоящая, в отличие от рисков
❤8👍5🤯5🤔1