Robocounsel
1.95K subscribers
265 photos
18 videos
80 files
659 links
О регулировании и социальных аспектах применения ИИ и данных, преимущественно в ЕС. Публикации отражают сугубо личное мнение автора.

Контакт, вопросы: используйте кнопку 💬 в левом нижнем углу.

Шрифт в логотипе - Alex Murphy Solid от Goatmeal
Download Telegram
Новости по сертификации CIPP/E

Если вы работаете с персональными данными и задумываетесь о сдаче этого профессионального экзамена, обратите внимание, что в октябре грядёт очередное обновление методических материалов IAPP.

Для тех из вас, кто уже приобрёл моё пособие по подготовке к экзамену (за последнее время таковых набралось уже 65), есть хорошие новости — в течение месяца после обновления материалов IAPP я обновлю и своё пособие с учётом изменений. Ссылка на пособие, которая у вас есть, продолжит работать, контент будет актуален примерно до октября 2024 г.

Для интересующихся приобретением пособия сейчас новости тоже хорошие: оплатившие доступ до конца сентября также получат доступ к этому обновлению без доплаты.

Детали об экзамене и пособии.

Оплатить доступ можно по ссылке.
❤4👍3
Robocounsel
Опубликован первый в СНГ проект Цифрового кодекса с нормами об ИИ Речь о Цифровом кодексе Кыргызской Республики (ЦК КР), о котором я писал ранее. В работе участвовало очень много коллег, но я выделю Николая Дмитрика, без чьего несравнимого кодификационного…
ЦИФРОВОЙ_КОДЕКС_ФИНАЛ_для_рассылки.pdf
877.5 KB
Текст проекта Цифрового кодекса Кыргызской Республики

В июле я уже анонсировал публикацию этого документа, в работе над которым принимал участие (написал проект главы по системам ИИ).

В связи с тем, что законопроект перестал открываться по прежней ссылке, прилагаю его текст.
🔥8🥰3❤1
Сторис на канале?

Мессенджер Телеграм расширил функционал сторис, теперь они стали доступны и для каналов.

Но при условии, что за них проголосуют подписчики Телеграм Премиум.

Если у вас есть такая подписка, за появление сторис на этом канале вы можете проголосовать по ссылке.
😢3👍2
Спасибо всем, сторис запущены. Если они у вас не видны, обновите Телеграм до последней версии.
🔥3👍2👏1
Внедряете чатботы для ответов на вопросы на основе корпоративных данных?

Если в основе такого чатбота большая языковая модель (БЯМ, LLM), обратите внимание на два важных аспекта корпоративного управления внедрением ИИ в таком сценарии:

1. Новый вектор атаки

Открытие доступа к корпоративным данным с помощью чат-ботов на базе БЯМ создает дополнительный риск раскрытия персональных данных и конфиденциальной информации и злоупотребления ими.

Помните о том, что БЯМ-чатботы подвержены атакам типа prompt injection. Учитывая публикации, подтверждающие возможность извлечения конфиденциальных данных при взаимодействии с БЯМ-чатботом, подумайте о том, какие источники и категории данных используются для обучения БЯМ (а также для последующих индексации и поиска в случае RAG-систем), и о контроле доступа и безопасности в отношении системы, введённой в эксплуатацию.

В зависимости от контекста может быть целесообразно предоставлять доступ не всем пользователям по умолчанию, а только при наличии реальной необходимости, с протоколированием фактов доступа и с регулярным тестированием информационной безопасности ваших систем.

2. Возможный конфликт с принципом минимизации данных

Внедрение БЯМ может стимулировать компании к хранению избыточного количества данных, включая персональные данные, что противоречит принципу минимизации персональных данных.

Во всех юрисдикциях, имеющих законодательство на основе Конвенции 108 Совета Европы (включая ЕС и РФ), несоблюдение этого принципа чревато штрафами и другими мерами регуляторного воздействия.

Ранее организации уже сталкивались с подобной проблемой при злоупотреблении "озёрами данных" ("data lakes"). Ставка на максимизацию объёмов данных для обучения БЯМ влечёт аналогичные риски. Чтобы не повторять прежних ошибок, учитывайте эти риски в своей стратегии работы с данными.
👍6❤1
Getty Images выпустили свой генератор изображений

Компания, обладатель одной из крупнейших библиотек стоковых фото, анонсировала, что созданная ими в партнёрстве с Nvidia машинно-обученная модель обучена только на их собственном лицензированном контенте.

При этом компания заявляет, что будет делиться с авторами изображений доходами от эксплуатации модели.

До настоящего времени ни один игрок на этом рынке не реализовал подобную бизнес-модель. Доминирующий на сегодня бизнес-подход — обучать модели на любом контенте, который доступен в интернете, не спрашивая авторов и правообладателей, и надеясь на fair use или иные исключения из режима охраны изображений в случае споров.

Как отметила в Твиттере Лилиан Эвардс, завкафедрой права, инноваций и общества юридического факультета Ньюкаслского ун-та, переход к таким моделям может быть сопоставим с переходом в своё время от торрентов к стриминговым сервисам.

От Дикого Запада к цивилизованному рынку...
👍8❤2
Чатботы в образовании

Майкрософт опубликовал небольшую библиотеку промтов для использования чатботов на основе больших языковых моделей в образовательном процессе.

На английском и в основном для ГПТ-4 и Бинг, но может подойти и под другие модели.

В собрание вошли промты Этана Моллика, доцента Уортонской школы бизнеса и известного популяризатора использования больших языковых моделей в образовании.
👍5
Из истории смелых, но несбывшихся прогнозов

"В течение одного поколения, я убежден, лишь немногие области интеллекта останутся вне сферы досягаемости машин — проблемы создания 'искусственного интеллекта' будут в значительной степени решены."

Марвин Ли Минский, 1967 год

P.S. Поколение обычно принимается равным 20-30 годам, то есть автор цитаты, один из основоположников ИИ как отдельного направления научных исследований, ожидал решения этой проблемы не позже чем к 1987-1997 году.
❤4🤔3
Robocounsel
2302.08927 (1).pdf
Дополненная реальность и пространственные данные

В начале года я уже писал о рисках, которые создаёт для приватности использование шлемов виртуальной реальности.

Пять минут наблюдения за вашим аватаром в метаверсе позволяют составить точный профиль, позволяющий вас идентифицировать, даже если вы сменили аватар, при любом последующем вашем визите в виртуальную реальность.

К счастью для прайваси-активистов, метаверс сдулся, не успев никому особо навредить. Однако технологические гиганты пытаются спасти свои инвестиции, несколько изменив стратегию. С чисто виртуальной реальностью (VR) не получилось, поэтому теперь Эпл, Мета* и другие игроки продвигают технологии смешанной или дополненной реальности (AR).

Джозеф Джером, доцент Университета Тампы и прайваси-юрист, ранее отвечавший за VR/AR-политику в компании Мета, предупреждает о дополнительных рисках для неприкосновенности частной жизни, создаваемые AR-оборудованием.

Пока все сосредоточены на рисках, связанных со сбором данных с датчиков на теле, мало кто обращает внимание на риски, касающиеся пространственных датчиков, за счёт которых AR-оборудование, по сути, картографирует пространство, в котором находится пользователь.

Так, Vision Pro, новое устройство дополненной реальности от Эпл использует лидар (за счёт датчиков такого типа, в частности, "видят" окружающую дорожную обстановку беспилотные автомобили).

Компании сохраняют полученные с датчиков AR-устройств пространственные данные, и, по утверждению Джерома, имеют склонность хранить эту информацию без ограничения по времени и не предоставляя пользователю деталей о том, с какой степенью точности картографирован его дом или иные помещения.

С учётом развития технологий несложно представить, какие риски это может создавать, особенно в перспективе, не только для приватности, но и для корпоративной или национальной безопасности, если сбор и использование таких данных будут бесконтрольными.

Одних голословных заявлений от разработчиков о том, что "всё будет хорошо", тут явно недостаточно.

* Деятельность Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram запрещена в РФ
❤4👍1
Без согласия

Дети, как и все люди, имеют право на неприкосновенность частной жизни. Однако многие родители не задумываются об этом.

Инстаграм-ролики, фотографии, видео, которые родители выкладывают в сеть, нередко содержат избыточно подробную и иногда очень чувствительную информацию об их детях.

Делятся родители — а разгребать последствия потом придётся самим детям. Они подрастут, и столкнутся с тем, что совершенно незнакомые им люди или компании почему-то слишком подробно осведомлены об их личной истории и почему-то могут делать подозрительно точные догадки об их предпочтениях и прогнозировать их поведение в различных ситуациях.

А по мере совершенствования ИИ-моделей возможности для прогнозирования поведения и личностных черт на основе общедоступной информации о человеке будут только расти.

Подумайте об этом, будьте ответственными родителями. Ситуации, в которых действительно имеет смысл делиться информацией о своих детях с широкой публикой, очень редки. Чаще всего более уместно и достаточно делать это в приватной коммуникации в кругу семьи и близких, нежели в социальных сетях.

Ролик на эту тему от Дойче Телеком заслуживает максимального распространения.
❤16👍6🔥2
Солов: Правовой режим данных должен определяться целями их использования, а не абстрактными категориями

Напомню про хорошую статью проф. Дэниела Солова Data Is What Data Does: Regulating Based on Harm and Risk Instead of Sensitive Data 118 Nw. U. L. Rev. (forthcoming 2024).

В своём интро на Линкдине он напоминает о положении дел:

США ранее стояли на мировой обочине, используя узкое неевропейское понимание понятия персональных данных.

Начиная с 2018, ситуация поменялась. Штаты (один за другим) стали принимать на своём уровне регулирование, исходящее из гармонизированного с европейским широкого концепта персональных данных. Заодно стали выделяться спецкатегории (чувствительные данные).

Однако Солов полагает, что в контексте спецкатегорий радоваться особо нечему, так как при современном уровне техники из очень многих "обычных" персональных данных потенциально можно вывести (infer) "чувствительные".

Точность предсказательных ИИ-моделей только растёт. Возможность и точность предсказывания "чувствительных" данных на основе "обычных" растёт соответственно, а осмысленность выделения "чувствительных" данных и их дополнительной защиты по этому формальному критерию — падает:

In today’s age of modern data analytics, it is increasingly possible to make inferences about personal data from non-personal data and about sensitive data from non-sensitive data. When such data is used to make inferences about personal or sensitive data, this data can count as data in these respective categories.

Поэтому использование и защита персональных данных, их правовой режим, должны регулироваться не по критерию их относимости к категории "чувствительных" (data category), а по целям обработки, иначе говоря — по сценариям использования (data use). Иной подход, по мнению Солова, обречён на провал.
👍10🔥1👏1
Угрожает ли развитие ИИ существованию человечества?

Запись прямого эфира дебатов на эту тему с площадки Кембриджского союза.

Аргументы в поддержку тезиса:

Профессор Джоанна Брайсон - профессор этики и технологий в Школе Херти, Берлин. Консультировала Красный Крест по вопросам автономного оружия и участвовала в работе всепартийной группы Парламента Британии по искусственному интеллекту.

Ребекка Горман - основатель и генеральный директор компании Aligned AI, консалтинговой группы в области информационных технологий, работающей над тем, чтобы ИИ-системы функционировали в соответствии с этическими нормами и ценностями человека. Вошла в Топ 100 женщин, продвигающих ИИ в 2023 году по версии REWork, номинирована на премию VentureBeat "Женщины в ИИ" в номинации "Ответственное применение ИИ и этика", является членом Форума основателей Fortune.

Коннор Лихи - основатель и генеральный директор исследовательского стартапа Conjecture, специализирующегося на теории просоциальных ИИ-систем (AI alignment). Он также является соучредителем и одним из руководителей EleutherAI, некоммерческой организации, занимающейся продвижением исследований в области искусственного интеллекта с открытым исходным кодом. В возрасте 24 лет он провёл реверс-инжиниринг большой языковой модели OpenAI GPT-2.

Оппоненты:

Профессор Джуди Вайцман - почетный профессор социологии Лондонской школы экономики и главный исследователь проекта "Женщины в дата саенс и искусственном интеллекте" Института Алана Тьюринга. Среди её книг - "Технофеминизм" и "Pressed for TIme: The Acceleration of Life in Digital Capitalism".

Доктор Индра Джош - директор по вопросам здравоохранения, исследований и искусственного интеллекта в компании Palantir Technologies. Ранее она была директором по искусственному интеллекту в NHSx, по цифровому здравоохранению и искусственному интеллекту в NHS England и членом Технической консультативной группы ВОЗ по цифровому здравоохранению.
❤6👍5
Clearview AI выиграли апелляцию по штрафу за незаконный сбор биометрии

Британский трибунал первой инстанции посчитал, что поднадзорный им орган по защите данных (ICO) не имел компетенции привлекать американскую компанию к ответственности.

Напомню, что бизнес-модель Clearview AI такова:
1) по всему интернету собираются общедоступные фотографии людей,
2) из каждого фото извлекаются биометрические данные, на основе которых создаются биометрические шаблоны, формируется база данных,
3) полиции и спецслужбам различных государств даётся возможность сопоставлять имеющиеся у них фотографии с базой данных Clearview и таким образом идентифицировать людей.

Трибунал установил, что компания Clearview, хотя сама и не "отслеживает поведение" на подведомственной ICO территории (один из критериев экстерриториального применения EU GDPR и UK GDPR), но предоставляет для этого технические средства своим клиентам, а также определяет цели и средства обработки персональных данных.

Трибунал отметил, что по обстоятельствам дела этого было бы достаточно, чтобы признать компанию сооператором обработки персональных данных наряду с её клиентами.

Вместе с тем, трибунал посчитал, что сценарий работы Clearview не входит в предмет регулирования GDPR, так как пользователями сервиса биометрической идентификации компании являются только полицейские и спецслужбы иностранных государств (либо их частные подрядчики, но действующие в публичном интересе).

Трибунал особо отметил, что доказательств использования сервиса частными компаниями и лицами в своих интересах на сегодня не имеется, вопрос использования сервиса британскими госорганами в рассматриваемом деле не ставился, а обработку персональных данных иностранными государственными органами GDPR не регулирует.
😱6👍1
Robocounsel
Clearview AI выиграли апелляцию по штрафу за незаконный сбор биометрии Британский трибунал первой инстанции посчитал, что поднадзорный им орган по защите данных (ICO) не имел компетенции привлекать американскую компанию к ответственности. Напомню, что бизнес…
Что вообще происходит с Clearview AI?

Роберт Бейтман делится текущим положением:

- noyb Шремса добилась удаления из базы компании только одного биометрического шаблона на конкретного заявителя, и штрафа в 10 тыс. евро от Гамбургского надзорного органа,
- Итальянский надзорный орган наложил на компанию штраф в 20 млн. евро и запретил обрабатывать данные итальянцев,
- похожие решения были вынесены надзорными органами Греции, Франции и Великобритании

В результате компания ушла с рынка Европейского экономического пространства и Великобритании. По крайней мере, так заявляет сама компания.

Повлиять на саму практику работы компании удалось лишь американским правозащитникам — в мае Clearview AI подписала мировое соглашение с Американским союзом защиты гражданских свобод (ACLU).

По соглашению компания признала обязанность соблюдать требования закона штата Иллинойс в отношении обработки биометрии (BIPA) и согласилась:
- прекратить продажу биометрических данных частным клиентам на всей территории США,
- предоставить резидентам штата Иллинойс право на отказ от обработки биометрических данных (opt-out).
👍1
Robocounsel
Европарламент [ещё] не принял проект Регламента ЕС по ИИ Однако пройден один из важных этапов. В четверг два комитета Европарламента — по гражданским свободам (LIBE) и внутреннему рынку (IMCO) — проголосовали за принятие пакета поправок, ранее предложенных…
Совет ЕС поддержал предложение Европарламента об особом регулировании базовых ИИ-моделей

Напомню, что речь идёт о Регламенте ЕС по ИИ, проект которого сейчас проходит межведомственное согласование между Еврокомиссией, Советом ЕС и Европарламентом.

О том, что именно предложил Европарламент для базовых моделей (foundation models), таких как GPT-4, я писал ранее.

Совет ЕС (состоящий из представителей исполнительной власти каждого из государств в составе ЕС) в целом согласился с тем, что базовым моделям нужно особое регулирование, но пошёл ещё дальше.

Совет предлагает трёхуровневый подход:

1. Для всех базовых моделей:
— публикация (а) определённой документации по модели, (б) результатов тестирования на уязвимости экспертами разработчика и (в) оценки модели на основе стандартизированных протоколов,
— информационная поддержка, позволяющая третьим лицам успешно тестировать и применять базовую модель для своих целей и в своих продуктах,
— отчёт о материалах, использованных для обучения модели, включая информацию о соблюдении интересов правообладателей и подтверждение предоставления им права отказаться от включения их материалов в обучающую выборку (opt-out),
— маркировка сгенерированного ИИ контента.

2. Для продвинутых базовых моделей, дополнительно к указанному в п.1:
— тестирование на уязвимости независимыми экспертами, одобренными Ведомством по ИИ Европейского Союза (AI Office, вновь создаваемый орган), с предоставлением отчётов этому Ведомству,
— управление системными рисками (для общества в целом),
— независимый внешний аудит соблюдения разработчиком требований Регламента, включая требования о раскрытии информации.

Для отнесения модели к числу продвинутых (very capable) предлагается оценивать, превышает ли производительность модели определённое и регулярно пересматриваемое Еврокомиссией значение в FLOPS, а также другие факторы, включая потенциальный ущерб, учитывая количество систем и приложений, использующих модель.

3. Для масштабно применяемых систем ИИ общего назначения
— тестирование на уязвимости независимыми экспертами, одобренными Ведомством по ИИ Европейского Союза (AI Office, вновь создаваемый орган), с предоставлением отчётов этому Ведомству,
— обязательное внедрение системы управления рисками.

Для отнесения к масштабно применяемым предлагаются критерии: не менее 10 тыс. бизнес-пользователей или не менее 45 млн. зарегистрированных конечных пользователей.

Ведомству по ИИ ЕС предлагается предоставить полномочия устанавливать дополнительные требования к продвинутым базовым моделям и масштабно применяемым системам ИИ общего назначения. Также предлагается уполномочить ведомство проводить расследования и, в качестве крайней меры, приостанавливать эксплуатацию поднадзорных моделей и систем.
👍3🔥2🤯1
Инъекция дипфейков в реальность

Некоторые из вас уже знакомы с тем, как злоумышленники могут добиваться отображения нужной им информации в компьютерной системе за счёт ввода хитрой команды, направленной на обход мер защиты (prompt injection).

Интересная инъекция произошла вчера во французской газете "Либерасьон". Издание опубликовало подлинный кадр с демонстрации в Каире в среду, на котором изображён мужчина с плакатом.

Вместе с тем, изображение на плакате, занявшее в результате существенную часть первой полосы газеты (ребёнок под завалами) — дипфейк, не имеющий отношения к недавним событиям, которые послужили поводом к демонстрации.

Дипфейк с ребёнком появился ещё в феврале этого года и в совсем другом контексте — тогдашнего землетрясения на границе Сирии и Турции.

Таким образом, демонстрант, заведомо или по неосторожности, произвёл инъекцию дипфейка в подлинный фотокадр, разошедшийся по миру.
😢4❤1👍1
2023-0137_d3269_opinion_en.pdf
426.5 KB
Обновлённая позиция EDPS по проекту Регламента ЕС по ИИ

Европейский инспектор по защите данных (EDPS) опубликовал заключение по проекту Регламента ЕС по искусственному интеллекту с учётом вновь предложенных поправок и обсуждений:

1) EDPS настаивает на "красных линиях", обозначенных в их прежнем совместном с EDPB заключении по проекту Регламента. В частности, оборот ряда неприемлемо опасных систем ИИ должен быть запрещён.

2) EDPS настаивает на том, что уже введённые в эксплуатацию системы ИИ, в особенности включённые в крупномасштабные ИТ-системы ЕС, не должны исключаться из сферы действия Регламента. Напротив, нужно требовать их соответствия требованиям Регламента с даты его вступления в силу.

3) EDPS приветствует назначение себя (а) нотифицированным органом, (б) органом по надзору за рынком и (в) компетентным органом по надзору за разработкой, поставкой или использованием систем ИИ органами Евросоюза. EDPS предлагает уточнить его полномочия и обозначает необходимость в кадрах и финансировании.

4) EDPS поддерживает включение в Регламент положений о праве граждан подавать жалобы о нарушении своих прав в уполномоченный орган и обжаловать принятые им решения в суде. Полномочия по рассмотрению жалоб EDPS предлагает закрепить за собой и национальными органами по защите прав субъектов персональных данных.

5) EDPS поддерживает создание Ведомства по искусственному интеллекту Европейского союза (AI Office) и предлагает предоставить ему в новом Ведомстве:
- право голоса наряду с национальными органами при координации Ведомством совместных расследований,
- полномочия по урегулированию разногласий о порядке применения положений Регламента между национальными органами,
- полномочия по подтверждению квалификации лиц, включаемых во всесоюзный пул экспертов,
- полномочия по содействию национальным органам при создании регуляторных песочниц.

6) Функции секретариата нового Ведомства EDPS предлагает возложить на уже имеющийся собственный секретариат, чтобы использовать уже имеющиеся опыт и ресурсы.
👍6
Продукт на базе больших языковых моделей, да без галлюцинаций?

В мае я сообщал, что Лексис Нексис, один из старейших разработчиков справочных правовых систем (СПС), запустил новый сервис Lexis+ AI.

В рамках запуска доступ был предоставлен только ограниченному числу американских юрфирм. Вчера сервис был открыт для всего американского рынка.

В пресс-релизе смело заявляется, что Lexis+ AI работает «без галлюцинаций», по крайней мере в части выдачи ссылок на правовые источники.

Продукт предлагает четыре основные функциональные возможности:
1) поиск информации в режиме диалога,
2) составление проектов документов,
3) резюмирование текста,
4) запросы в стиле "Поговори с моими документами" для вплоть до 10 файлов одновременно.

Ни одна из этих функций сама по себе не является новой. В Perplexity.AI есть диалоговый веб-поиск с подстрочными гиперссылками на все источники, а все остальное уже есть во многих других ГенИИ-инструментах. Кроме того, в Lexis+ AI используются большие языковые модели (БЯМ) Claude-2 от Anthropic и GPT-4 от OpenAI - те же модели, что и в других популярных ИИ-приложениях.

Разница в том, что Лексис Нексис является признанным и надежным поставщиком юридической информации, поэтому компания обещает, что, в отличие от неспециализированных ИИ-приложений, их продукт выдаёт результаты только на основе их собственной базы данных, содержание которой формировалось десятилетиями и тщательно выверено экспертами.

Технически это означает, как следует из пресс-релиза:
1) они провели дообучение базовых моделей OpenAI и Anthropic, используя для этого выборку из своей базы данных,
2) они привлекли профильных экспертов для оценки ответов дообученных моделей с целью дальнейшего повышения их качества,
3) они использовали метод поисково-дополненной генерации (ПДГ, retrieval augmented generation, RAG), при котором ответы системы не придумываются БЯМ, а ограничиваются тем, что смогла найти поисковая подсистема в заранее определённых источниках, (это может быть внутренний поисковый индекс, граф знаний и т. д.), которые затем резюмируются генерирующей подсистемой на основе БЯМ.

Теоретически это действительно должно привести к созданию более надежного продукта для юристов.

Тем не менее, я не могу серьёзно воспринимать заявление в заголовке пресс-релиза о том, что продукт работает «без галлюцинаций». Даже далее по тексту самого пресс-релиза компания смягчает это утверждение, заявляя, что риск «выдумывания» не исключен, а «минимизирован».

Известные эксперты в области машинного обучения, такие как Ян ЛеКун (Мета), отмечают, что галлюцинации являются конструктивным и неотъемлемым недостатком современных архитектур БЯМ, поэтому пока никто не может свести их к нулю, это технически невозможно.

Очевидно, что риск возникновения галлюцинаций в справочно-правовом программном продукте – очень существенное, если не сказать неприемлемое – ограничение. Насколько этот риск действительно минимизирован, мы не знаем и не узнаем до тех пор, пока продукт не пройдёт тестирование и валидацию абсолютно независимым третьим лицом (или, ещё лучше, несколькими независимыми командами).

Будем надеяться, что разработчик будет открыт к подобной независимой проверке своего продукта. Без неё доверие пользователей к этому продукту будет существенно ограничено.
👍14
Президент США подписал указ о мерах по обеспечению безопасности, защищённости и надёжности систем искусственного интеллекта

Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры:

— Компании, разрабатывающие базовые ИИ-модели, которые представляют серьёзный риск для национальной или экономической безопасности, здравоохранения или безопасности граждан, будут обязаны уведомлять об этом правительство и предоставлять отчёты об оценке защищенности этих моделей (по результатам редтиминга).

— Национальный институт стандартов и технологий (NIST) разработает стандарты для проверки и оценки защищённости ИИ-моделей.

— Министерство национальной безопасности (Department of Homeland Security) будет отвечать за применение этих стандартов на объектах критической инфраструктуры и учредит Ведомство по безопасности и защите систем искусственного интеллекта (AI Safety and Security Board), а также совместно с Министерством энергетики примет меры по предотвращению угроз критической инфраструктуре, создаваемых применением ИИ-систем наряду с угрозами химической, биологической, радиологической, ядерной безопасности и кибербезопасности.

— Министерство торговли разработает руководство по маркировке материалов, сгенерированных ИИ, и по подтверждению достоверности информации и материалов, распространяемых государственными органами.

— Совет по национальной безопасности и Администрация президента разработают руководство по этичному и эффективному применению ИИ вооружёнными силами и органами разведки и по противодействию военному применению ИИ силами противника.

— Федеральное правительство приоритизирует разработку и применение технологий, обеспечивающих конфиденциальную обработку персональных данных (privacy-preserving techniques).

Также указ предусматривает ряд мер рекомендательного, образовательного и вспомогательного характера для предотвращения алгоритмической дискриминации, для защиты интересов потребителей, пациентов, учащихся, трудящихся, предпринимателей, а также для продвижения исследований и международного сотрудничества в области искусственного интеллекта.
👍3❤2🤬1
Robocounsel
Президент США подписал указ о мерах по обеспечению безопасности, защищённости и надёжности систем искусственного интеллекта Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры: — Компании, разрабатывающие…
Опубликован текст Указа о безопасном ИИ

Речь об указе Президента США, упомянутом во вчерашнем посте.

По тексту содержится множество интересных подробностей, в том числе по определениям, порядку и срокам выполнения мероприятий.

В частности, из текста становится более понятно, для разработчиков каких ИИ-моделей будут установлены требования по отчётности перед федеральным правительством. Речь по тексту указа идёт о моделях "двойного назначения", но из определения следует, что под него могут подпадать уже существующие наиболее продвинутые базовые ИИ-модели:

"Базовая модель двойного назначения" означает ИИ-модель, которая:
- обучается на широком наборе данных, обычно с применением самоконтролируемого (self-supervised) обучения,
- содержит не менее нескольких десятков миллиардов параметров (для примера, в GPT-3 их 175 миллиардов - А. Т.),
- применима в широком диапазоне контекстов и
- демонстрирует или может быть легко модифицирована для демонстрации высокого уровня производительности при решении задач, представляющих серьезный риск для национальной безопасности, экономической безопасности, здоровья или безопасности населения страны, в частности, за счёт:
(i) существенного снижения входного барьера для неспециалистов при решении задач по разработке, синтезу, приобретению или применению химического, биологического, радиологического или ядерного оружия;
(ii) создания условий для проведения интенсивных наступательных киберопераций путем автоматизированного обнаружения и эксплуатации уязвимостей в отношении широкого круга потенциальных объектов кибератак; или
(iii) обеспечения обхода мер контроля или надзора со стороны путем введения их в заблуждение или сокрытия от них информации.

При этом ИИ-модели считаются отвечающими этому определению, даже если они предоставляются конечным пользователям с техническими средствами защиты, которые направлены на предотвращение использования небезопасных возможностей.

Вместе с тем, требования по отчётности будут касаться только моделей, для обучения которых требуется определённый объём вычислительной мощности в FLOPS, который может периодически пересматриваться.

Также дано нормативное определение редтиминга в контексте ИИ:

"ИИ-редтиминг" означает структурированное тестирование, направленное на поиск недостатков и уязвимостей в системе ИИ, проводимое как правило в контролируемой среде и во взаимодействии с разработчиками ИИ.

ИИ-редтиминг как правило проводится специальными "красными командами", использующими состязательные методы для выявления недостатков и уязвимостей, таких как вредные или дискриминационные результаты работы системы ИИ, непредвиденное или нежелательное поведение системы, а также ограничения или потенциальные риски, связанные с некорректным использованием системы.

К фреймворку НИСТ по управлению рисками ИИ-систем, о котором я писал в начале года (NIST AI 100-1), будет подготовлен вспомогательный материал с рекомендациями по безопасным разработке и применению систем генеративного ИИ.

Помимо этого, рекомендации по безопасной разработке систем генеративного ИИ, а также систем двойного назначения, будут подготовлены в виде вспомогательного материала к другому фреймворку НИСТ, Secure Software Development Framework.
👍2