Новости по сертификации CIPP/E
Если вы работаете с персональными данными и задумываетесь о сдаче этого профессионального экзамена, обратите внимание, что в октябре грядёт очередное обновление методических материалов IAPP.
Для тех из вас, кто уже приобрёл моё пособие по подготовке к экзамену (за последнее время таковых набралось уже 65), есть хорошие новости — в течение месяца после обновления материалов IAPP я обновлю и своё пособие с учётом изменений. Ссылка на пособие, которая у вас есть, продолжит работать, контент будет актуален примерно до октября 2024 г.
Для интересующихся приобретением пособия сейчас новости тоже хорошие: оплатившие доступ до конца сентября также получат доступ к этому обновлению без доплаты.
Детали об экзамене и пособии.
Оплатить доступ можно по ссылке.
Если вы работаете с персональными данными и задумываетесь о сдаче этого профессионального экзамена, обратите внимание, что в октябре грядёт очередное обновление методических материалов IAPP.
Для тех из вас, кто уже приобрёл моё пособие по подготовке к экзамену (за последнее время таковых набралось уже 65), есть хорошие новости — в течение месяца после обновления материалов IAPP я обновлю и своё пособие с учётом изменений. Ссылка на пособие, которая у вас есть, продолжит работать, контент будет актуален примерно до октября 2024 г.
Для интересующихся приобретением пособия сейчас новости тоже хорошие: оплатившие доступ до конца сентября также получат доступ к этому обновлению без доплаты.
Детали об экзамене и пособии.
Оплатить доступ можно по ссылке.
❤4👍3
Robocounsel
Опубликован первый в СНГ проект Цифрового кодекса с нормами об ИИ Речь о Цифровом кодексе Кыргызской Республики (ЦК КР), о котором я писал ранее. В работе участвовало очень много коллег, но я выделю Николая Дмитрика, без чьего несравнимого кодификационного…
ЦИФРОВОЙ_КОДЕКС_ФИНАЛ_для_рассылки.pdf
877.5 KB
Текст проекта Цифрового кодекса Кыргызской Республики
В июле я уже анонсировал публикацию этого документа, в работе над которым принимал участие (написал проект главы по системам ИИ).
В связи с тем, что законопроект перестал открываться по прежней ссылке, прилагаю его текст.
В июле я уже анонсировал публикацию этого документа, в работе над которым принимал участие (написал проект главы по системам ИИ).
В связи с тем, что законопроект перестал открываться по прежней ссылке, прилагаю его текст.
🔥8🥰3❤1
Сторис на канале?
Мессенджер Телеграм расширил функционал сторис, теперь они стали доступны и для каналов.
Но при условии, что за них проголосуют подписчики Телеграм Премиум.
Если у вас есть такая подписка, за появление сторис на этом канале вы можете проголосовать по ссылке.
Мессенджер Телеграм расширил функционал сторис, теперь они стали доступны и для каналов.
Но при условии, что за них проголосуют подписчики Телеграм Премиум.
Если у вас есть такая подписка, за появление сторис на этом канале вы можете проголосовать по ссылке.
Telegram
Robocounsel
Проголосуйте за канал, чтобы он получил больше возможностей.
😢3👍2
Спасибо всем, сторис запущены. Если они у вас не видны, обновите Телеграм до последней версии.
🔥3👍2👏1
Внедряете чатботы для ответов на вопросы на основе корпоративных данных?
Если в основе такого чатбота большая языковая модель (БЯМ, LLM), обратите внимание на два важных аспекта корпоративного управления внедрением ИИ в таком сценарии:
1. Новый вектор атаки
Открытие доступа к корпоративным данным с помощью чат-ботов на базе БЯМ создает дополнительный риск раскрытия персональных данных и конфиденциальной информации и злоупотребления ими.
Помните о том, что БЯМ-чатботы подвержены атакам типа prompt injection. Учитывая публикации, подтверждающие возможность извлечения конфиденциальных данных при взаимодействии с БЯМ-чатботом, подумайте о том, какие источники и категории данных используются для обучения БЯМ (а также для последующих индексации и поиска в случае RAG-систем), и о контроле доступа и безопасности в отношении системы, введённой в эксплуатацию.
В зависимости от контекста может быть целесообразно предоставлять доступ не всем пользователям по умолчанию, а только при наличии реальной необходимости, с протоколированием фактов доступа и с регулярным тестированием информационной безопасности ваших систем.
2. Возможный конфликт с принципом минимизации данных
Внедрение БЯМ может стимулировать компании к хранению избыточного количества данных, включая персональные данные, что противоречит принципу минимизации персональных данных.
Во всех юрисдикциях, имеющих законодательство на основе Конвенции 108 Совета Европы (включая ЕС и РФ), несоблюдение этого принципа чревато штрафами и другими мерами регуляторного воздействия.
Ранее организации уже сталкивались с подобной проблемой при злоупотреблении "озёрами данных" ("data lakes"). Ставка на максимизацию объёмов данных для обучения БЯМ влечёт аналогичные риски. Чтобы не повторять прежних ошибок, учитывайте эти риски в своей стратегии работы с данными.
Если в основе такого чатбота большая языковая модель (БЯМ, LLM), обратите внимание на два важных аспекта корпоративного управления внедрением ИИ в таком сценарии:
1. Новый вектор атаки
Открытие доступа к корпоративным данным с помощью чат-ботов на базе БЯМ создает дополнительный риск раскрытия персональных данных и конфиденциальной информации и злоупотребления ими.
Помните о том, что БЯМ-чатботы подвержены атакам типа prompt injection. Учитывая публикации, подтверждающие возможность извлечения конфиденциальных данных при взаимодействии с БЯМ-чатботом, подумайте о том, какие источники и категории данных используются для обучения БЯМ (а также для последующих индексации и поиска в случае RAG-систем), и о контроле доступа и безопасности в отношении системы, введённой в эксплуатацию.
В зависимости от контекста может быть целесообразно предоставлять доступ не всем пользователям по умолчанию, а только при наличии реальной необходимости, с протоколированием фактов доступа и с регулярным тестированием информационной безопасности ваших систем.
2. Возможный конфликт с принципом минимизации данных
Внедрение БЯМ может стимулировать компании к хранению избыточного количества данных, включая персональные данные, что противоречит принципу минимизации персональных данных.
Во всех юрисдикциях, имеющих законодательство на основе Конвенции 108 Совета Европы (включая ЕС и РФ), несоблюдение этого принципа чревато штрафами и другими мерами регуляторного воздействия.
Ранее организации уже сталкивались с подобной проблемой при злоупотреблении "озёрами данных" ("data lakes"). Ставка на максимизацию объёмов данных для обучения БЯМ влечёт аналогичные риски. Чтобы не повторять прежних ошибок, учитывайте эти риски в своей стратегии работы с данными.
👍6❤1
Getty Images выпустили свой генератор изображений
Компания, обладатель одной из крупнейших библиотек стоковых фото, анонсировала, что созданная ими в партнёрстве с Nvidia машинно-обученная модель обучена только на их собственном лицензированном контенте.
При этом компания заявляет, что будет делиться с авторами изображений доходами от эксплуатации модели.
До настоящего времени ни один игрок на этом рынке не реализовал подобную бизнес-модель. Доминирующий на сегодня бизнес-подход — обучать модели на любом контенте, который доступен в интернете, не спрашивая авторов и правообладателей, и надеясь на fair use или иные исключения из режима охраны изображений в случае споров.
Как отметила в Твиттере Лилиан Эвардс, завкафедрой права, инноваций и общества юридического факультета Ньюкаслского ун-та, переход к таким моделям может быть сопоставим с переходом в своё время от торрентов к стриминговым сервисам.
От Дикого Запада к цивилизованному рынку...
Компания, обладатель одной из крупнейших библиотек стоковых фото, анонсировала, что созданная ими в партнёрстве с Nvidia машинно-обученная модель обучена только на их собственном лицензированном контенте.
При этом компания заявляет, что будет делиться с авторами изображений доходами от эксплуатации модели.
До настоящего времени ни один игрок на этом рынке не реализовал подобную бизнес-модель. Доминирующий на сегодня бизнес-подход — обучать модели на любом контенте, который доступен в интернете, не спрашивая авторов и правообладателей, и надеясь на fair use или иные исключения из режима охраны изображений в случае споров.
Как отметила в Твиттере Лилиан Эвардс, завкафедрой права, инноваций и общества юридического факультета Ньюкаслского ун-та, переход к таким моделям может быть сопоставим с переходом в своё время от торрентов к стриминговым сервисам.
От Дикого Запада к цивилизованному рынку...
X (formerly Twitter)
Lilian Edwards on X
This is a fascinating worked through model of how the market is ging to deal wcopyrt content in future rather than the Stability / GpT wild west approach 1/n https://t.co/9Ww1aPZwlf
👍8❤2
Чатботы в образовании
Майкрософт опубликовал небольшую библиотеку промтов для использования чатботов на основе больших языковых моделей в образовательном процессе.
На английском и в основном для ГПТ-4 и Бинг, но может подойти и под другие модели.
В собрание вошли промты Этана Моллика, доцента Уортонской школы бизнеса и известного популяризатора использования больших языковых моделей в образовании.
Майкрософт опубликовал небольшую библиотеку промтов для использования чатботов на основе больших языковых моделей в образовательном процессе.
На английском и в основном для ГПТ-4 и Бинг, но может подойти и под другие модели.
В собрание вошли промты Этана Моллика, доцента Уортонской школы бизнеса и известного популяризатора использования больших языковых моделей в образовании.
GitHub
GitHub - microsoft/prompts-for-edu
Contribute to microsoft/prompts-for-edu development by creating an account on GitHub.
👍5
Из истории смелых, но несбывшихся прогнозов
"В течение одного поколения, я убежден, лишь немногие области интеллекта останутся вне сферы досягаемости машин — проблемы создания 'искусственного интеллекта' будут в значительной степени решены."
Марвин Ли Минский, 1967 год
P.S. Поколение обычно принимается равным 20-30 годам, то есть автор цитаты, один из основоположников ИИ как отдельного направления научных исследований, ожидал решения этой проблемы не позже чем к 1987-1997 году.
"В течение одного поколения, я убежден, лишь немногие области интеллекта останутся вне сферы досягаемости машин — проблемы создания 'искусственного интеллекта' будут в значительной степени решены."
Марвин Ли Минский, 1967 год
P.S. Поколение обычно принимается равным 20-30 годам, то есть автор цитаты, один из основоположников ИИ как отдельного направления научных исследований, ожидал решения этой проблемы не позже чем к 1987-1997 году.
❤4🤔3
Robocounsel
2302.08927 (1).pdf
Дополненная реальность и пространственные данные
В начале года я уже писал о рисках, которые создаёт для приватности использование шлемов виртуальной реальности.
Пять минут наблюдения за вашим аватаром в метаверсе позволяют составить точный профиль, позволяющий вас идентифицировать, даже если вы сменили аватар, при любом последующем вашем визите в виртуальную реальность.
К счастью для прайваси-активистов, метаверс сдулся, не успев никому особо навредить. Однако технологические гиганты пытаются спасти свои инвестиции, несколько изменив стратегию. С чисто виртуальной реальностью (VR) не получилось, поэтому теперь Эпл, Мета* и другие игроки продвигают технологии смешанной или дополненной реальности (AR).
Джозеф Джером, доцент Университета Тампы и прайваси-юрист, ранее отвечавший за VR/AR-политику в компании Мета, предупреждает о дополнительных рисках для неприкосновенности частной жизни, создаваемые AR-оборудованием.
Пока все сосредоточены на рисках, связанных со сбором данных с датчиков на теле, мало кто обращает внимание на риски, касающиеся пространственных датчиков, за счёт которых AR-оборудование, по сути, картографирует пространство, в котором находится пользователь.
Так, Vision Pro, новое устройство дополненной реальности от Эпл использует лидар (за счёт датчиков такого типа, в частности, "видят" окружающую дорожную обстановку беспилотные автомобили).
Компании сохраняют полученные с датчиков AR-устройств пространственные данные, и, по утверждению Джерома, имеют склонность хранить эту информацию без ограничения по времени и не предоставляя пользователю деталей о том, с какой степенью точности картографирован его дом или иные помещения.
С учётом развития технологий несложно представить, какие риски это может создавать, особенно в перспективе, не только для приватности, но и для корпоративной или национальной безопасности, если сбор и использование таких данных будут бесконтрольными.
Одних голословных заявлений от разработчиков о том, что "всё будет хорошо", тут явно недостаточно.
* Деятельность Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram запрещена в РФ
В начале года я уже писал о рисках, которые создаёт для приватности использование шлемов виртуальной реальности.
Пять минут наблюдения за вашим аватаром в метаверсе позволяют составить точный профиль, позволяющий вас идентифицировать, даже если вы сменили аватар, при любом последующем вашем визите в виртуальную реальность.
К счастью для прайваси-активистов, метаверс сдулся, не успев никому особо навредить. Однако технологические гиганты пытаются спасти свои инвестиции, несколько изменив стратегию. С чисто виртуальной реальностью (VR) не получилось, поэтому теперь Эпл, Мета* и другие игроки продвигают технологии смешанной или дополненной реальности (AR).
Джозеф Джером, доцент Университета Тампы и прайваси-юрист, ранее отвечавший за VR/AR-политику в компании Мета, предупреждает о дополнительных рисках для неприкосновенности частной жизни, создаваемые AR-оборудованием.
Пока все сосредоточены на рисках, связанных со сбором данных с датчиков на теле, мало кто обращает внимание на риски, касающиеся пространственных датчиков, за счёт которых AR-оборудование, по сути, картографирует пространство, в котором находится пользователь.
Так, Vision Pro, новое устройство дополненной реальности от Эпл использует лидар (за счёт датчиков такого типа, в частности, "видят" окружающую дорожную обстановку беспилотные автомобили).
Компании сохраняют полученные с датчиков AR-устройств пространственные данные, и, по утверждению Джерома, имеют склонность хранить эту информацию без ограничения по времени и не предоставляя пользователю деталей о том, с какой степенью точности картографирован его дом или иные помещения.
С учётом развития технологий несложно представить, какие риски это может создавать, особенно в перспективе, не только для приватности, но и для корпоративной или национальной безопасности, если сбор и использование таких данных будут бесконтрольными.
Одних голословных заявлений от разработчиков о том, что "всё будет хорошо", тут явно недостаточно.
* Деятельность Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram запрещена в РФ
Telegram
Robocounsel
Пять минут в Метаверсе — и вы под колпаком
Исследователи Калифорнийского университета на выборке в свыше 50 тыс. человек исследовали, насколько возможно вычислить человека по его поведению в средах виртуальной реальности типа Метаверса.
Оказалось, что довольно…
Исследователи Калифорнийского университета на выборке в свыше 50 тыс. человек исследовали, насколько возможно вычислить человека по его поведению в средах виртуальной реальности типа Метаверса.
Оказалось, что довольно…
❤4👍1
Без согласия
Дети, как и все люди, имеют право на неприкосновенность частной жизни. Однако многие родители не задумываются об этом.
Инстаграм-ролики, фотографии, видео, которые родители выкладывают в сеть, нередко содержат избыточно подробную и иногда очень чувствительную информацию об их детях.
Делятся родители — а разгребать последствия потом придётся самим детям. Они подрастут, и столкнутся с тем, что совершенно незнакомые им люди или компании почему-то слишком подробно осведомлены об их личной истории и почему-то могут делать подозрительно точные догадки об их предпочтениях и прогнозировать их поведение в различных ситуациях.
А по мере совершенствования ИИ-моделей возможности для прогнозирования поведения и личностных черт на основе общедоступной информации о человеке будут только расти.
Подумайте об этом, будьте ответственными родителями. Ситуации, в которых действительно имеет смысл делиться информацией о своих детях с широкой публикой, очень редки. Чаще всего более уместно и достаточно делать это в приватной коммуникации в кругу семьи и близких, нежели в социальных сетях.
Ролик на эту тему от Дойче Телеком заслуживает максимального распространения.
Дети, как и все люди, имеют право на неприкосновенность частной жизни. Однако многие родители не задумываются об этом.
Инстаграм-ролики, фотографии, видео, которые родители выкладывают в сеть, нередко содержат избыточно подробную и иногда очень чувствительную информацию об их детях.
Делятся родители — а разгребать последствия потом придётся самим детям. Они подрастут, и столкнутся с тем, что совершенно незнакомые им люди или компании почему-то слишком подробно осведомлены об их личной истории и почему-то могут делать подозрительно точные догадки об их предпочтениях и прогнозировать их поведение в различных ситуациях.
А по мере совершенствования ИИ-моделей возможности для прогнозирования поведения и личностных черт на основе общедоступной информации о человеке будут только расти.
Подумайте об этом, будьте ответственными родителями. Ситуации, в которых действительно имеет смысл делиться информацией о своих детях с широкой публикой, очень редки. Чаще всего более уместно и достаточно делать это в приватной коммуникации в кругу семьи и близких, нежели в социальных сетях.
Ролик на эту тему от Дойче Телеком заслуживает максимального распространения.
YouTube
A Message from Ella | Without Consent
Without Consent
We are happy to share pictures - whether of holidays, celebrations and private moments - directly with each other.
That's beautiful and connects us.
However, once online, this personal data is available worldwide and indefinitely.
And that…
We are happy to share pictures - whether of holidays, celebrations and private moments - directly with each other.
That's beautiful and connects us.
However, once online, this personal data is available worldwide and indefinitely.
And that…
❤16👍6🔥2
Солов: Правовой режим данных должен определяться целями их использования, а не абстрактными категориями
Напомню про хорошую статью проф. Дэниела Солова Data Is What Data Does: Regulating Based on Harm and Risk Instead of Sensitive Data 118 Nw. U. L. Rev. (forthcoming 2024).
В своём интро на Линкдине он напоминает о положении дел:
США ранее стояли на мировой обочине, используя узкое неевропейское понимание понятия персональных данных.
Начиная с 2018, ситуация поменялась. Штаты (один за другим) стали принимать на своём уровне регулирование, исходящее из гармонизированного с европейским широкого концепта персональных данных. Заодно стали выделяться спецкатегории (чувствительные данные).
Однако Солов полагает, что в контексте спецкатегорий радоваться особо нечему, так как при современном уровне техники из очень многих "обычных" персональных данных потенциально можно вывести (infer) "чувствительные".
Точность предсказательных ИИ-моделей только растёт. Возможность и точность предсказывания "чувствительных" данных на основе "обычных" растёт соответственно, а осмысленность выделения "чувствительных" данных и их дополнительной защиты по этому формальному критерию — падает:
In today’s age of modern data analytics, it is increasingly possible to make inferences about personal data from non-personal data and about sensitive data from non-sensitive data. When such data is used to make inferences about personal or sensitive data, this data can count as data in these respective categories.
Поэтому использование и защита персональных данных, их правовой режим, должны регулироваться не по критерию их относимости к категории "чувствительных" (data category), а по целям обработки, иначе говоря — по сценариям использования (data use). Иной подход, по мнению Солова, обречён на провал.
Напомню про хорошую статью проф. Дэниела Солова Data Is What Data Does: Regulating Based on Harm and Risk Instead of Sensitive Data 118 Nw. U. L. Rev. (forthcoming 2024).
В своём интро на Линкдине он напоминает о положении дел:
США ранее стояли на мировой обочине, используя узкое неевропейское понимание понятия персональных данных.
Начиная с 2018, ситуация поменялась. Штаты (один за другим) стали принимать на своём уровне регулирование, исходящее из гармонизированного с европейским широкого концепта персональных данных. Заодно стали выделяться спецкатегории (чувствительные данные).
Однако Солов полагает, что в контексте спецкатегорий радоваться особо нечему, так как при современном уровне техники из очень многих "обычных" персональных данных потенциально можно вывести (infer) "чувствительные".
Точность предсказательных ИИ-моделей только растёт. Возможность и точность предсказывания "чувствительных" данных на основе "обычных" растёт соответственно, а осмысленность выделения "чувствительных" данных и их дополнительной защиты по этому формальному критерию — падает:
In today’s age of modern data analytics, it is increasingly possible to make inferences about personal data from non-personal data and about sensitive data from non-sensitive data. When such data is used to make inferences about personal or sensitive data, this data can count as data in these respective categories.
Поэтому использование и защита персональных данных, их правовой режим, должны регулироваться не по критерию их относимости к категории "чувствительных" (data category), а по целям обработки, иначе говоря — по сценариям использования (data use). Иной подход, по мнению Солова, обречён на провал.
TeachPrivacy
Data Is What Data Does: Regulating Use, Harm, and Risk Instead of Sensitive Data
I posted a draft of my new article, Data Is What Data Does: Regulating Use, Harm, and Risk Instead of Sensitive Data. It is just a draft, and I welcome
👍10🔥1👏1
Угрожает ли развитие ИИ существованию человечества?
Запись прямого эфира дебатов на эту тему с площадки Кембриджского союза.
Аргументы в поддержку тезиса:
Профессор Джоанна Брайсон - профессор этики и технологий в Школе Херти, Берлин. Консультировала Красный Крест по вопросам автономного оружия и участвовала в работе всепартийной группы Парламента Британии по искусственному интеллекту.
Ребекка Горман - основатель и генеральный директор компании Aligned AI, консалтинговой группы в области информационных технологий, работающей над тем, чтобы ИИ-системы функционировали в соответствии с этическими нормами и ценностями человека. Вошла в Топ 100 женщин, продвигающих ИИ в 2023 году по версии REWork, номинирована на премию VentureBeat "Женщины в ИИ" в номинации "Ответственное применение ИИ и этика", является членом Форума основателей Fortune.
Коннор Лихи - основатель и генеральный директор исследовательского стартапа Conjecture, специализирующегося на теории просоциальных ИИ-систем (AI alignment). Он также является соучредителем и одним из руководителей EleutherAI, некоммерческой организации, занимающейся продвижением исследований в области искусственного интеллекта с открытым исходным кодом. В возрасте 24 лет он провёл реверс-инжиниринг большой языковой модели OpenAI GPT-2.
Оппоненты:
Профессор Джуди Вайцман - почетный профессор социологии Лондонской школы экономики и главный исследователь проекта "Женщины в дата саенс и искусственном интеллекте" Института Алана Тьюринга. Среди её книг - "Технофеминизм" и "Pressed for TIme: The Acceleration of Life in Digital Capitalism".
Доктор Индра Джош - директор по вопросам здравоохранения, исследований и искусственного интеллекта в компании Palantir Technologies. Ранее она была директором по искусственному интеллекту в NHSx, по цифровому здравоохранению и искусственному интеллекту в NHS England и членом Технической консультативной группы ВОЗ по цифровому здравоохранению.
Запись прямого эфира дебатов на эту тему с площадки Кембриджского союза.
Аргументы в поддержку тезиса:
Профессор Джоанна Брайсон - профессор этики и технологий в Школе Херти, Берлин. Консультировала Красный Крест по вопросам автономного оружия и участвовала в работе всепартийной группы Парламента Британии по искусственному интеллекту.
Ребекка Горман - основатель и генеральный директор компании Aligned AI, консалтинговой группы в области информационных технологий, работающей над тем, чтобы ИИ-системы функционировали в соответствии с этическими нормами и ценностями человека. Вошла в Топ 100 женщин, продвигающих ИИ в 2023 году по версии REWork, номинирована на премию VentureBeat "Женщины в ИИ" в номинации "Ответственное применение ИИ и этика", является членом Форума основателей Fortune.
Коннор Лихи - основатель и генеральный директор исследовательского стартапа Conjecture, специализирующегося на теории просоциальных ИИ-систем (AI alignment). Он также является соучредителем и одним из руководителей EleutherAI, некоммерческой организации, занимающейся продвижением исследований в области искусственного интеллекта с открытым исходным кодом. В возрасте 24 лет он провёл реверс-инжиниринг большой языковой модели OpenAI GPT-2.
Оппоненты:
Профессор Джуди Вайцман - почетный профессор социологии Лондонской школы экономики и главный исследователь проекта "Женщины в дата саенс и искусственном интеллекте" Института Алана Тьюринга. Среди её книг - "Технофеминизм" и "Pressed for TIme: The Acceleration of Life in Digital Capitalism".
Доктор Индра Джош - директор по вопросам здравоохранения, исследований и искусственного интеллекта в компании Palantir Technologies. Ранее она была директором по искусственному интеллекту в NHSx, по цифровому здравоохранению и искусственному интеллекту в NHS England и членом Технической консультативной группы ВОЗ по цифровому здравоохранению.
❤6👍5
Clearview AI выиграли апелляцию по штрафу за незаконный сбор биометрии
Британский трибунал первой инстанции посчитал, что поднадзорный им орган по защите данных (ICO) не имел компетенции привлекать американскую компанию к ответственности.
Напомню, что бизнес-модель Clearview AI такова:
1) по всему интернету собираются общедоступные фотографии людей,
2) из каждого фото извлекаются биометрические данные, на основе которых создаются биометрические шаблоны, формируется база данных,
3) полиции и спецслужбам различных государств даётся возможность сопоставлять имеющиеся у них фотографии с базой данных Clearview и таким образом идентифицировать людей.
Трибунал установил, что компания Clearview, хотя сама и не "отслеживает поведение" на подведомственной ICO территории (один из критериев экстерриториального применения EU GDPR и UK GDPR), но предоставляет для этого технические средства своим клиентам, а также определяет цели и средства обработки персональных данных.
Трибунал отметил, что по обстоятельствам дела этого было бы достаточно, чтобы признать компанию сооператором обработки персональных данных наряду с её клиентами.
Вместе с тем, трибунал посчитал, что сценарий работы Clearview не входит в предмет регулирования GDPR, так как пользователями сервиса биометрической идентификации компании являются только полицейские и спецслужбы иностранных государств (либо их частные подрядчики, но действующие в публичном интересе).
Трибунал особо отметил, что доказательств использования сервиса частными компаниями и лицами в своих интересах на сегодня не имеется, вопрос использования сервиса британскими госорганами в рассматриваемом деле не ставился, а обработку персональных данных иностранными государственными органами GDPR не регулирует.
Британский трибунал первой инстанции посчитал, что поднадзорный им орган по защите данных (ICO) не имел компетенции привлекать американскую компанию к ответственности.
Напомню, что бизнес-модель Clearview AI такова:
1) по всему интернету собираются общедоступные фотографии людей,
2) из каждого фото извлекаются биометрические данные, на основе которых создаются биометрические шаблоны, формируется база данных,
3) полиции и спецслужбам различных государств даётся возможность сопоставлять имеющиеся у них фотографии с базой данных Clearview и таким образом идентифицировать людей.
Трибунал установил, что компания Clearview, хотя сама и не "отслеживает поведение" на подведомственной ICO территории (один из критериев экстерриториального применения EU GDPR и UK GDPR), но предоставляет для этого технические средства своим клиентам, а также определяет цели и средства обработки персональных данных.
Трибунал отметил, что по обстоятельствам дела этого было бы достаточно, чтобы признать компанию сооператором обработки персональных данных наряду с её клиентами.
Вместе с тем, трибунал посчитал, что сценарий работы Clearview не входит в предмет регулирования GDPR, так как пользователями сервиса биометрической идентификации компании являются только полицейские и спецслужбы иностранных государств (либо их частные подрядчики, но действующие в публичном интересе).
Трибунал особо отметил, что доказательств использования сервиса частными компаниями и лицами в своих интересах на сегодня не имеется, вопрос использования сервиса британскими госорганами в рассматриваемом деле не ставился, а обработку персональных данных иностранными государственными органами GDPR не регулирует.
😱6👍1
Robocounsel
Clearview AI выиграли апелляцию по штрафу за незаконный сбор биометрии Британский трибунал первой инстанции посчитал, что поднадзорный им орган по защите данных (ICO) не имел компетенции привлекать американскую компанию к ответственности. Напомню, что бизнес…
Что вообще происходит с Clearview AI?
Роберт Бейтман делится текущим положением:
- noyb Шремса добилась удаления из базы компании только одного биометрического шаблона на конкретного заявителя, и штрафа в 10 тыс. евро от Гамбургского надзорного органа,
- Итальянский надзорный орган наложил на компанию штраф в 20 млн. евро и запретил обрабатывать данные итальянцев,
- похожие решения были вынесены надзорными органами Греции, Франции и Великобритании
В результате компания ушла с рынка Европейского экономического пространства и Великобритании. По крайней мере, так заявляет сама компания.
Повлиять на саму практику работы компании удалось лишь американским правозащитникам — в мае Clearview AI подписала мировое соглашение с Американским союзом защиты гражданских свобод (ACLU).
По соглашению компания признала обязанность соблюдать требования закона штата Иллинойс в отношении обработки биометрии (BIPA) и согласилась:
- прекратить продажу биометрических данных частным клиентам на всей территории США,
- предоставить резидентам штата Иллинойс право на отказ от обработки биометрических данных (opt-out).
Роберт Бейтман делится текущим положением:
- noyb Шремса добилась удаления из базы компании только одного биометрического шаблона на конкретного заявителя, и штрафа в 10 тыс. евро от Гамбургского надзорного органа,
- Итальянский надзорный орган наложил на компанию штраф в 20 млн. евро и запретил обрабатывать данные итальянцев,
- похожие решения были вынесены надзорными органами Греции, Франции и Великобритании
В результате компания ушла с рынка Европейского экономического пространства и Великобритании. По крайней мере, так заявляет сама компания.
Повлиять на саму практику работы компании удалось лишь американским правозащитникам — в мае Clearview AI подписала мировое соглашение с Американским союзом защиты гражданских свобод (ACLU).
По соглашению компания признала обязанность соблюдать требования закона штата Иллинойс в отношении обработки биометрии (BIPA) и согласилась:
- прекратить продажу биометрических данных частным клиентам на всей территории США,
- предоставить резидентам штата Иллинойс право на отказ от обработки биометрических данных (opt-out).
X (formerly Twitter)
Robert Bateman (@RobertJBateman) on X
Can Clearview AI actually be stopped?
Several regulators—across Europe, and in Canada, Australia, and South Africa, among other places—have sanctioned Clearview for alleged data protection violations.
These actions have had varying degrees of success. Mostly…
Several regulators—across Europe, and in Canada, Australia, and South Africa, among other places—have sanctioned Clearview for alleged data protection violations.
These actions have had varying degrees of success. Mostly…
👍1
Robocounsel
Европарламент [ещё] не принял проект Регламента ЕС по ИИ Однако пройден один из важных этапов. В четверг два комитета Европарламента — по гражданским свободам (LIBE) и внутреннему рынку (IMCO) — проголосовали за принятие пакета поправок, ранее предложенных…
Совет ЕС поддержал предложение Европарламента об особом регулировании базовых ИИ-моделей
Напомню, что речь идёт о Регламенте ЕС по ИИ, проект которого сейчас проходит межведомственное согласование между Еврокомиссией, Советом ЕС и Европарламентом.
О том, что именно предложил Европарламент для базовых моделей (foundation models), таких как GPT-4, я писал ранее.
Совет ЕС (состоящий из представителей исполнительной власти каждого из государств в составе ЕС) в целом согласился с тем, что базовым моделям нужно особое регулирование, но пошёл ещё дальше.
Совет предлагает трёхуровневый подход:
1. Для всех базовых моделей:
— публикация (а) определённой документации по модели, (б) результатов тестирования на уязвимости экспертами разработчика и (в) оценки модели на основе стандартизированных протоколов,
— информационная поддержка, позволяющая третьим лицам успешно тестировать и применять базовую модель для своих целей и в своих продуктах,
— отчёт о материалах, использованных для обучения модели, включая информацию о соблюдении интересов правообладателей и подтверждение предоставления им права отказаться от включения их материалов в обучающую выборку (opt-out),
— маркировка сгенерированного ИИ контента.
2. Для продвинутых базовых моделей, дополнительно к указанному в п.1:
— тестирование на уязвимости независимыми экспертами, одобренными Ведомством по ИИ Европейского Союза (AI Office, вновь создаваемый орган), с предоставлением отчётов этому Ведомству,
— управление системными рисками (для общества в целом),
— независимый внешний аудит соблюдения разработчиком требований Регламента, включая требования о раскрытии информации.
Для отнесения модели к числу продвинутых (very capable) предлагается оценивать, превышает ли производительность модели определённое и регулярно пересматриваемое Еврокомиссией значение в FLOPS, а также другие факторы, включая потенциальный ущерб, учитывая количество систем и приложений, использующих модель.
3. Для масштабно применяемых систем ИИ общего назначения
— тестирование на уязвимости независимыми экспертами, одобренными Ведомством по ИИ Европейского Союза (AI Office, вновь создаваемый орган), с предоставлением отчётов этому Ведомству,
— обязательное внедрение системы управления рисками.
Для отнесения к масштабно применяемым предлагаются критерии: не менее 10 тыс. бизнес-пользователей или не менее 45 млн. зарегистрированных конечных пользователей.
Ведомству по ИИ ЕС предлагается предоставить полномочия устанавливать дополнительные требования к продвинутым базовым моделям и масштабно применяемым системам ИИ общего назначения. Также предлагается уполномочить ведомство проводить расследования и, в качестве крайней меры, приостанавливать эксплуатацию поднадзорных моделей и систем.
Напомню, что речь идёт о Регламенте ЕС по ИИ, проект которого сейчас проходит межведомственное согласование между Еврокомиссией, Советом ЕС и Европарламентом.
О том, что именно предложил Европарламент для базовых моделей (foundation models), таких как GPT-4, я писал ранее.
Совет ЕС (состоящий из представителей исполнительной власти каждого из государств в составе ЕС) в целом согласился с тем, что базовым моделям нужно особое регулирование, но пошёл ещё дальше.
Совет предлагает трёхуровневый подход:
1. Для всех базовых моделей:
— публикация (а) определённой документации по модели, (б) результатов тестирования на уязвимости экспертами разработчика и (в) оценки модели на основе стандартизированных протоколов,
— информационная поддержка, позволяющая третьим лицам успешно тестировать и применять базовую модель для своих целей и в своих продуктах,
— отчёт о материалах, использованных для обучения модели, включая информацию о соблюдении интересов правообладателей и подтверждение предоставления им права отказаться от включения их материалов в обучающую выборку (opt-out),
— маркировка сгенерированного ИИ контента.
2. Для продвинутых базовых моделей, дополнительно к указанному в п.1:
— тестирование на уязвимости независимыми экспертами, одобренными Ведомством по ИИ Европейского Союза (AI Office, вновь создаваемый орган), с предоставлением отчётов этому Ведомству,
— управление системными рисками (для общества в целом),
— независимый внешний аудит соблюдения разработчиком требований Регламента, включая требования о раскрытии информации.
Для отнесения модели к числу продвинутых (very capable) предлагается оценивать, превышает ли производительность модели определённое и регулярно пересматриваемое Еврокомиссией значение в FLOPS, а также другие факторы, включая потенциальный ущерб, учитывая количество систем и приложений, использующих модель.
3. Для масштабно применяемых систем ИИ общего назначения
— тестирование на уязвимости независимыми экспертами, одобренными Ведомством по ИИ Европейского Союза (AI Office, вновь создаваемый орган), с предоставлением отчётов этому Ведомству,
— обязательное внедрение системы управления рисками.
Для отнесения к масштабно применяемым предлагаются критерии: не менее 10 тыс. бизнес-пользователей или не менее 45 млн. зарегистрированных конечных пользователей.
Ведомству по ИИ ЕС предлагается предоставить полномочия устанавливать дополнительные требования к продвинутым базовым моделям и масштабно применяемым системам ИИ общего назначения. Также предлагается уполномочить ведомство проводить расследования и, в качестве крайней меры, приостанавливать эксплуатацию поднадзорных моделей и систем.
Telegram
Robocounsel
Европарламент [ещё] не принял проект Регламента ЕС по ИИ
Однако пройден один из важных этапов.
В четверг два комитета Европарламента — по гражданским свободам (LIBE) и внутреннему рынку (IMCO) — проголосовали за принятие пакета поправок, ранее предложенных…
Однако пройден один из важных этапов.
В четверг два комитета Европарламента — по гражданским свободам (LIBE) и внутреннему рынку (IMCO) — проголосовали за принятие пакета поправок, ранее предложенных…
👍3🔥2🤯1
Инъекция дипфейков в реальность
Некоторые из вас уже знакомы с тем, как злоумышленники могут добиваться отображения нужной им информации в компьютерной системе за счёт ввода хитрой команды, направленной на обход мер защиты (prompt injection).
Интересная инъекция произошла вчера во французской газете "Либерасьон". Издание опубликовало подлинный кадр с демонстрации в Каире в среду, на котором изображён мужчина с плакатом.
Вместе с тем, изображение на плакате, занявшее в результате существенную часть первой полосы газеты (ребёнок под завалами) — дипфейк, не имеющий отношения к недавним событиям, которые послужили поводом к демонстрации.
Дипфейк с ребёнком появился ещё в феврале этого года и в совсем другом контексте — тогдашнего землетрясения на границе Сирии и Турции.
Таким образом, демонстрант, заведомо или по неосторожности, произвёл инъекцию дипфейка в подлинный фотокадр, разошедшийся по миру.
Некоторые из вас уже знакомы с тем, как злоумышленники могут добиваться отображения нужной им информации в компьютерной системе за счёт ввода хитрой команды, направленной на обход мер защиты (prompt injection).
Интересная инъекция произошла вчера во французской газете "Либерасьон". Издание опубликовало подлинный кадр с демонстрации в Каире в среду, на котором изображён мужчина с плакатом.
Вместе с тем, изображение на плакате, занявшее в результате существенную часть первой полосы газеты (ребёнок под завалами) — дипфейк, не имеющий отношения к недавним событиям, которые послужили поводом к демонстрации.
Дипфейк с ребёнком появился ещё в феврале этого года и в совсем другом контексте — тогдашнего землетрясения на границе Сирии и Турции.
Таким образом, демонстрант, заведомо или по неосторожности, произвёл инъекцию дипфейка в подлинный фотокадр, разошедшийся по миру.
😢4❤1👍1
2023-0137_d3269_opinion_en.pdf
426.5 KB
Обновлённая позиция EDPS по проекту Регламента ЕС по ИИ
Европейский инспектор по защите данных (EDPS) опубликовал заключение по проекту Регламента ЕС по искусственному интеллекту с учётом вновь предложенных поправок и обсуждений:
1) EDPS настаивает на "красных линиях", обозначенных в их прежнем совместном с EDPB заключении по проекту Регламента. В частности, оборот ряда неприемлемо опасных систем ИИ должен быть запрещён.
2) EDPS настаивает на том, что уже введённые в эксплуатацию системы ИИ, в особенности включённые в крупномасштабные ИТ-системы ЕС, не должны исключаться из сферы действия Регламента. Напротив, нужно требовать их соответствия требованиям Регламента с даты его вступления в силу.
3) EDPS приветствует назначение себя (а) нотифицированным органом, (б) органом по надзору за рынком и (в) компетентным органом по надзору за разработкой, поставкой или использованием систем ИИ органами Евросоюза. EDPS предлагает уточнить его полномочия и обозначает необходимость в кадрах и финансировании.
4) EDPS поддерживает включение в Регламент положений о праве граждан подавать жалобы о нарушении своих прав в уполномоченный орган и обжаловать принятые им решения в суде. Полномочия по рассмотрению жалоб EDPS предлагает закрепить за собой и национальными органами по защите прав субъектов персональных данных.
5) EDPS поддерживает создание Ведомства по искусственному интеллекту Европейского союза (AI Office) и предлагает предоставить ему в новом Ведомстве:
- право голоса наряду с национальными органами при координации Ведомством совместных расследований,
- полномочия по урегулированию разногласий о порядке применения положений Регламента между национальными органами,
- полномочия по подтверждению квалификации лиц, включаемых во всесоюзный пул экспертов,
- полномочия по содействию национальным органам при создании регуляторных песочниц.
6) Функции секретариата нового Ведомства EDPS предлагает возложить на уже имеющийся собственный секретариат, чтобы использовать уже имеющиеся опыт и ресурсы.
Европейский инспектор по защите данных (EDPS) опубликовал заключение по проекту Регламента ЕС по искусственному интеллекту с учётом вновь предложенных поправок и обсуждений:
1) EDPS настаивает на "красных линиях", обозначенных в их прежнем совместном с EDPB заключении по проекту Регламента. В частности, оборот ряда неприемлемо опасных систем ИИ должен быть запрещён.
2) EDPS настаивает на том, что уже введённые в эксплуатацию системы ИИ, в особенности включённые в крупномасштабные ИТ-системы ЕС, не должны исключаться из сферы действия Регламента. Напротив, нужно требовать их соответствия требованиям Регламента с даты его вступления в силу.
3) EDPS приветствует назначение себя (а) нотифицированным органом, (б) органом по надзору за рынком и (в) компетентным органом по надзору за разработкой, поставкой или использованием систем ИИ органами Евросоюза. EDPS предлагает уточнить его полномочия и обозначает необходимость в кадрах и финансировании.
4) EDPS поддерживает включение в Регламент положений о праве граждан подавать жалобы о нарушении своих прав в уполномоченный орган и обжаловать принятые им решения в суде. Полномочия по рассмотрению жалоб EDPS предлагает закрепить за собой и национальными органами по защите прав субъектов персональных данных.
5) EDPS поддерживает создание Ведомства по искусственному интеллекту Европейского союза (AI Office) и предлагает предоставить ему в новом Ведомстве:
- право голоса наряду с национальными органами при координации Ведомством совместных расследований,
- полномочия по урегулированию разногласий о порядке применения положений Регламента между национальными органами,
- полномочия по подтверждению квалификации лиц, включаемых во всесоюзный пул экспертов,
- полномочия по содействию национальным органам при создании регуляторных песочниц.
6) Функции секретариата нового Ведомства EDPS предлагает возложить на уже имеющийся собственный секретариат, чтобы использовать уже имеющиеся опыт и ресурсы.
👍6
Продукт на базе больших языковых моделей, да без галлюцинаций?
В мае я сообщал, что Лексис Нексис, один из старейших разработчиков справочных правовых систем (СПС), запустил новый сервис Lexis+ AI.
В рамках запуска доступ был предоставлен только ограниченному числу американских юрфирм. Вчера сервис был открыт для всего американского рынка.
В пресс-релизе смело заявляется, что Lexis+ AI работает «без галлюцинаций», по крайней мере в части выдачи ссылок на правовые источники.
Продукт предлагает четыре основные функциональные возможности:
1) поиск информации в режиме диалога,
2) составление проектов документов,
3) резюмирование текста,
4) запросы в стиле "Поговори с моими документами" для вплоть до 10 файлов одновременно.
Ни одна из этих функций сама по себе не является новой. В Perplexity.AI есть диалоговый веб-поиск с подстрочными гиперссылками на все источники, а все остальное уже есть во многих других ГенИИ-инструментах. Кроме того, в Lexis+ AI используются большие языковые модели (БЯМ) Claude-2 от Anthropic и GPT-4 от OpenAI - те же модели, что и в других популярных ИИ-приложениях.
Разница в том, что Лексис Нексис является признанным и надежным поставщиком юридической информации, поэтому компания обещает, что, в отличие от неспециализированных ИИ-приложений, их продукт выдаёт результаты только на основе их собственной базы данных, содержание которой формировалось десятилетиями и тщательно выверено экспертами.
Технически это означает, как следует из пресс-релиза:
1) они провели дообучение базовых моделей OpenAI и Anthropic, используя для этого выборку из своей базы данных,
2) они привлекли профильных экспертов для оценки ответов дообученных моделей с целью дальнейшего повышения их качества,
3) они использовали метод поисково-дополненной генерации (ПДГ, retrieval augmented generation, RAG), при котором ответы системы не придумываются БЯМ, а ограничиваются тем, что смогла найти поисковая подсистема в заранее определённых источниках, (это может быть внутренний поисковый индекс, граф знаний и т. д.), которые затем резюмируются генерирующей подсистемой на основе БЯМ.
Теоретически это действительно должно привести к созданию более надежного продукта для юристов.
Тем не менее, я не могу серьёзно воспринимать заявление в заголовке пресс-релиза о том, что продукт работает «без галлюцинаций». Даже далее по тексту самого пресс-релиза компания смягчает это утверждение, заявляя, что риск «выдумывания» не исключен, а «минимизирован».
Известные эксперты в области машинного обучения, такие как Ян ЛеКун (Мета), отмечают, что галлюцинации являются конструктивным и неотъемлемым недостатком современных архитектур БЯМ, поэтому пока никто не может свести их к нулю, это технически невозможно.
Очевидно, что риск возникновения галлюцинаций в справочно-правовом программном продукте – очень существенное, если не сказать неприемлемое – ограничение. Насколько этот риск действительно минимизирован, мы не знаем и не узнаем до тех пор, пока продукт не пройдёт тестирование и валидацию абсолютно независимым третьим лицом (или, ещё лучше, несколькими независимыми командами).
Будем надеяться, что разработчик будет открыт к подобной независимой проверке своего продукта. Без неё доверие пользователей к этому продукту будет существенно ограничено.
В мае я сообщал, что Лексис Нексис, один из старейших разработчиков справочных правовых систем (СПС), запустил новый сервис Lexis+ AI.
В рамках запуска доступ был предоставлен только ограниченному числу американских юрфирм. Вчера сервис был открыт для всего американского рынка.
В пресс-релизе смело заявляется, что Lexis+ AI работает «без галлюцинаций», по крайней мере в части выдачи ссылок на правовые источники.
Продукт предлагает четыре основные функциональные возможности:
1) поиск информации в режиме диалога,
2) составление проектов документов,
3) резюмирование текста,
4) запросы в стиле "Поговори с моими документами" для вплоть до 10 файлов одновременно.
Ни одна из этих функций сама по себе не является новой. В Perplexity.AI есть диалоговый веб-поиск с подстрочными гиперссылками на все источники, а все остальное уже есть во многих других ГенИИ-инструментах. Кроме того, в Lexis+ AI используются большие языковые модели (БЯМ) Claude-2 от Anthropic и GPT-4 от OpenAI - те же модели, что и в других популярных ИИ-приложениях.
Разница в том, что Лексис Нексис является признанным и надежным поставщиком юридической информации, поэтому компания обещает, что, в отличие от неспециализированных ИИ-приложений, их продукт выдаёт результаты только на основе их собственной базы данных, содержание которой формировалось десятилетиями и тщательно выверено экспертами.
Технически это означает, как следует из пресс-релиза:
1) они провели дообучение базовых моделей OpenAI и Anthropic, используя для этого выборку из своей базы данных,
2) они привлекли профильных экспертов для оценки ответов дообученных моделей с целью дальнейшего повышения их качества,
3) они использовали метод поисково-дополненной генерации (ПДГ, retrieval augmented generation, RAG), при котором ответы системы не придумываются БЯМ, а ограничиваются тем, что смогла найти поисковая подсистема в заранее определённых источниках, (это может быть внутренний поисковый индекс, граф знаний и т. д.), которые затем резюмируются генерирующей подсистемой на основе БЯМ.
Теоретически это действительно должно привести к созданию более надежного продукта для юристов.
Тем не менее, я не могу серьёзно воспринимать заявление в заголовке пресс-релиза о том, что продукт работает «без галлюцинаций». Даже далее по тексту самого пресс-релиза компания смягчает это утверждение, заявляя, что риск «выдумывания» не исключен, а «минимизирован».
Известные эксперты в области машинного обучения, такие как Ян ЛеКун (Мета), отмечают, что галлюцинации являются конструктивным и неотъемлемым недостатком современных архитектур БЯМ, поэтому пока никто не может свести их к нулю, это технически невозможно.
Очевидно, что риск возникновения галлюцинаций в справочно-правовом программном продукте – очень существенное, если не сказать неприемлемое – ограничение. Насколько этот риск действительно минимизирован, мы не знаем и не узнаем до тех пор, пока продукт не пройдёт тестирование и валидацию абсолютно независимым третьим лицом (или, ещё лучше, несколькими независимыми командами).
Будем надеяться, что разработчик будет открыт к подобной независимой проверке своего продукта. Без неё доверие пользователей к этому продукту будет существенно ограничено.
Telegram
Robocounsel
Справочные правовые системы вышли на рынок генеративного ИИ
А вот это уже серьёзно: Лексис Нексис, один из старейших разработчиков справочных правовых систем (СПС), запустил новый сервис Lexis+ AI.
На первых порах сервис предоставляет возможности:
- диалогового…
А вот это уже серьёзно: Лексис Нексис, один из старейших разработчиков справочных правовых систем (СПС), запустил новый сервис Lexis+ AI.
На первых порах сервис предоставляет возможности:
- диалогового…
👍14
Президент США подписал указ о мерах по обеспечению безопасности, защищённости и надёжности систем искусственного интеллекта
Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры:
— Компании, разрабатывающие базовые ИИ-модели, которые представляют серьёзный риск для национальной или экономической безопасности, здравоохранения или безопасности граждан, будут обязаны уведомлять об этом правительство и предоставлять отчёты об оценке защищенности этих моделей (по результатам редтиминга).
— Национальный институт стандартов и технологий (NIST) разработает стандарты для проверки и оценки защищённости ИИ-моделей.
— Министерство национальной безопасности (Department of Homeland Security) будет отвечать за применение этих стандартов на объектах критической инфраструктуры и учредит Ведомство по безопасности и защите систем искусственного интеллекта (AI Safety and Security Board), а также совместно с Министерством энергетики примет меры по предотвращению угроз критической инфраструктуре, создаваемых применением ИИ-систем наряду с угрозами химической, биологической, радиологической, ядерной безопасности и кибербезопасности.
— Министерство торговли разработает руководство по маркировке материалов, сгенерированных ИИ, и по подтверждению достоверности информации и материалов, распространяемых государственными органами.
— Совет по национальной безопасности и Администрация президента разработают руководство по этичному и эффективному применению ИИ вооружёнными силами и органами разведки и по противодействию военному применению ИИ силами противника.
— Федеральное правительство приоритизирует разработку и применение технологий, обеспечивающих конфиденциальную обработку персональных данных (privacy-preserving techniques).
Также указ предусматривает ряд мер рекомендательного, образовательного и вспомогательного характера для предотвращения алгоритмической дискриминации, для защиты интересов потребителей, пациентов, учащихся, трудящихся, предпринимателей, а также для продвижения исследований и международного сотрудничества в области искусственного интеллекта.
Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры:
— Компании, разрабатывающие базовые ИИ-модели, которые представляют серьёзный риск для национальной или экономической безопасности, здравоохранения или безопасности граждан, будут обязаны уведомлять об этом правительство и предоставлять отчёты об оценке защищенности этих моделей (по результатам редтиминга).
— Национальный институт стандартов и технологий (NIST) разработает стандарты для проверки и оценки защищённости ИИ-моделей.
— Министерство национальной безопасности (Department of Homeland Security) будет отвечать за применение этих стандартов на объектах критической инфраструктуры и учредит Ведомство по безопасности и защите систем искусственного интеллекта (AI Safety and Security Board), а также совместно с Министерством энергетики примет меры по предотвращению угроз критической инфраструктуре, создаваемых применением ИИ-систем наряду с угрозами химической, биологической, радиологической, ядерной безопасности и кибербезопасности.
— Министерство торговли разработает руководство по маркировке материалов, сгенерированных ИИ, и по подтверждению достоверности информации и материалов, распространяемых государственными органами.
— Совет по национальной безопасности и Администрация президента разработают руководство по этичному и эффективному применению ИИ вооружёнными силами и органами разведки и по противодействию военному применению ИИ силами противника.
— Федеральное правительство приоритизирует разработку и применение технологий, обеспечивающих конфиденциальную обработку персональных данных (privacy-preserving techniques).
Также указ предусматривает ряд мер рекомендательного, образовательного и вспомогательного характера для предотвращения алгоритмической дискриминации, для защиты интересов потребителей, пациентов, учащихся, трудящихся, предпринимателей, а также для продвижения исследований и международного сотрудничества в области искусственного интеллекта.
The White House
FACT SHEET: President Biden Issues Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence
Today, President Biden is issuing a landmark Executive Order to ensure that America leads the way in seizing the promise and managing the risks of
👍3❤2🤬1
Robocounsel
Президент США подписал указ о мерах по обеспечению безопасности, защищённости и надёжности систем искусственного интеллекта Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры: — Компании, разрабатывающие…
Опубликован текст Указа о безопасном ИИ
Речь об указе Президента США, упомянутом во вчерашнем посте.
По тексту содержится множество интересных подробностей, в том числе по определениям, порядку и срокам выполнения мероприятий.
В частности, из текста становится более понятно, для разработчиков каких ИИ-моделей будут установлены требования по отчётности перед федеральным правительством. Речь по тексту указа идёт о моделях "двойного назначения", но из определения следует, что под него могут подпадать уже существующие наиболее продвинутые базовые ИИ-модели:
"Базовая модель двойного назначения" означает ИИ-модель, которая:
- обучается на широком наборе данных, обычно с применением самоконтролируемого (self-supervised) обучения,
- содержит не менее нескольких десятков миллиардов параметров (для примера, в GPT-3 их 175 миллиардов - А. Т.),
- применима в широком диапазоне контекстов и
- демонстрирует или может быть легко модифицирована для демонстрации высокого уровня производительности при решении задач, представляющих серьезный риск для национальной безопасности, экономической безопасности, здоровья или безопасности населения страны, в частности, за счёт:
(i) существенного снижения входного барьера для неспециалистов при решении задач по разработке, синтезу, приобретению или применению химического, биологического, радиологического или ядерного оружия;
(ii) создания условий для проведения интенсивных наступательных киберопераций путем автоматизированного обнаружения и эксплуатации уязвимостей в отношении широкого круга потенциальных объектов кибератак; или
(iii) обеспечения обхода мер контроля или надзора со стороны путем введения их в заблуждение или сокрытия от них информации.
При этом ИИ-модели считаются отвечающими этому определению, даже если они предоставляются конечным пользователям с техническими средствами защиты, которые направлены на предотвращение использования небезопасных возможностей.
Вместе с тем, требования по отчётности будут касаться только моделей, для обучения которых требуется определённый объём вычислительной мощности в FLOPS, который может периодически пересматриваться.
Также дано нормативное определение редтиминга в контексте ИИ:
"ИИ-редтиминг" означает структурированное тестирование, направленное на поиск недостатков и уязвимостей в системе ИИ, проводимое как правило в контролируемой среде и во взаимодействии с разработчиками ИИ.
ИИ-редтиминг как правило проводится специальными "красными командами", использующими состязательные методы для выявления недостатков и уязвимостей, таких как вредные или дискриминационные результаты работы системы ИИ, непредвиденное или нежелательное поведение системы, а также ограничения или потенциальные риски, связанные с некорректным использованием системы.
К фреймворку НИСТ по управлению рисками ИИ-систем, о котором я писал в начале года (NIST AI 100-1), будет подготовлен вспомогательный материал с рекомендациями по безопасным разработке и применению систем генеративного ИИ.
Помимо этого, рекомендации по безопасной разработке систем генеративного ИИ, а также систем двойного назначения, будут подготовлены в виде вспомогательного материала к другому фреймворку НИСТ, Secure Software Development Framework.
Речь об указе Президента США, упомянутом во вчерашнем посте.
По тексту содержится множество интересных подробностей, в том числе по определениям, порядку и срокам выполнения мероприятий.
В частности, из текста становится более понятно, для разработчиков каких ИИ-моделей будут установлены требования по отчётности перед федеральным правительством. Речь по тексту указа идёт о моделях "двойного назначения", но из определения следует, что под него могут подпадать уже существующие наиболее продвинутые базовые ИИ-модели:
"Базовая модель двойного назначения" означает ИИ-модель, которая:
- обучается на широком наборе данных, обычно с применением самоконтролируемого (self-supervised) обучения,
- содержит не менее нескольких десятков миллиардов параметров (для примера, в GPT-3 их 175 миллиардов - А. Т.),
- применима в широком диапазоне контекстов и
- демонстрирует или может быть легко модифицирована для демонстрации высокого уровня производительности при решении задач, представляющих серьезный риск для национальной безопасности, экономической безопасности, здоровья или безопасности населения страны, в частности, за счёт:
(i) существенного снижения входного барьера для неспециалистов при решении задач по разработке, синтезу, приобретению или применению химического, биологического, радиологического или ядерного оружия;
(ii) создания условий для проведения интенсивных наступательных киберопераций путем автоматизированного обнаружения и эксплуатации уязвимостей в отношении широкого круга потенциальных объектов кибератак; или
(iii) обеспечения обхода мер контроля или надзора со стороны путем введения их в заблуждение или сокрытия от них информации.
При этом ИИ-модели считаются отвечающими этому определению, даже если они предоставляются конечным пользователям с техническими средствами защиты, которые направлены на предотвращение использования небезопасных возможностей.
Вместе с тем, требования по отчётности будут касаться только моделей, для обучения которых требуется определённый объём вычислительной мощности в FLOPS, который может периодически пересматриваться.
Также дано нормативное определение редтиминга в контексте ИИ:
"ИИ-редтиминг" означает структурированное тестирование, направленное на поиск недостатков и уязвимостей в системе ИИ, проводимое как правило в контролируемой среде и во взаимодействии с разработчиками ИИ.
ИИ-редтиминг как правило проводится специальными "красными командами", использующими состязательные методы для выявления недостатков и уязвимостей, таких как вредные или дискриминационные результаты работы системы ИИ, непредвиденное или нежелательное поведение системы, а также ограничения или потенциальные риски, связанные с некорректным использованием системы.
К фреймворку НИСТ по управлению рисками ИИ-систем, о котором я писал в начале года (NIST AI 100-1), будет подготовлен вспомогательный материал с рекомендациями по безопасным разработке и применению систем генеративного ИИ.
Помимо этого, рекомендации по безопасной разработке систем генеративного ИИ, а также систем двойного назначения, будут подготовлены в виде вспомогательного материала к другому фреймворку НИСТ, Secure Software Development Framework.
Telegram
Robocounsel
Президент США подписал указ о мерах по обеспечению безопасности, защищённости и надёжности систем искусственного интеллекта
Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры:
— Компании, разрабатывающие…
Текст указа пока не опубликован, но сегодняшний пресс-релиз позволяет отметить некоторые конкретные меры:
— Компании, разрабатывающие…
👍2