Robocounsel
NTSB Board Meeting: Crash involving a pedestrian and an Uber test vehicle Начало через полчаса по ссылке: http://ntsb.windrosemedia.com/live/
Сотрудник НСБТ отмечает роль известного феномена "успокоения автоматизацией" ("automation compacency"): халатного полагания оператора на надёжность автоматики, в то время, как в тестируемом ТС сам оператор являлся частью системы, обеспечивающей безопасность. Именно на него возлагалась ответственность за предотвращение ДТП при ошибках системы.
Интересные факты:
- оператор ни разу не тестировался на наркотики,
- компания не имела практики проверять записи с камер в салоне, в т.ч. на предмет отвлечения водителей от работы и привлечения их к ответственности за это,
- в вопросе возможных нарушений оператором запрета на использование мобильного телефона компания полагалась только на то, что это заметят другие операторы,
- при этом количество операторов в машине было уменьшено с 2 до 1 на момент ДТП,
- подход Убера излишним полаганием на оператора не был адекватным способом обеспечить безопасность
Интересные факты:
- оператор ни разу не тестировался на наркотики,
- компания не имела практики проверять записи с камер в салоне, в т.ч. на предмет отвлечения водителей от работы и привлечения их к ответственности за это,
- в вопросе возможных нарушений оператором запрета на использование мобильного телефона компания полагалась только на то, что это заметят другие операторы,
- при этом количество операторов в машине было уменьшено с 2 до 1 на момент ДТП,
- подход Убера излишним полаганием на оператора не был адекватным способом обеспечить безопасность
Сотрудник НСБТ: На федеральном уровне необходимо установить обязательные требования к допуску автоматизированных автомобилей для опытной эксплуатации на дорогах общего пользования.
Как минимум, компании должны предоставлять отчёт о результатах внутренней оценки безопасности, который должен проверяться и одобряться.
Как минимум, компании должны предоставлять отчёт о результатах внутренней оценки безопасности, который должен проверяться и одобряться.
Сотрудник НСБТ: Убер на момент ДТП:
- не имел корпоративной системы управления безопасностью (SMS),
- не определил, кто в компании имеет конкретные должностные обязанности в вопросе обеспечения безопасности и в чём они состоят,
- не сформировал отдельного подразделения по безопасности и не назначил специалиста по безопасности, отвечающего за оценку и снижение рисков.
- не имел корпоративной системы управления безопасностью (SMS),
- не определил, кто в компании имеет конкретные должностные обязанности в вопросе обеспечения безопасности и в чём они состоят,
- не сформировал отдельного подразделения по безопасности и не назначил специалиста по безопасности, отвечающего за оценку и снижение рисков.
Член Совета НСБТ (NTSB) Хоменди жёстко критикует Национальное управление по безопасности дорожного движения (NHTSA, НУБДД) за пробизнесовый подход к политике развития автоматизированного транспорта.
- Доктор Поланд, вы согласны с тем, что добровольные рекомендации, которые на федеральному уровне всё, что у нас есть из регулирования, они прикрывают тестирование машин в интересах бизнеса, и недостаточны для защиты других участников дорожного движения?
- Да
- Это вообще смехотворно, я читаю эту политику НУБДД, на с. 12, "компании не обязаны подавать добровольный отчёт об оценке безопасности". Это жирным выделено.
- Доктор Поланд, вы согласны с тем, что добровольные рекомендации, которые на федеральному уровне всё, что у нас есть из регулирования, они прикрывают тестирование машин в интересах бизнеса, и недостаточны для защиты других участников дорожного движения?
- Да
- Это вообще смехотворно, я читаю эту политику НУБДД, на с. 12, "компании не обязаны подавать добровольный отчёт об оценке безопасности". Это жирным выделено.
НСБТ утвердил отчёт с вероятной причиной смертельного ДТП с автономным Убером
Согласно отчёту:
1. Вероятной причиной ДТП был ненадлежащий контроль за дорожной обстановкой и работой автоматизированной системы вождения транспортного средства со стороны его оператора, зрительное внимание которого в поездке было отвлечено на личный мобильный телефон.
2. Способствовали ДТП следующие упущения со стороны компании "Убер":
1) неадекватные процедуры оценки рисков,
2) неэффективный надзор за операторами ТС,
3) непринятие достаточных мер для решения проблемы избыточного полагания на автоматику со стороны операторов ТС.
Все данные упущения были следствием отсутствия в компании адекватной культуры безопасности.
3. ДТП также способствовали:
1) переход пешеходом дороги вне пешеходного перехода в состоянии опьянения,
2) недостаточный надзор за ходом опытной эксплуатации автоматизированных ТС со стороны Департамента транспорта штата Аризона.
Согласно отчёту:
1. Вероятной причиной ДТП был ненадлежащий контроль за дорожной обстановкой и работой автоматизированной системы вождения транспортного средства со стороны его оператора, зрительное внимание которого в поездке было отвлечено на личный мобильный телефон.
2. Способствовали ДТП следующие упущения со стороны компании "Убер":
1) неадекватные процедуры оценки рисков,
2) неэффективный надзор за операторами ТС,
3) непринятие достаточных мер для решения проблемы избыточного полагания на автоматику со стороны операторов ТС.
Все данные упущения были следствием отсутствия в компании адекватной культуры безопасности.
3. ДТП также способствовали:
1) переход пешеходом дороги вне пешеходного перехода в состоянии опьянения,
2) недостаточный надзор за ходом опытной эксплуатации автоматизированных ТС со стороны Департамента транспорта штата Аризона.
НСБТ утвердил 6 рекомендаций по результатам расследования смертельного ДТП с автономным Убером
Национальному управлению по безопасности дорожного движения:
1. Обязать лиц, планирующих опытную эксплуатацию ТС с автоматизированной системой вождения на дорогах общего пользования, подавать в Управление отчёт о собственной оценке безопасности.
2. Установить порядок для проверки на постоянной основе отчётов, упомянутых в Рекомендации 1, и определить, предусмотрены ли адекватные меры предосторожности для опытной эксплуатации автоматизированных систем вождения на дорогах общего пользования, включая наблюдение за внимательностью оператора ТС, если применимо.
Штату Аризона:
3. Обязать разработчиков для проведения опытной эксплуатации ТС с автоматизированной системой вождения подавать заявки, содержащие как минимум план, обеспечивающий управление рисками, связанными с ДТП и невнимательностью оператора ТС, и принятия мер по предотвращению ДТП или уменьшению их последствий в пределах параметров опытной эксплуатации.
4. Сформировать экспертную группу для оценки упомянутых в Рекомендации 3 заявок на опытную эксплуатацию ТС с автоматизированной системой вождения до выдачи разрешения на опытную эксплуатацию.
Американской ассоциации владельцев транспортных средств:
5. Проинформировать штаты об обстоятельствах ДТП в Темпе и призвать их:
1) обязать разработчиков для проведения опытной эксплуатации ТС с автоматизированной системой вождения подавать заявки, содержащие как минимум план, обеспечивающий управление рисками, связанными с ДТП и невнимательностью оператора ТС, и принятия мер по предотвращению ДТП или уменьшению их последствий в пределах параметров опытной эксплуатации.
2) сформировать экспертную группу для оценки заявок до выдачи разрешения на опытную эксплуатацию.
Компании Убер:
6. Завершить внедрение системы управления безопасностью при опытной эксплуатации автоматизированной системы вождения, включающей, как минимум, политику безопасности, управление рисками безопасности, обеспечение безопасности и продвижение безопасности.
Национальному управлению по безопасности дорожного движения:
1. Обязать лиц, планирующих опытную эксплуатацию ТС с автоматизированной системой вождения на дорогах общего пользования, подавать в Управление отчёт о собственной оценке безопасности.
2. Установить порядок для проверки на постоянной основе отчётов, упомянутых в Рекомендации 1, и определить, предусмотрены ли адекватные меры предосторожности для опытной эксплуатации автоматизированных систем вождения на дорогах общего пользования, включая наблюдение за внимательностью оператора ТС, если применимо.
Штату Аризона:
3. Обязать разработчиков для проведения опытной эксплуатации ТС с автоматизированной системой вождения подавать заявки, содержащие как минимум план, обеспечивающий управление рисками, связанными с ДТП и невнимательностью оператора ТС, и принятия мер по предотвращению ДТП или уменьшению их последствий в пределах параметров опытной эксплуатации.
4. Сформировать экспертную группу для оценки упомянутых в Рекомендации 3 заявок на опытную эксплуатацию ТС с автоматизированной системой вождения до выдачи разрешения на опытную эксплуатацию.
Американской ассоциации владельцев транспортных средств:
5. Проинформировать штаты об обстоятельствах ДТП в Темпе и призвать их:
1) обязать разработчиков для проведения опытной эксплуатации ТС с автоматизированной системой вождения подавать заявки, содержащие как минимум план, обеспечивающий управление рисками, связанными с ДТП и невнимательностью оператора ТС, и принятия мер по предотвращению ДТП или уменьшению их последствий в пределах параметров опытной эксплуатации.
2) сформировать экспертную группу для оценки заявок до выдачи разрешения на опытную эксплуатацию.
Компании Убер:
6. Завершить внедрение системы управления безопасностью при опытной эксплуатации автоматизированной системы вождения, включающей, как минимум, политику безопасности, управление рисками безопасности, обеспечение безопасности и продвижение безопасности.
Robocounsel
НСБТ утвердил отчёт с вероятной причиной смертельного ДТП с автономным Убером Согласно отчёту: 1. Вероятной причиной ДТП был ненадлежащий контроль за дорожной обстановкой и работой автоматизированной системы вождения транспортного средства со стороны его…
Документы заседания НСБТ от 19.11.2019
Резюме отчёта:
https://www.ntsb.gov/news/events/Documents/2019-HWY18MH010-BMG-abstract.pdf
Пресс-релиз:
https://www.ntsb.gov/news/press-releases/Pages/NR20191119c.aspx
Презентации докладчиков:
https://ntsb.gov/news/events/Pages/2019-HWY18MH010-BMG.aspx
Видео:
http://ntsb.windrosemedia.com/11192019b/
Резюме отчёта:
https://www.ntsb.gov/news/events/Documents/2019-HWY18MH010-BMG-abstract.pdf
Пресс-релиз:
https://www.ntsb.gov/news/press-releases/Pages/NR20191119c.aspx
Презентации докладчиков:
https://ntsb.gov/news/events/Pages/2019-HWY18MH010-BMG.aspx
Видео:
http://ntsb.windrosemedia.com/11192019b/
Draft-OMB-Memo-on-Regulation-of-AI-1-7-19.pdf
305.3 KB
Администрация президента США опубликовала проект рекомендаций для разработки регулирования ИИ
Рекомендации адресованы руководителям федеральных органов исполнительной власти США. Цель — улучшить качество и прозрачность разработки нового отраслевого регулирования в этой сфере.
Проект опубликован в рамках процедуры запроса формальных замечаний (принимаются до 13 марта 2020 г.):
https://tinyurl.com/wh10ai
Обзор основных положений документа:
https://tinyurl.com/ai10explained
Рекомендации адресованы руководителям федеральных органов исполнительной власти США. Цель — улучшить качество и прозрачность разработки нового отраслевого регулирования в этой сфере.
Проект опубликован в рамках процедуры запроса формальных замечаний (принимаются до 13 марта 2020 г.):
https://tinyurl.com/wh10ai
Обзор основных положений документа:
https://tinyurl.com/ai10explained
Forwarded from Daria
BKC PrincipledAI_FinalGraphic.jpg
2.8 MB
Forwarded from Daria
Школа права Гарварда подготовила сравнительный анализ 36 документов, устанавливающих принципы для ИИ. Текст доклада доступен здесь https://cyber.harvard.edu/publication/2020/principled-ai
Berkman Klein Center
Principled Artificial Intelligence
Comparing the contents of thirty-six prominent AI principles documents side-by-side
2020.04.22 Концепция ИИ и РТ.pdf
261.6 KB
Проходит согласование Концепция развития регулирования искусственного интеллекта и робототехники до 2024 года
Проект документа разработан экспертами Фонда «Сколково», Сбербанка России, тематической рабочей группы «Киберфизические системы» (под руководством В. Б. Наумова), Минэкономразвития России.
Рабочие группы по направлениям «Нормативное регулирование» и «Искусственный интеллект» АНО «Цифровая экономика» в целом одобрили прилагаемый текст.
Впереди — согласование документа с федеральными органами исполнительной власти.
Проект документа разработан экспертами Фонда «Сколково», Сбербанка России, тематической рабочей группы «Киберфизические системы» (под руководством В. Б. Наумова), Минэкономразвития России.
Рабочие группы по направлениям «Нормативное регулирование» и «Искусственный интеллект» АНО «Цифровая экономика» в целом одобрили прилагаемый текст.
Впереди — согласование документа с федеральными органами исполнительной власти.
За пределами разумных сомнений
Вот мы, коллеги, спорим о стандартах доказывания в процессе. А смысл? И без наших статей и дискуссий обойдутся. На Сахалине посчитали, что 61% видимого сходства (по заключению системы с искусственным интеллектом) фотографии с камеры с конкретным человеком достаточно, чтобы этого конкретного человека привлечь к ответственности.
https://sakhalin.info/news/187997/
В проекте Концепции развития регулирования искусственного интеллекта, которая сейчас проходит согласование в федеральных органах исполнительной власти, мы с коллегами отдельно обозначили как проблему недостаток доверия к системам с ИИ.
А доверия нет потому, что нет единых стандартов для сопоставления таких систем по надёжности, степени пригодности для работы в той или иной предметной области. И потому, что логика принятия ими решений зачастую непрозрачна.
Это создаёт понятный общественный запрос на регулирование применения таких систем.
Как в данном случае — как вообще можно было одобрить применение системы, или применение таких её настроек, при которых 61% сходства достаточно для вынесения юридически значимого решения в отношении конкретного гражданина? Почему, скажем, не 99%? Кто и где обосновал обратное?
Развитие и применение систем с ИИ нужно всячески поддерживать. Но применение систем с ИИ должно быть ответственным!
В части стандартизации сопоставления систем между собой, конечно, надежда на экспертизу существующих у нас профильных технических комитетов при Росстандарте.
Но решение о критериях приемлемости применения того или иного технического средства, решение о допустимости доказательств - это решение должно быть технически информированным, но в итоге — юридически обоснованным.
А такие практики применения систем с ИИ, как на Сахалине, нужно выжигать калёным железом. И привлекать к дисциплинарной ответственности должностных лиц, ответственных за решение применять систему с такими характеристиками и настройками точности в данной чувствительной предметной области.
Вот мы, коллеги, спорим о стандартах доказывания в процессе. А смысл? И без наших статей и дискуссий обойдутся. На Сахалине посчитали, что 61% видимого сходства (по заключению системы с искусственным интеллектом) фотографии с камеры с конкретным человеком достаточно, чтобы этого конкретного человека привлечь к ответственности.
https://sakhalin.info/news/187997/
В проекте Концепции развития регулирования искусственного интеллекта, которая сейчас проходит согласование в федеральных органах исполнительной власти, мы с коллегами отдельно обозначили как проблему недостаток доверия к системам с ИИ.
А доверия нет потому, что нет единых стандартов для сопоставления таких систем по надёжности, степени пригодности для работы в той или иной предметной области. И потому, что логика принятия ими решений зачастую непрозрачна.
Это создаёт понятный общественный запрос на регулирование применения таких систем.
Как в данном случае — как вообще можно было одобрить применение системы, или применение таких её настроек, при которых 61% сходства достаточно для вынесения юридически значимого решения в отношении конкретного гражданина? Почему, скажем, не 99%? Кто и где обосновал обратное?
Развитие и применение систем с ИИ нужно всячески поддерживать. Но применение систем с ИИ должно быть ответственным!
В части стандартизации сопоставления систем между собой, конечно, надежда на экспертизу существующих у нас профильных технических комитетов при Росстандарте.
Но решение о критериях приемлемости применения того или иного технического средства, решение о допустимости доказательств - это решение должно быть технически информированным, но в итоге — юридически обоснованным.
А такие практики применения систем с ИИ, как на Сахалине, нужно выжигать калёным железом. И привлекать к дисциплинарной ответственности должностных лиц, ответственных за решение применять систему с такими характеристиками и настройками точности в данной чувствительной предметной области.
SAKHALIN.INFO
61% сходства новоиспеченной сахалинки с другой женщиной лишил ее 15 тысяч рублей
Лично присутствовать в зале суда соавтору не дали из-за карантина, откладывать дело тоже никто не стал, защищал ее интересы государственный адвокат...
Гугл ответил на план Еврокомиссии по регулированию ИИ
https://www.blog.google/documents/77/Googles_submission_to_EC_AI_consultation_1.pdf
https://www.blog.google/documents/77/Googles_submission_to_EC_AI_consultation_1.pdf
2020.07.03 Sk Legal Framework for a Trustworthy AI.pdf
395.3 KB
Trustworthy AI @ Skoltech
Широкое доверие к системам с ИИ будет невозможно, если процесс их внедрения не будет учитывать общие человеческие ценности. А эти ценности традиционно находят отражение в правовых и этических нормах.
3 июля постарались донести эту мысль в презентации, перечисляющей основные принципы, заложенные в Концепции регулирования ИИ и РТ.
Широкое доверие к системам с ИИ будет невозможно, если процесс их внедрения не будет учитывать общие человеческие ценности. А эти ценности традиционно находят отражение в правовых и этических нормах.
3 июля постарались донести эту мысль в презентации, перечисляющей основные принципы, заложенные в Концепции регулирования ИИ и РТ.
Нужен ли в компаниях специалист по этике в ИИ?
Мурат Дурмус предлагает обсудить этот вопрос в своём блоге. Для доступа к блогу из России нужен VPN.
https://www.linkedin.com/pulse/do-companies-need-chief-ai-ethics-officer-murat-durmus/
Мурат Дурмус предлагает обсудить этот вопрос в своём блоге. Для доступа к блогу из России нужен VPN.
https://www.linkedin.com/pulse/do-companies-need-chief-ai-ethics-officer-murat-durmus/
LinkedIn
Do Companies need a Chief AI-Ethics Officer?
A few quick thoughts on this. The world we live in is becoming more and more data-driven.
Robocounsel
Нужен ли в компаниях специалист по этике в ИИ? Мурат Дурмус предлагает обсудить этот вопрос в своём блоге. Для доступа к блогу из России нужен VPN. https://www.linkedin.com/pulse/do-companies-need-chief-ai-ethics-officer-murat-durmus/
Предлагаемая Муратом схема этичного машинного обучения
Нужен ли в организациях, активно применяющих ИИ, специалист по этике в контексте ИИ? (возможно несколько ответов)
Anonymous Poll
47%
Да, внутри комплаенс-функции
25%
Да, внутри юридической функции
3%
Да, в бизнес-подразделении
16%
Да, как отдельная функция
0%
Да, иначе (поясню в чате)
19%
Такой специалист не нужен
Классификация правовых режимов информации
В тематической рабочей группе "Большие данные" сейчас активно работаем над проблематикой общедоступной информации.
Наибольшие вопросы возникают на стыке двух правовых режимов — общедоступной информации (режим определён Законом об информации 149-ФЗ) и персональных данных (режим определён Законом о ПД 152-ФЗ).
Некоторые, кажется, очевидные вещи, становятся яснее на схеме:
1) нормы 149-ФЗ и 152-ФЗ — это нормы информационного права, являющегося одной из отраслей публичного права;
2) нормы 152-ФЗ, регулирующие правовой режим так называемых общедоступных данных, являются специальными по отношению к нормам 149-ФЗ об общедоступной информации;
3) нормы специального закона имеют приоритет в регулируемых ими отношениях по поводу конкретного вида информации — персональных данных (lex specialis derogat lex generali).
В тематической рабочей группе "Большие данные" сейчас активно работаем над проблематикой общедоступной информации.
Наибольшие вопросы возникают на стыке двух правовых режимов — общедоступной информации (режим определён Законом об информации 149-ФЗ) и персональных данных (режим определён Законом о ПД 152-ФЗ).
Некоторые, кажется, очевидные вещи, становятся яснее на схеме:
1) нормы 149-ФЗ и 152-ФЗ — это нормы информационного права, являющегося одной из отраслей публичного права;
2) нормы 152-ФЗ, регулирующие правовой режим так называемых общедоступных данных, являются специальными по отношению к нормам 149-ФЗ об общедоступной информации;
3) нормы специального закона имеют приоритет в регулируемых ими отношениях по поводу конкретного вида информации — персональных данных (lex specialis derogat lex generali).