Ivan Begtin
8.07K subscribers
1.47K photos
3 videos
99 files
4.21K links
I write about Open Data, Data Engineering, Government, Privacy and Data Preservation and other gov and tech stuff
Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech

Contact @NMBabina for ads proposals
Download Telegram
Маленький преданонс. В августе-ноябре 2018 года мы в Информационная культура и Ассоциация участников рынка данных, а конкретно я лично проводили обследование открытых интерфейсов государственных информсистем и иных информационных систем под госрегулированием на предмет раскрытия из них персональных данных пользователей.

Только на основе общедоступной информации. Результаты не были публичными, их направили в Минсвязь, Роскомнадзор, Генпрокуратуру, что-то всё ещё в работе, а многое уже исправлено.

Около половины найденного - это сведения из удостоверяющих центров, государственных и не очень. И как раз в их случае большая часть найденного уже исправлена, а остальные не исправят пока их явно не "пнешь" похоже.

Лично я долго думал что делать с найденным. Можно ли делать общедоступными результаты этого исследования? Можно ли рассказывать о путях вылова раскрытия перс. данных в информационных системах.

В итоге ту часть исследования которая касается удостоверяющих центров мы будем делать общедоступной. Это подробный анализ систем с конкретными путями воспроизведения и скриншотами по 17 УЦ в которых выявлена эта история (из примерно 50% существующих которые мы проверили).

Сейчас есть развилка:
1. Сделать это в виде собственного доклада, после перепроверки и дополнения информацией о том что было исправлено в итоге после чего рассылать пресс-релиз.
2. Поделиться с одним из крупных федеральных изданий под то что у них будет 1-2 журналиста готовых проверить то что тогда было выявлено и что исправлено и написать об этом качественный материал сославшись на Инфокультуру и Ассоциацию. Может быть даже провести это исследование повторно охватив 100% УЦ.

Если есть идеи и предложения как это лучше сделать - пишите мне на ibegtin@infoculture.ru

#openness #investigations #gis #personaldata
Вчера на круглом столе по будущему российской статистики в рамках XX апрельской конференции НИУ ВШЭ было обсуждение будущего Росстата.

Я кратко сформулирую мои тезисы, озвученные там:
1. Основными потребителями официальной статистической информации являются граждане, все экономические акторы принимающие решения. Росстат не должен ориентироваться исключительно на потребителей в органах власти.
2. Доверие к официальной статистике может и должно формироваться не только через обеспечение понятности используемых методик расчета показателей, но и через раскрытие исходного кода используемого для расчета этих показателей.
3. Важным аспектом официальной статистики является отсутствие гипер локальных, муниципальных данных. Раскрытие этих данных сейчас недостаточно удобно, недостаточно полно, недостаточно проверяемо.
4. Критичен вопрос огромного объема ведомственной статистики, не подпадающей под публичное раскрытие и не предоставляемых органами власти в Росстат. Как минимум это касается таких ФОИВов как Минздрав, МВД, Миннауки и многих других. Росстат сейчас не выступает единым методологом.

Конечно же ключевой вопрос в этом всём - это кризис доверия к данным официальной статистики и интенсивный поиск альтернативных источников актуальных и оперативных данных, как потребителей данных внутри государства, так и частным сектором. Этот кризис доверия уже не первый год формирует вопрос внутри государства и вне его о необходимости существования официальной статистики в той организационно-технической форме в которой она существует сейчас.

#data #stats #openness
Ещё немного примеров международного опыта в открытости данных и не только за пределами англосферы (англоязычных стран).

- Портал прозрачности правительства Испании [1] - позволяет осуществлять запрос на доступ к информации и агрегирует все инициативы правительства такие как Open Government, проекты по соучастию граждан и так далее в одном месте.
- Портал прозрачности правительства Бразилии [2] - включает декларации чиновников (централизовано), возможность делать запросы, раскрытие информации о контрактах и многое другое.
- В Китае порталы открытых данных есть у 82 органов власти китайских провинций, многих городов и федеральных министерств. Например, портал открытых данных Министерства торговли [3], портал научных данных Пекинского университета [4], город Бенгбу [5], Шанхай [6] и многие другие. Университет Фудань ведёт China Open Data Index [7] о чём пишет китайская пресса.
- Реестр открытого кода создаваемого властями Франции [8] ведётся Etalab, государственным центом ведения проектов по открытым данным, открытому коду и вовлечению граждан. В реестре более 2600 репозиториев кода на 12 окт 2019 г.
- Beta.gouv.fr [9] инкубатор цифровых услуг Франции с их обсуждением, отбором, инкубацией и тд. Радикально отличается от всего что касается создания и отбора госуслуг в России.
- Портал результатов деятельности правительства Тимор-Лете [10] и не абы какой а в рамках 20 летнего стратегического плана на 2011-2030 годы [11].

Ссылки:
[1] https://transparencia.gob.es
[2] http://www.portaltransparencia.gov.br/
[3] http://opendata.mofcom.gov.cn/
[4] https://opendata.pku.edu.cn/
[5] http://data.bengbu.gov.cn/
[6] http://data.sh.gov.cn
[7] http://russian.news.cn/2019-05/28/c_138097315.htm
[8] https://code.etalab.gouv.fr/
[9] https://beta.gouv.fr
[10] http://www.governmentresults.gov.tl
[11] http://timor-leste.gov.tl/wp-content/uploads/2011/07/Timor-Leste-Strategic-Plan-2011-20301.pdf

#openness #data #government
Джек Дорси, создатель социальной сети Твиттер в своих последних "твитах" написал о планах построения открытой децентрализованной платформы [1]. Для этой цели компания наняла малую команду из 5 человек архитекторов, инженеров и дизайнеров чтобы разработать децентрализованный стандарт для социальных медиа.

Он, в том числе, ссылается на публикацию Стивена Вольфрама [2] о его выступлении в Сенате (США) по контенту который для пользователей социальных сетей отбирает искусственный интеллект.

Ещё одна статья на которую он ссылается - это "Protocols not platforms" [3] за авторством Майка Масника, со многими ключевыми соображениями о доминировании платформ и о необходимости поиска бизнес моделей.

Важнейший вопрос в том, возможен ли принципиальный переход крупнейших платформ к децентрализации. Стратегии большинства из них до сих пор сфокусированы на том чтобы "пасти" пользователей и на том чтобы "закукливать" пользователей в свою экосистему.

Ссылки:
[1] https://twitter.com/jack/status/1204766078468911106
[2] https://writings.stephenwolfram.com/2019/06/testifying-at-the-senate-about-a-i-selected-content-on-the-internet/
[3] https://knightcolumbia.org/content/protocols-not-platforms-a-technological-approach-to-free-speech

#openness #platforms
В специальном разделе Минздрава Италии [1] максимально оперативные и исчерпывающие сведения о коронавирусе. На раздел ведёт огромный баннер с главной страницы.
Подобные разделы есть на сайтах Правительств и Минздравов почти всех охваченных стран.

А что в России? Проверьте сами сайт Минздрава [2]

Ссылки:
[1] http://www.salute.gov.it/nuovocoronavirus
[2] https://www.rosminzdrav.ru/ru

#opengov #openness #minzdrav #coronavirus
CNews написали о истории со слежкой в городской сети Wi-Fi в Москве [1] и сослались на мой канал в Телеграм, жаль без ссылки, но хорошо что в принципе это сделали. Мне меньше работы, можно не готовить материал и пересылать журналистам, а они сами берут их из опубликованного.

Но я хочу сделать акцент даже не на слежке за гражданами, а вот на всей этой истории с публикацией документа задним числом с указанием даты на месяц раньше его фактического подписания.

Нормативные, правовые и иные регламентирующие и отчетные документы - это чуть ли не основной результат деятельности органов власти. С подготовки подобных документов начинается и заканчивается работа по большинству функций и задач органов власти.

Но если мы посмотрим на то как устроено раскрытие хотя бы только нормативно-правовых документов, то обнаружим что:
- документы публикуются в виде сканов
- документы публикуются с ошибками в метаданных
- документы не проходят оценку регулирующего воздействий
- документы публикуются с большими задержками
- документы не публикуются

На федеральном уровне, например, не публикуется значительная доля Постановлений Правительства (9%), Распоряжений Правительства (23%), Указов Президента (34%), Распоряжений Президента (72%) [2].

Честно говоря у меня никак не доходили руки посмотреть на то в каком объёме публикуются НПА утверждаемые отдельными органами власти и вот изучая эту историю с регулированием Wi-FI, я не поленился и скачал метаданные по всем НПА Правительства Москвы и ОИВов Москвы.

Например, за 2019 год ДИТ Москвы принял не менее 715 документов НПА (последний опубликованный документ имеет номер 64-16-715/19 где 64-16 - префикс ДИТ Москвы, 715 - порядковый номер и 19 - год). При этом за год на mos.ru размещено всего 31 документ НПА, это 4.3% всех принятых ими документов.
Для сравнения:
- Минцифры России за 2019 год приняли не менее 870 приказов из которых опубликовано 76, это 8.7% всех принятых ими документов.
- Минюст России за 2019 год приняли не менее 321 приказ из которых опубликовано 92, это 28.6% всех принятых ими документов.
- Минсельхоз России за 2019 год приняли не менее 713 приказ из которых опубликовано 152, это 21% всех принятых ими документов.
и так далее. Из министерств самое открытое, в этой части - это Минфин России, но цифры приводить не буду, каждый может проверить это сам, например, через pravo.gov.ru [3].

Особенность опубликования НПА в том что можно хоть что-то знать об опубликованных документах, но ничего о тех которые не опубликованы. Не публикуют их потому что они секретны или не размещаются по каким-либо иным причинам или не размещаются, ну, просто потому что кто-то решил их не размещать несмотря на отсутствие формальных ограничений.

Даже без анализа текстов НПА очень много аномалий находятся анализом метаданных, в каком-то смысле это один из самых главных критериев открытости государства. Но большая часть органов власти об этом забывают и даже собственные НПА не публикуют как открытые данные.

Ссылки:
[1] https://www.cnews.ru/news/top/2020-09-18_za_polzovatelyami_wifi_v_stolichnom
[2] https://data.world/infoculture/lawstats/
[3] http://pravo.gov.ru

#law #lawstats #openness #transparency
Ещё в 2015 году ЮНЕСКО объявили 28 сентября Международным днём универсального доступа к информации [1], в этом году на русском об этом в послании Генерального директора ЮНЕСКО Одрэ Азуле. [2]. Конференция IDUAI и мероприятия в этом году отложены из-за COVID-19, но 28-30 сентября идут онлайн вебинары посвященные открытости информации и идущие под эгидой ЮНЕСКО.

Ссылки;
[1] https://en.unesco.org/commemorations/accesstoinformationday/
[2] https://unesdoc.unesco.org/ark:/48223/pf0000374375_rus.locale=en

#opendata #openness #transparency #unesco
Сегодня и следующие 12 дней начинается MozFest [1] большая онлайн конференция/фестиваль/серия мероприятий где, в том числе затрагиваеются такие темы как AI, открытость, децентрализация, управление данными и многое другое. А также большое число интерактивных сессий программирования онлайн.

Весь тайминг адаптирован под восточное побережье США поэтому в Москве он выглядит как серии сессий с 16:30 до 1:30

Участие стоит небольшой денежки, организаторы рекомендуют потратить $45, но Вы сами можете выбрать сумму.

Ссылки:
[1] https://www.mozillafestival.org

#openness #open #mozilla #data #events
О проблемах и особенностях открытости органов власти, по мелочам, продолжение. Всё то что вылезает когда регулярно изучаешь госсайты, но не входит в доклады:

1. Минпросвещения и Минпприроды не публикуют сведения о структуре органа власти. У Минпросвещения "страница обновляется" [1], у Минприроды просто нет информации в разделе "Структура" [2].
2. У Минприроды график приёма граждан не опубликован уже давно [3]
3. Нет единого портала нацпроектов в России. Есть только "куцый" раздел [4] на сайте Правительства РФ и отдельные сайты по отдельным нацпроектам [5] и другие медийные проекты вроде национальныепроекты.рф [6]. Зачем и почему так и почему нет единого портала раскрытия - непонятно.
4. Роснедра один из немногих ФОИВов публиковавших госзадания подведомственных учреждений. Но и они прекратили это делать в 2014 году [7]. Ещё один ФОИВ, Минстрой РФ прекратил публиковать госзадания в 2018, а отчёты по ним в 2017 годах [8]
5. Минприроды предоставляет карту пожаров не обновлявшуюся 3 недели [8] и с полным отсутствием ретроспективы. Данные доступны только на конкретную дату и с накопительным итогом с начала года. Довольно бессмысленно.
6. Во многих, возможно в большинстве ФОИВов, не указываются контакты руководителей департаментов в разделах "Структура". Часто не указываются даже рабочие телефоны.
7. Минтруд чуть ли не единственный ФОИВ публикующий подробные сведения о всех координационных и совещательных органах [10], включая их протоколы и положения.
8. И тот же Минтруд уже 4-й год не публикует доклады о результатах и основных направлениях деятельности [11]
9. А вот в Минтрансе РФ публикуют подробные сведения о подразделениях [12] включая контакты сотрудников
10. Реестры того же Минтранса это хороший пример того как не надо публиковать реестры. Например, реестр остановок публикуется без метаданных и без координат [13]

Список можно продолжать долго и это только просто про информацию на сайтах. Если смотреть на открытые данные, то будет куда больше таких нюансов.

Ссылки:
[1] https://edu.gov.ru/about/departments/
[2] http://www.mnr.gov.ru/about/#directors
[3] http://www.mnr.gov.ru/open_ministry/schedule/
[4] http://government.ru/rugovclassifier/section/2641/
[5] https://projectobrazovanie.ru/
[6] https://национальныепроекты.рф/
[7] https://www.rosnedra.gov.ru/category/191.html?mm=162&ml=263
[8] https://minstroyrf.gov.ru/about/organizations/gosdocs/
[9] http://mnr.gov.ru/activity/fire-map/
[10] https://mintrud.gov.ru/ministry/about/structure/advisory_coordinating
[11] https://mintrud.gov.ru/ministry/about/reports
[12] https://mintrans.gov.ru/ministry/structure
[13] https://mintrans.gov.ru/documents/8/11182?type=

#government #information #openness
Свежие события о том что происходит в мире вокруг закупок вакцин:
- В Австралии засекретили контракт с AstraZeneca [1] и власти активно сопротивляются запросам независимых сенаторов и журналистов на получение любых сведений о контрактах на поставку вакцин и данные мониторинга заболеваемости в странах тихоокеанского региона
- в Испании "большая четверка" консультантов в мире (Big Four) получила контрактов 83 миллиона евро время пандемии за 2020 год [2]
- в Боснии власти перевели в режим "конфиденциальности" контракт с CinoPharm на поставку полумиллиона вакцин [3]

В принципе, почти во всех странах в мире закупки при COVID-19 сопровождаются теми или иными скандалами. И только в России до сих пор, нет даже маркировки контрактов ушедших на противодействие COVID-19, непрозрачны расходы на производство и поставку вакцин.

Однако, если в России, вакцинация и эти траты - это внутреннее дело, поскольку все вакцины производятся самостоятельно, то в большинстве других стран, это вопрос макрополитический, поскольку вакцины закупаются в России, у AstraZeneca, CinoPharm и тд, и тут сила на стороне продавца, покупатели идут на многие условия, включая секретность сумм и особые условия договоров.


Ссылки:
[1] https://www.abc.net.au/news/2021-07-05/australia-covid-astrazeneca-deal-withheld-national-security/100261920
[2] https://confilegal.com/20210707-las-big-four-obtuvieron-83-m-en-contratos-publicos-durante-el-ultimo-ano/
[3] https://balkaninsight.com/2021/07/08/bosnia-entitys-secrecy-over-vaccine-procurement-draws-criticism/

#openness #covid19
Что меня тревожит в этих вот нацпроектах, так это удивительная "тишина" в официально публикуемых материалах.

К примеру, выдался у меня интерес посмотреть материалы по Нацпроекту "Экология", а на сайте Росводресурсов последний документ за март 2020 года [1], это, позвольте, но почти 1,5 года назад.
По госпрограммам также, вот только 10 августа у Росводресурсов появился отчет на сайте [2], а до этого год тишины, с конца июля 2020 года.

А сайт национальныепроекты.рф [3] пустой, там даже новости не публикуются.

Или вот раздел Нацпроект Экология [4] на сайте Минприроды РФ, тоже пустой, только паспорт проекта не понять какой актуальности.

Очень хочется спросить - что за хрень творится то?

Ссылки:
[1] https://voda.gov.ru/activities/natsproekt-ekologiya/
[2] https://voda.gov.ru/activities/gosudarstvennye-programmy-rossiyskoy-federatsii-i-federalnye-tselevye-programmy/
[3] https://национальныепроекты.рф/projects
[4] https://www.mnr.gov.ru/activity/directions/natsionalnyy_proekt_ekologiya/

#openness #ecology
Для меня, если честно, тема выборов скорее неинтересна, а про технические особенности и проблемы с электронным голосованием в Москве хорошо пишут более мотивированные к этому авторы. Я сфокусируюсь на системных проблемах подрывающих доверие к системе электронного голосования у нас в стране с самого начала её апробации/запуска/тестирования.

1. На всякий случай я напомню что есть такое явление как разделение власти оно прописано в Конституции и предполагает независимость каждой ветви власти друг от друга. В частности, избирательные комиссии не являются органами власти - это особые структуры не находящиеся в подчинении федеральной власти или властей субъектов федерации. Принцип их формирования основан на независимом проведении выборов. Поэтому большая часть информатизации выборов все эти годы (десятилетия) шли с тем что ЦИК РФ был основным заказчиком работ системы ГАС Выборы. Для электронного голосования этот принцип был нарушен, разработка систем была передана исполнительным органам власти в лице ДИТ Москвы и Минфры России. Даже если предположить что там работают прекрасные люди, желающие стране хорошего тем не менее, они не являются и не могут являться даже формально независимыми сторонами.

2. Важная характеристика любой системы, в том числе информационной, это просматриваемость/наблюдаемость, на английском языке это звучит как observability. Главное отличие от прозрачности в том что прозрачность - это практическая реализация, а просматриваемость - это пригодность системы к такому наблюдению. Когда речь идёт об электронном голосовании и его реализации на блокчейне, то всё это, частично, имеет характеристики просматриваемости и прозрачности, но... Важная оговорка в том где эта система стыкуется с другими системами, техническими и человеческими. А вспомним насколько прозрачны эти системы. Есть ли цифры показывающие прозрачность и работу Госуслуг? Как получается что по такой продвинутой системе нет ежесуточной детальной статистики по демографии, активности, регистрациям, осуществляемым услугам и так далее. Аналогично по регистрации избирателей в Москве через портал mos.ru. Эти системы непрозрачны, ненаблюдаемы, не предполагающие не то что раскрытия их кода, но и даже раскрытия самых базовых показателей, не говоря уже о чём либо ещё.

3. В целом, участие Венедиктова как эдакого "общественного омбудсмена" дискредитирует электронное голосование не меньше чем его результаты. Венедиктов ничего не понимает в технической стороне, безапелляционные его утверждения настолько вне-рефлексивны и настолько не допускают даже вероятности ошибки (а добросовестные ошибки тут возможны), что не возможно делать никаких других интерпретаций кроме того что "человека назначили защищать, он и защищает как может". Может он плохо, от этого всё выглядит ещё хуже.

4. Раскрытие исходного кода электронного голосования выглядит довольно удручающе. Публиковать в репозитории код без документации, в виде архивов, это, конечно, показывает что, или это сделано "на отвали", или разработчики просто не имеют квалификации работать с репозиториями кода.

5. И, чуть ли не самое главное, а кто проектировал систему электронного голосования? Кто её архитектор, проектировщик, ведущие разработчики? не Венедиктов же и не Артём Костырко, выступающие говорящими головами. Получается что, либо разработчики настолько стыдятся своей работы что не готовы о ней говорить, либо их заказчиики боятся их выступления потому что "косяки" системы станут ещё более очевидными.
Схемы, логика, бизнес-процесс, архитектура этой системы должны быть открыты, равно как и должны быть открыты те кто её создает.

#opensource #opendata #observability #transparency #openness #elections
В силу многих причин я, как и многие, смотрю на деятельность Правительства РФ обращая внимания на детали и нюансы.

Нюансы координационных и совещательных органов:
1. На сайте Пр-ва перестали обновляться новости по многим правительственным комиссиям. Например, Правительственная комиссия по модернизации экономики и инновационному развитию России, в разделе "Документы и события" последняя новость от 6 апреля 2020 г. [1], в то время как в разделе "Состав" упоминаются [2] 4 распоряжения Правительства РФ менявшие состав правкомиссии.
2. Подструктуры координационных органов не упоминаются на сайте Правительства РФ. Например. Рабочая группа по разработке и реализации НТИ при правительственной комиссии по модернизации экономики и инновационному развитию России упоминается в новостях СМИ и на сайте Минобрнауки РФ [3], но нигде нет её состава (логично в разделе правкомиссии на сайте Пр-ва РФ). Аналогичная ситуация с рабочей группой по инвестиционному развитию Правительственной комиссии по экономическому развитию и интеграции, она упоминается в новостях на сайте Пр-ва РФ, без каких-либо сведений о её составе и участниках совещаний [4]
3. Схожая ситуация с Государственной пограничной комиссией у которой состав уже менялся несколько раз, а новости и документы за 2015 год [5] и ещё со многими другими госкомиссиями, не буду перечислять все.
4. Комиссия по законопроектной деятельности с июля 2019 года перестала публиковать факты одобрения законопроектов [6]

Нюансы доступности документов
1. Среднее время задержки публикации документов на сайте Пр-ва РФ и портале официального опубликования publication.pravo.gov.ru составляет около 16 дней. На сайте Пр-ва РФ сейчас, 7 декабня, размещены НПА принятые 22 ноября [7], а на портале официального опубликования на 7 декабря. Так было и раньше и такое чувство что от смены правительства это не зависит, актуальных документов никогда нет на сайте Пр-ва.
2. На 7 декабря 2020 года Правительство приняло 3229 распоряжения, на 7 декабря 2021 года 3458 распоряжений. Итого прирост на 230 распоряжений в год. Прошлый состав Правительства при Д. Медведеве выдавал максимум до 2734 распоряжений за 2017 год.
3. В случае постановлений Правительства РФ в 2021 году на 7 декабря было принято 2195 постановлений, а в 2017 году на 7 декабря было принято 1489 постановления. Итого прирост на 33%.

Что-то ещё было, всё сразу не вспомню.

Ссылки:
[1] http://government.ru/department/491/events/
[2] http://government.ru/department/491/members/
[3] https://minobrnauki.gov.ru/press-center/news/?ELEMENT_ID=28416
[4] http://government.ru/news/41784/
[5] http://government.ru/department/443/events/
[6] http://government.ru/department/593/activities/
[7] http://government.ru/docs/all/

#transparency #openness #government