В свежем расследовании Сергея Шпилькина про 29 миллионов переболевших [1] важно не только само расследование, к нему уже есть комментарии разбирающие его [2], важнее то что нет смысловой/содержательной/осмысленной реакции Минздрава РФ да и оперштаба тоже. Важная российская особенность в том что с начала пандемии российским Правительством / Минздравом / Оперштабами не опубликовано ни одного набора данных относящихся к COVID-19. Всё что есть было собрано активистами с сайтов вроде стопкоронавирус.рф, из поисковой выдачи поисковых систем, по другим косвенным признакам. Мы от Инфокультуры контактировали с теми кто такие данные собирал и выкладывали их на Humanitarian Data Exchange [3], фактически, выполняя ту работу которую должны делать правительственные и региональные чиновники.

Я хочу обратить внимание что за эти годы весь социальный блок органов власти в нашей стране по закрытости мог бы соревноваться разьве что с МВД или другими правоохранительными органами. Данные не раскрываются не только о COVID-19, в принципе медицинская статистика, даже региональная, а уж о более гранулярной и речи ещё нет, не публикуется. Диалога с обществом о доступности данных не ведётся и, не велось даже во время открытого пр-ва, сопротивление со стороны Минздрава, Минобра и др. было коллосальным.

Что хуже - это то что шло и идёт вымывание профессионалов из очень многих областей госусправления. Вот этот пример с номерами переболевших очень показателен. Может ли со стороны Минздрава кто-то содержательно подробно прокомментировать откуда возникла такая ситуация? Проблема в том что нет, не могут. Также как и в десятках других отраслей. В ИТ сфере это выражается в вымывании самого понятия архитектуры государственных ИТ решений причем в долгосрочном плане. Все настолько увлечены тактическими планами что "поговорить не с кем".

Ссылки:
[1] https://holod.media/2021/07/20/unrz/
[2] https://www.facebook.com/alexx.dragan/posts/4263649057027571
[3] https://data.humdata.org/organization/infoculture

#opendata #investigations

В продолжение про данные о Covid-19, Минцифра заключила контракт с AT Consulting по доработке НСУД и там в документе ТЗ начиная с 43 страницы есть таблица со списком "Базовые наборы данных для первичной загрузки в Подсистему информационно-аналитического обеспечения"

Это не секретные данные, под проект приказа ФСБ не попадают, так почему они до сих пор не открыты? Всего в списке 62 набора данных, если ещё остались журналисты запрашивающие данные у органов власти, то вот вам наводка у какой организации что запрашивать.

#opendata #nsud #contracts

Свежее исследование Forrester Wave со сравнением 12 облачных провайдеров управления данными: Aim, Alation, Ataccama, Collibra, Congruity360, data.world, erwin, Infogix, OneTrust, SAP, Solix, Syniti [1]

В лидерах они упоминают Colibra, Alation, Infogix, Atacamma.

И ещё многих других в "догоняющих". Большая часть этих продуктов в России не представлены потому что все потенциальные их клиенты под прессингом "импортозамещения", но обзор весьма полезен для улавливания трендов в data governance.


Ссылки:
[1] https://reprints2.forrester.com/#/assets/2/1946/RES161533/report

#datacatalogs #clouds

Закрылся ещё один портал открытых данных - Портал открытых данных Приморского края [1], возможно довольно давно, пристально за ним не следили. Вместо этого теперь на сайте администрации края появился раздел "Открытые данные" [2] с 5 тестовыми наборами данных.

Когда-то этот портал анонсировали NextGIS [3] и он позиционировался как портал на базе движка CKAN доработанный для работы с геоданными.

Ссылки:
[1] https://opendata25.primorsky.ru/
[2] https://www.primorsky.ru/opendata2/
[3] https://nextgis.ru/blog/opengeodata-portal/

#opendata #primorsky #datadegradation

Статистика по заболеваемости COVID-19 — одна из самых злободневных тем в России. Граждане не доверяют государственным органам, активисты и СМИ проводят расследования, где утверждается, что число переболевших уже перевалило за 29 миллионов. Не буду сейчас утверждать, правдивы ли официальные данные или надо верить альтернативным оценкам. Однако факт в том, что за последние десятилетия наше государство, в особенности социальный блок правительства, не сделало ничего, чтобы этого доверия стало больше. Данные о качестве жизни скрываются столь же тщательно, как, например, статистика преступлений...

В Forbes вышла моя колонка " Нездоровая закрытость: почему государство не спешит делиться данными с гражданами" [1]

Ссылки:
[1] https://www.forbes.ru/obshchestvo/435565-nezdorovaya-zakrytost-pochemu-gosudarstvo-ne-speshit-delitsya-dannymi-s

#opendata #covid19 #data

К этой "сочной" статистике о повальной неграмотности нормотворцев в исполнительной власти хочется добавить ещё и бесконечный поток нормативки порождаемой органами власти. Ничем не обоснованный поток

👎 Вице-премьер Дмитрий Григоренко оценил качество проектов актов, подготовленных и внесенных бюрократами в Правительство за первые пять месяцев 2021 года. Выяснилось, что аж 52% поступивших проектов не соответствуют регламенту, содержат недостатки правового и лингвистического характера, грамматические и орфографические ошибки.
 
Топ-10 критических нарушений выглядит так:
1) Отсутствие обязательных заключений/результатов экспертиз – 37%;
2) Наплевательское отношение к пояснительной записке – 23%;
3) Отсутствие необходимых согласований – 20%;
4) Непредоставление обязательного протокола заседания Правкомиссии по проведению административной реформы – 18%;
5) Нахальное внесение актов с неурегулированными разногласиями – 13%;
6) Отсутствие внятного обоснования самой необходимости акта – 10%;
7) Отсутствие финансово-экономического обоснования – 10%;
8) Наплевательское отношение к процедуре ОРВ – 9%;
9) Внесение акта неуполномоченным самозванцем – 4%;
10) Наплевательское отношение к процедуре общественного слушания – 4%.
 
В аппарате Правительства устали исправлять документы, которые содержат:
1) Глупые лингвистические и стилистические ошибки – 45%;
2) Грамматические и орфографические ошибки – 43%;
3) Неверные ссылки на источник – 43%;
4) Ошибки правового характера – 32%;
5) Несоблюдение сформированных подходов и сложившейся практики – 22%;
6) Ошибки при форматировании текста – 22%;
7) Ошибки в таблицах – 11%;
8) Дублирование предложений, по которым уже приняты решения – 3%.
 
Дмитрий Юрьевич считает: из-за того, что ряд бюрократов не способен подготовить качественные документы в срок возникают репутационные риски для всего Правительства, а также замедляется развитие российской экономики. От самых обнаглевших чиновников господин Григоренко потребовал прекратить ставить куда ни попадя пометку «Для служебного пользования» ради очевидного обхода обязательной процедуры общественных обсуждений. А всем остальным он поручил тщательно прорабатывать как суть, так и непосредственные тексты вносимых актов, и помнить: в Правительстве фиксируют «косяки» каждого исполнителя по документу, а также его руководителя.

Вот пришёл конец цифровой экономике (c). Да, платформы могут отказаться выполнять эти требования, да у российских разработчиков и не только наступит выбор - регистрируешь юр. лицо за рубежом или сворачиваешь бизнес. А кроме разработчиков ещё много чего и кого от платформ зависят. Да чего уж там, у всех кого почта для домена на Google, к примеру, что им делать?

Готов спорить что эти сроки будут переносить ещё не раз, но даже сам анонс таких мер, это самоудушение экономики.

Минцифры опубликовало проект постановления, дополняющего закон об обязанности иностранных цифровых платформ открывать представительства. Если IT-гиганты не выполнят требования до 1 января 2022 года, им заблокируют проведение финансовых операций через российские банки.

Михаил Третьяк рассказал, что в нынешней редакции закон может сильно ударить по российским разработчикам, рекламодателям и обычным пользователям. Как именно — читайте в «Секрете» ➡️ https://secretmag.ru/news/zhizn-bez-google-play-kak-i-pochemu-zakon-o-prizemlenii-inostrannykh-it-gigantov-navredit-rossiyanam.htm

#комментарии_экспертов

Обновили классификацию объектов в DataCrafter'е. Теперь классифицированы 4405 полей, это 25% от общего их числа.

Добавлены новые классификационные типы:
- Код бюджета Российской Федерации (budgetcode)
- Название кода бюджета Российской Федерации (budgetname)
- Логические типы данных, булевый тип (boolean)
- Код вида расходов (kvrcode)
- Наименование вида расходов (kvrname)
- Уникальный идентификатор MongoDb (mongodbid) - используется внутри системы, не передаётся пользователям поскольку может меняться при перезагрузке данных
- Код РНФИ в реестрах Росимущества (rnfi)

А также многие другие классификационные коды.

Также в систему были загружены данные реестров каталогов открытых данных таких как hubofdata.ru, data.gov.ru и ngodata.ru

#classification #datasets

В D-Russia.ru пишут о изменениях [1] в "трехглавый закон" в котором ввели два новых термина:

«Государственная информационная система – информационная система, созданная в соответствии с настоящим федеральным законом, иными федеральными законами, законами субъектов Российской Федерации, в базах данных которой содержится документированная информация и (или) иные сведения, получаемые или формируемые федеральными органами государственной власти, иными федеральными государственными органами, органами государственной власти субъектов Российской Федерации, иными государственными органами субъектов Российской Федерации, государственными организациями в связи с осуществлением ими полномочий по предоставлению государственных или муниципальных услуг (исполнению государственных или муниципальных функций), предусмотренных нормативными правовыми актами, а также иными организациями, на которые возложено осуществление функций по получению или формированию соответствующей информации и (или) сведений законодательством Российской Федерации, законодательством субъектов Российской Федерации»

и
«Жизненный цикл информационной системы – совокупность взаимосвязанных процессов, объединяемых в этапы, изменения состояния информационной системы от принятия решения о ее создании, формирования исходных требований к ней и до окончания ее эксплуатации (вывода из эксплуатации)».

Определение, конечно, было нужно, но беда в том что определение не решает ключевого вопроса. Все ли ИТ продукты сделанные за бюджетные средства ГИСы? А что делать с эксплуатацией программных продуктов созданных без нормативных документов, например, Минцифра разработала мобильное приложение - это приложение какой статус имеет: ГИС, компонент ГИС и тд. ? Каков его жизненный цикл?

Или, к примеру, Министерство заборостроительства Китежградаского края разработает телеграм-бот. Это ГИС или не ГИС? И такого ещё много.

Иначе говоря законопроект не снимает неоднозначности трактовок, к сожалению.

Ссылки:
[1] https://d-russia.ru/mincifry-opredelilo-ponjatija-gis-i-zhiznennyj-cikl-gis-dlja-vvedenija-ih-v-federalnyj-zakon.html

#gis #government #regulation

Федеральное правительство Германии опубликовало стратегию открытости данных [1]. Довольно подробный текст, доступный только на немецком языке. Много примеров публикации и использования данных и ориентир на дальнейшее их раскрытие и поощрение использования.

В чём отличия от российских реалий?
1. Никаких рейтингов и сравнений госорганов/регионов.
2. Акцент на эффекте от повторного использования данных.
3. Много научных примеров с раскрытием данных на общеевропейском портале Zenodo.org
4. Работа над стандартами по раскрытию данных (стандарт DCAT-AP)

Ссылки:
[1] https://www.bundesregierung.de/breg-de/aktuelles/open-data-strategie-1939808
[2] https://www.bundesregierung.de/resource/blob/975228/1940386/1d269a2ad1b6346fcf60663bdea9c9f8/2021-07-07-open-data-strategie-data.pdf?download=1

#opendata #opengov

Вчера вечером на общественном телевидении (ОТР) я комментировал прошедшие недавно учения по отключению Рунета от Интернета о которых писал ранее РБК [1].

Передачу ОТР и мой комментарий можно посмотреть на сайте их сайте [2] в записи передачи, начиная с 3:26:14.

Честно говоря я хотел об этом написать раньше, но и сейчас не поздно повторить тезисы озвученные в передаче:
1. Отключить рунет от Интернета, конечно, возможно, вопрос лишь цены которая будет непомерной для экономики.
2. С иностранными инвестициями и развитием несырьевой экономики в России можно будет распрощаться.
3. Говорить о том что надо тестировать отключение на случай если нас отключат, это примерно как тестировать самоубийство на случай если могут пристрелить.

В передачу там ещё дозвонился зритель с резонным вопросом что вообще надо всё отключить и вообще ядерная война скоро и она уже должна была ещё ранее произойти.

У меня вот тоже есть вопросы, в самом деле, если отключение Рунета тестируют, то что это давно не было учений ядерных бомбардировок, почему это давно нет учений на случай биологической войны? Граждане, вон, уже забыли где бомбоубежища и авианалётами их пугает Миноброны понарошку на большие военные праздники.

В самом деле, почему нет федерального органа ответственного за создание паники у населения, нет национального проекта нагнетания страха, даже федеральные проекты по запугиванию не попали в 42 приоритетные задачи правительства.

Я в недоумении.

Ссылки:
[1] https://www.rbc.ru/technology_and_media/21/07/2021/60f8134c9a79476f5de1d739
[2] https://otr-online.ru/programmy/segodnya-v-rossii/dolzhno-li-gosudarstvo-kontrolirovat-internet-kak-ozhivit-ekonomiku-kuril-pravo-na-dorogu-tokio-2020-tri-zolota-za-odin-chas-52282.html

#runet

Для тех кто интересуется "гражданской наукой" (citizen science) и данными - проект BirdNet [1] лаборатории орнитологии Корнелла в виде мобильного приложения куда каждый может загрузить часть птичьей песни для немедленной идентификации кто же её поёт.

У приложения открытый код [2] и там же возможность скачать открытую модель для распознавания.


Ссылки:
[1] https://birdnet.cornell.edu/
[2] https://github.com/kahst/BirdNET

#opensource #datascience #citizenscience

12 лет назад я создал сообщество в группах Google посвящённое открытым данным [1] и проект OpenGovData [2] (сейчас зеркало хаба открытых данных), а потом ещё через год Wiki Открытая госинформация [3] в которых собирал данные сам, создавал первый каталог открытых данных в России и организовывал активистов по написанию парсеров по сбору данных.

Сейчас есть много других сообществ, инструментов и сервисов. Новые каталоги, новые данные, а тогда не существовало ни одного госпроекта в этой области, данные и data science в частности не были такой сверхпопулярной темой, а главным вопросом у всех было в основном "зачем вы это делаете? кому это вообще в России нужно?". На фоне этих вопросов общественный проект выглядел вызывающе, а вел я его по собственной инициативе;)

Несмотря на то что сейчас открытые данные уже с боку от активной государственной повестке в России, но даже если так то ситуация с доступностью госданных стала сильно лучше. Не всё, но многое стало доступнее. Но смотря с чем сравнивать. Если с тем что было 12 лет назад в России, то стало лучше. Если сравнивать с другими странами которые начинали этот же путь, то не всё так хорошо как хотелось бы.
На что я не могу не обратить внимание это то что за 12 лет не стало лучше с доступностью нормативных документов и всего что касается качества жизни. Именно тех данных которые наиболее востребованы гражданами не изменилось ничего.

Важные отличия России от стран которые начинали первыми в том что там тема открытых данных получила разные формы институционализации. В виде команд внутри государства, как часть законов, стратегий и госполитики, как специально созданные организации вроде The Open Data Institute и ещё многого другого что сделало тему неразрывно связанной с будущим государства.

Впрочем я повторю то же что регулярно повторял на мероприятиях открытого правительства: мы занимались открытыми данными до вас, занимаемся сейчас и продолжим заниматься когда вы прекратите.

Открытость данных для меня вот уже 12 летний марафон и он продолжается.

Ссылки:
[1] https://groups.google.com/g/opengovdataru
[2] https://opengovdata.ru
[3] http://opengovdataru.pbworks.com/

#opendata #opengov #retrospective

Можно сказать что новый термин INDS (Integrated national data system) / Интегрированная национальная система данных. В блоге Мирового банка [1] заметка о таких системах в Гане, Эстонии и Мексике и со ссылкой на доклад World Development Report 2021: DATA FOR BETTER LIVES [2] того же Мирового банка.

Доклад полезный, есть версия на русском языке [3], много примеров, но не о России, но не в России, а жаль, в России немало примеров работы с данными на государственном уровне и в частном секторе.

Ссылки:
[1] https://blogs.worldbank.org/opendata/creating-integrated-national-data-system-lessons-estonia-ghana-and-mexico
[2] https://www.worldbank.org/en/publication/wdr2021
[3] https://openknowledge.worldbank.org/bitstream/handle/10986/35218/211600ovRU.pdf

#data #opendata

Big data for economic statistics [1] свежий обзор практик применяемых статистическими ведомствами для мониторинга экономической ситуации и сбора оперативной экономической статистики.

Много примеров, например:
- Малазийское статведомство DOSM разработало собственный портал мониторинга цен данные для которого собирают парсингом с сайтов интернет-магазинов
- Аналогично статведомство Новой Зеландии собирает с помощью парсинга сайтов данные по ценам на еду и объединяет их с данными полученными из других источников
- аналогично поступают ещё около десятка статведомств других стран
- в Индонезии и в Грузии отслеживают статистику туризма с помощью данных сотовых операторов

И так далее, примеров много, областей и направлений работы с данными много. Всё это про альтернативные источники данных заменяющие классические статистические показатели. Важные для инвесторов, туристов и тех кто принимает решения внутри страны.

Ссылки:
[1] https://repository.unescap.org/handle/20.500.12870/3501

#statistics #bigdata #economics