Почему российский портал открытых данных не развивается уже несколько лет, данные не публикуются, а эти компетенции находятся в Минэкономразвития РФ в глубоком кризисе?

Специально для тех, кто следит за тематикой открытых данных: Минэкономразвития РФ заключило второе доп. соглашение к контракту на портал открытых данных. На этот раз изменили код вида расходов. Контракт заключен в ноябре прошлого года. Единственное, что доступно по контракту в ЕИС - доп. соглашение от конца августа на исключение из контракта хакатона, который поставщик должен был провести еще в декабре прошлого года. Можно ли вообще задним числом отменять работы, которые должны были быть проведены полгода назад? Вообще заказчик должен был отправить поставщика в РНП, а заодно уведомить следственные органы.

Моя коллега Ольга Пархимович (@ahminfin) писала об этом серию постов [1] [2] [3] [4], которые в кратком изложении звучат так, что подрядчик в лице Рунетсофта не выполнил множество работ по порталу откртыых данных, а Минэкономразвития не рискнули отправлять его в реестр недобросовестных поставщиков.

Никакого движения по контракту [5] кроме доп. соглашений не наблюдается - этапы не приняты, штрафы не выставлены, непонятно зачем вообще юристы Минэкономразвития существуют. За это время Рунетсофт успели внести в Реестр недобросовестных поставщиков, но не из-за контракта на портал открытых данных. А ведь если бы поставщика внесли в РНП сразу, когда первый этап контракта был не исполнен, то не было бы новых контрактов на несколько десятков миллионов рублей, которые в этом году Рунетсофт заключил с несколькими поставщиками, в том числе и с тем же Минэком.

Напомню, что только на техподдержку, консультационное и информационное сопровождение в контракте выделено несколько миллионов. При этом запрос на портал от декабря прошлого года одобряли 2 месяца вместо нескольких рабочих дней, а взяли в работу только в июле. То есть, на протяжении 7 месяцев консультационные/информационные работы не проводились.

Честно говоря, состояние федерального портала открытых данных и так удручающее, представители Минэкономразвития ещё и пытаются рассказывать об оценках открытости данных в регионах и ФОИВах, но при текущем состоянии собственных дел в их епархии, верить оценкам органа власти, не способного выстроить собственную работу с данными и провалившего работу с порталом открытых данных, невозможно.

А я напомню, что несколько раз писал о том, как внутри Минэкономразвития России работают с данными [6], о том как они создавали реестр СО НКО с кучей ошибок [6] и реестр системообразующих предприятий [7] ничуть не лучше.

Всё это редкостный позор, если честно. А бездействие Минэкономразвития по порталу открытых данных можно объяснить тем, что вся эта тема сошла с ключевой повестки правительства, превратившись в фрагментированные инициативы. Но потраченные деньги на портал открытых данных и итоговые результаты объяснить куда сложнее.


Ссылки:
[1] https://t.me/ahminfin/293
[2] https://t.me/ahminfin/294
[3] https://t.me/ahminfin/301
[4] https://t.me/ahminfin/407
[5] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949420000075
[6] https://www.rbc.ru/opinions/society/17/06/2020/5ee8ce139a79479edce77585
[7] https://t.me/begtin/1880

#opendata #opengov

Я сейчас гружу в APICrafter кучу данных с сайта Росстата [1] в раздел "Статистика" [2] и чуть позже сделаем официальный пост от проекта с тем сколько новых наборов данных появилось, а пока скажу вам друзья что всё что мы слышали или слышим про качество работы с открытыми данными у Росстата - это сказки.

Чтобы было понятно:

- с сайта Росстата скачано 1547 наборов данных
- у 742 наборов однотипная структура из CSV файлов с полями: area,gender,urban,value (все их можно было опубликовать как один набор данных)
- ещё 617 наборов данных это однотипные показатели в формате SDMX без документации, также их можно было опубликовать как один набор данных
- надо ли объяснять что это получается куча мелких файлов, эдакое "необоснованное дробление данных" (c) ради числа наборов данных
- половина данных опубликовано как CSV, другая половина как XML. Файлы CSV имеют ту особенность что половина с разделителем запятой (,), половина с разделителем (;).
- у 20 наборов данных у файлов CSV отсутствуют заголовки
- итого, если делать всё по уму, то у Росстата на сайте было бы всего 188 наборов данных. А если ещё объединить в один датасет вакансии всех террорганов Росстата то и всего то около 103-105 наборов данных. Чувствуете разницу?
- некоторые из наборов данных имеют расширение csv, а внутри это zip файлы. А иногда это zip файлы внутри которых файлы csv которые... на самом деле не csv, а тоже zip файлы
- около 30% опубликованных CSV файлов в кодировке windows-1251, остальные в UTF-8, нигде при этом не указано что в каком виде.
- несколько наборов данных XML - это дампы показателей из внутренней BI системы. Без документации.


В итоге пришлось дорабатывать код подготовки пакетов данных для автоматического распознавания кодировки, разделителей и выявления CSV файлов без заголовков. Это не так уж сложно, но окунаться в ад работы с плохоформатированными CSV файлами - это то ещё удовольствие.

А в качестве послесловия я добавлю что это ещё далеко не самый худший ФОИВ по опубликованию данных. Да, много где ситуация сильно хуже, но Росстат тоже, умеет удивлять отсутствием управления данными и таким вот дроблением датасетов на кучу мелких наборов данных.

Как бы то ни было, все они будут у нас в каталоге сегодня уже к концу дня. И, похоже, вводить критерии качества каталогов данных важно не меньше качества содержания наборов данных.

Ссылки:
[1] https://rosstat.gov.ru/opendata
[2] https://data.apicrafter.ru/topics/statistics

#opendata #datasets