Я довольно давно хочу написать про тему того насколько хорошо/плохо работает с данными Росстат как пример того как вообще с данными работают те органы власти которые должны с ними работать. Если про открытые данные у них всё стало куда лучше за последние годы и раздел "Открытые данные" [1] стал представлять какую-то ценность, но открытые данные - это лишь малая часть деятельности, так что поговорим про методическую работу.

Вот к примеру, ЕМИСС (fedstat.ru) [2], единый портал для публикации показателей десятками органов власти. По многим признаком хороший ресурс - данные публикуются как открытые, у каждого показателя есть паспорт, сведения о том как он актуализируется, возможность выгрузки в XML (специальный формат SDMX) и Excel и в целом кажется что неплохо. Когда начинаешь смотреть внутри, то возникает множество вопросов.

1. Данные актуализируются с очень большими задержками. Не все, но многие данные задерживаются в среднем на 1.5-2 года. Где-то это особенность методологии, но везде ли?
2. По любому показателю есть "просмотр по умолчанию" при котором отображаются не все параметры, а только несколько. Например, только последние годы и только несколько регионов. Это можно поменять в настройках отображения, но надо для этого делать доп. действия и это может показаться безобидным.
3. На самом деле этот "просмотр по умолчанию" не безобиден. Потому что экспорт данных по умолчанию из этого просмотра по умолчанию. Нет простого способа получить все значения показателя, нужны дополнительные действия и скрейперы или ручная выгрузка данных.
4. У Росстата, по совершенно неизвестной мне причине, нет системы управления нормативно справочной информацией. Это называют системы НСИ. Они есть у Минздрава, ФФОМС, Минцифры и ещё много где, но у Росстате нет. В результате, например, на около 7 тысяч показателей в ЕМИСС есть чуть менее 700 справочников (691 на сегодня). Они называются code lists, такие справочники есть, например, у Евростата, система RAMON [3], там 283 справочника при заметно большем числе, 10.5 тыс индикаторов. Из российских 691 справочника которые видны только внутри XML файлов у десятков если не более есть пересечения. Это справочники товаров, регионов и стран. Почему так? Может быть потому что работа с НСИ - это и есть огромная методологическая работа, а вести её некому.
5. Может быть это проблема конкретно ЕМИСС и в других случаях ситуация получше ? В витринах данных Росстата (showdata.gks.ru) [4] ситуация ещё хуже. Методических пояснений меньше, справочники вообще не приведены, экспорта в форматы включающие справочники (code lists) тоже нет. Только простые форматы CSV, XLS и тд. В других системах Росстата (общедоступных) нет и такого

Всем этим я хочу сказать что просто открывать данные недостаточно. Если их ведение в исходной системы должно быть вестись так чтобы их можно было использовать повторно, а это использование ограничено. Нельзя вот так просто, к примеру, взять показатели с ЕМИСС и попробовать собрать профиль региона, потому что справочников с регионами там более одного и они не связаны.

Ссылки:
[1] https://gks.ru/opendata/
[2] https://fedstat.ru
[3] https://ec.europa.eu/eurostat/ramon/index.cfm?TargetUrl=DSP_PUB_WELC
[4] https://showdata.gks.ru

#opendata #statistics #rosstat

В издании Проект весьма критичная статья про Росстат и раскрытии данных [1], в первую очередь с обвинениями в искажении статистики в угоду политической ситуации и давлению. Проблема эта не на пустом месте, независимость статистического ведомства - это давний вопрос, а политизация статистики в России также уже давно является проблемой.

Но как мне говорили специалисты в кулуарных разговорах проблема куда глубже. Даже в сравнении с СССР. Потому что даже в СССР были статистические справочники двух типов. Публикуемые для всех и находящиеся исключительно в закрытом обращении.

У многих кто сталкивается с современной отечественной статистикой возникают вопросы "Но ведь не может быть что _они_ принимают на ней решения, наверняка где-то есть реальные цифры под ДСП или гостайной". Реальность хуже, проблема в том что потребителями этих цифр являются не только массово граждане, но и те кто принимает решения и пишет нормы законов и иных документов.

Эта проблема системная, из-за сверхприсутствия государства во всех областях жизни и "рейтингодрочества" в нашей стране у почти всех есть просто огромная мотивация в искажении и подлоге статпоказателей.

Системные изменения тут нужны не только в Росстате, а проблемы поднимаемые в статье правильные.

Ссылки:
[1] https://www.proekt.media/narrative/dannye-rosstata/

#rosstat #stats #statistics

Спасибо читателю моего канала, копирую видео из сообщения из чата

Увы, Росстат это какая-то боль, за данными на сайте совсем не следят. Не только в разделе открытых данных, а и вообще в остальных блоках тоже.

#opendata #data #stats #rosstat

Каждый имеет право на ответ (с)

Публикую текст от пресс-секретаря Росстата по ситуации с доступностью данных о розничных продажах.

#opendata #rosstat #statistics #russia

К вопросу о том как устроена публикация данных в России и что с ней не так. Про портал data.gov.ru я и так часто писал, а вот пример в виде системы показателей ЕМИСС [1]. По всем признакам - это неплохая система публикации показателей. Там и экспорт в Excel есть, и формат SDMX есть, и раздел открытые данные есть на сайте и выглядит всё не так плохо. Казалось бы какая хорошая штука! Больше того у неё даже есть API, недокументированное правда.

Но когда-то несколько лет назад я делал углублённый анализ того как и что там происходит и результаты разочаровывающие.

Про проблемы того что данные/индикаторы исчезают оттуда уже многие писали, но проблема и в том как текущие данные там представлены. Вот несколько самых критичных проблем.
1. Самое критичное, по умолчанию все индикаторы показываются неполностью и не по актуальным данным. Открывая любой индикатор у можно увидеть не полный перечень значений, а те что отдаются в "отображении по умолчанию". Пример, в виде индикатора на картинке [2] открывая его последние значения за 2014 год. Это не значит что за другие годы значений нет, это значит что они по умолчанию не отображаются. Чтобы увидеть всё надо прокликать все фильтры и тогда уже смотреть или выгружать данные целиком. Это очень сильно влияет на всё что есть в этой системе - открытые данные, просмотр индикаторов и так далее.
2. Вид по умолчанию влияет на содержание того что на сайте называется открытыми данными. Данные того же индикатора при выгрузке из раздела открытых данных [3] будут включать только значения за из этого самого "отображения по умолчанию". Тем самым получается что если кто-то просто скачает открытые данные из раздела на портале ЕМИСС то там не будет актуальных данных.
3. Более того получение актуальных данных автоматически или как открытых данных или через недокументированное API вообще не предусмотрено. Чтобы их получить надо вручную или автоматически прокликать эти фильтры и не всякий неподготовленный пользователь это знает. Тем самым это дискредитирует сам портал для многих кто "не в теме".
4. И наконец, тоже важное, но не так как предыдущее. В этой системе нет нормализованных справочников. Там буквально сотни если не тысячи справочников, со своими кодами под каждый показатель. Например, нет гармонизированного справочника регионов. Вообще справочные данные никак не вынесены и не структурированы как в самой системе, так и вне её. Сопоставимость справочников низкая и требуется много ручной работы чтобы её проделать.

Обо всём этом я писал более чем 2 года назад в тексте Почему невозможно хвалить Росстат [4]. Мало что поменялось за эти годы.

Ссылки:
[1] https://fedstat.ru
[2] https://fedstat.ru/indicator/36984
[3] https://fedstat.ru/opendata/7708234640-threeasixanineaeightafour
[4] https://begtin.substack.com/p/22

#opendata #russia #statistics #rosstat