По поводу смены главы Росстата [1], я скажу так. Я ругал Росстат много лет за тому как плохо Росстат работал и работает с данными и, в особенности, формально подходит к их раскрытию, не использует внешние источники данных для проверки своих показателей и, в принципе, там много вопросов по цифрам переписи, доступности данных переписи и принятых ограничениях в статнаблюдении именно с их подачи по которым Росстат отказывался давать, например, муниципальные срезы по переписи.

Но ругать ушедших руководителей после увольнения и хвалить новых - это дурной российский тон которому лично я следовать не собираюсь.

Я бы сказал что у меня к Росстату здесь институциональные претензии, как к органу власти, который, по хорошему, и мог бы отвечать за открытость данных и должен был бы быть основным заказчиком и постановщиком задачи для Национальной системы управления данными.

Какие в итоге произойдут изменения в Росстате в ближайшие годы я не рискну сказать, но могу сформулировать то что я считаю важным и даже необходимым:
1. Формирование системы формирование статистики как часть НСУД или независимо с функцией сбора первичных данных и расчёта показателей на основе данных из государственных информационных систем.
2. Консолидация большого числа ведомственной статистики: Минздрав, МВД, Минобрнауки и всех остальных ведомств.
3. Исследование применимости внешних данных, собираемых не государством, для расчёта ключевых показателей.
4. Приведение в соответствие и достижение достоверности показателей статнаблюдения с показателями по нац. проектам и по госпрограммам.
5. Приведение в соответствие и достижение достоверности показателей статнаблюдения с показателями в программа стратегического планирования
6. Партнёрство с крупнейшими инфраструктурными монополиями по автоматизации и уточнения сбора статистики. Это партнёрство с:
- сотовыми операторами;
- интернет провайдерами;
- банками (и ЦБ);
и тд.
7. Запуск цикла исследований по масштабам, структуре, демографии и иных ключевых характеристиках теневого сектора.
8. Публикация данных переписи и иных показателей в форматах открытых данных. Включая ранее накопленные справочники и тома данных за прошлые годы.

Есть ли что-то из этого на повестке у нового главы Росстата - я не берусь гадать, но надеюсь что есть. Получится ли изменить Росстат и дать ему технологическую опору и при этом обеспечить его независимость и точность измерений? Этот вопрос, к сожалению, не к главе Росстата, а к политическому руководству страны и его готовности к тому чтобы видеть объективную картину.

P.S. В любом случае при смене руководителя ведомства мы в проекте Национальный цифровой архив России [2] проводим архивацию всех онлайн ресурсов этого органа власти и сайты Росстата и его территориальных управлений.

Ссылки:
[1] http://economy.gov.ru/minec/press/news/201824123
[2] https://ruarxive.org/

#opendata #data #rosstat

Я довольно давно хочу написать про тему того насколько хорошо/плохо работает с данными Росстат как пример того как вообще с данными работают те органы власти которые должны с ними работать. Если про открытые данные у них всё стало куда лучше за последние годы и раздел "Открытые данные" [1] стал представлять какую-то ценность, но открытые данные - это лишь малая часть деятельности, так что поговорим про методическую работу.

Вот к примеру, ЕМИСС (fedstat.ru) [2], единый портал для публикации показателей десятками органов власти. По многим признаком хороший ресурс - данные публикуются как открытые, у каждого показателя есть паспорт, сведения о том как он актуализируется, возможность выгрузки в XML (специальный формат SDMX) и Excel и в целом кажется что неплохо. Когда начинаешь смотреть внутри, то возникает множество вопросов.

1. Данные актуализируются с очень большими задержками. Не все, но многие данные задерживаются в среднем на 1.5-2 года. Где-то это особенность методологии, но везде ли?
2. По любому показателю есть "просмотр по умолчанию" при котором отображаются не все параметры, а только несколько. Например, только последние годы и только несколько регионов. Это можно поменять в настройках отображения, но надо для этого делать доп. действия и это может показаться безобидным.
3. На самом деле этот "просмотр по умолчанию" не безобиден. Потому что экспорт данных по умолчанию из этого просмотра по умолчанию. Нет простого способа получить все значения показателя, нужны дополнительные действия и скрейперы или ручная выгрузка данных.
4. У Росстата, по совершенно неизвестной мне причине, нет системы управления нормативно справочной информацией. Это называют системы НСИ. Они есть у Минздрава, ФФОМС, Минцифры и ещё много где, но у Росстате нет. В результате, например, на около 7 тысяч показателей в ЕМИСС есть чуть менее 700 справочников (691 на сегодня). Они называются code lists, такие справочники есть, например, у Евростата, система RAMON [3], там 283 справочника при заметно большем числе, 10.5 тыс индикаторов. Из российских 691 справочника которые видны только внутри XML файлов у десятков если не более есть пересечения. Это справочники товаров, регионов и стран. Почему так? Может быть потому что работа с НСИ - это и есть огромная методологическая работа, а вести её некому.
5. Может быть это проблема конкретно ЕМИСС и в других случаях ситуация получше ? В витринах данных Росстата (showdata.gks.ru) [4] ситуация ещё хуже. Методических пояснений меньше, справочники вообще не приведены, экспорта в форматы включающие справочники (code lists) тоже нет. Только простые форматы CSV, XLS и тд. В других системах Росстата (общедоступных) нет и такого

Всем этим я хочу сказать что просто открывать данные недостаточно. Если их ведение в исходной системы должно быть вестись так чтобы их можно было использовать повторно, а это использование ограничено. Нельзя вот так просто, к примеру, взять показатели с ЕМИСС и попробовать собрать профиль региона, потому что справочников с регионами там более одного и они не связаны.

Ссылки:
[1] https://gks.ru/opendata/
[2] https://fedstat.ru
[3] https://ec.europa.eu/eurostat/ramon/index.cfm?TargetUrl=DSP_PUB_WELC
[4] https://showdata.gks.ru

#opendata #statistics #rosstat

В издании Проект весьма критичная статья про Росстат и раскрытии данных [1], в первую очередь с обвинениями в искажении статистики в угоду политической ситуации и давлению. Проблема эта не на пустом месте, независимость статистического ведомства - это давний вопрос, а политизация статистики в России также уже давно является проблемой.

Но как мне говорили специалисты в кулуарных разговорах проблема куда глубже. Даже в сравнении с СССР. Потому что даже в СССР были статистические справочники двух типов. Публикуемые для всех и находящиеся исключительно в закрытом обращении.

У многих кто сталкивается с современной отечественной статистикой возникают вопросы "Но ведь не может быть что _они_ принимают на ней решения, наверняка где-то есть реальные цифры под ДСП или гостайной". Реальность хуже, проблема в том что потребителями этих цифр являются не только массово граждане, но и те кто принимает решения и пишет нормы законов и иных документов.

Эта проблема системная, из-за сверхприсутствия государства во всех областях жизни и "рейтингодрочества" в нашей стране у почти всех есть просто огромная мотивация в искажении и подлоге статпоказателей.

Системные изменения тут нужны не только в Росстате, а проблемы поднимаемые в статье правильные.

Ссылки:
[1] https://www.proekt.media/narrative/dannye-rosstata/

#rosstat #stats #statistics

Спасибо читателю моего канала, копирую видео из сообщения из чата

Увы, Росстат это какая-то боль, за данными на сайте совсем не следят. Не только в разделе открытых данных, а и вообще в остальных блоках тоже.

#opendata #data #stats #rosstat

Я таки написал большой лонгрид о том Почему невозможно хвалить Росстат [1] про то как Росстат публикует открытые данные, работает с данными и не только. Несмотря на формат лонгрида, я почти 100% охватил не все стороны работы Росстата, правда, подозреваю что те аспекты которые я упустил, картины не исправят. Но если Вы что-то знаете за границами описанного - пишите в личку или в чате @begtinchat
...
Среди многих российских органов власти Росстат (Федеральная служба государственной статистики) стоит особняком. Его основными задачами всегда было не оказание гражданам госуслуг и, в принципе, взаимодействие с гражданами, а производство данных собранных от граждан, бизнеса, всех сторон общества.

Функции статистических ведомств во всех странах, в этом смысле, похожи. Они проводят переписи, осуществляют опросы, собирают данные из альтернативных источников и по результатам публикуют статистические продукты в разных формах: данные, документы, аналитика, инфографика, результаты исследований и многое другое.

Поскольку статистические данные часто отражают состояние экономики в целом или отдельных её направлений, то и публикуемые Росстатом данные достаточно быстро распространяются СМИ, используются экономическими акторами для принятия решений и действий.

При этом в Росстате происходят изменения, создается Цифровая аналитическая платформа (ГИС ЦАП).
Я же хочу написать о том почему хвалить Росстат не то чтобы даже рано, а просто невозможно
...

Ссылки:
[1] https://begtin.substack.com/p/22

#opendata #data #datastrategy #rosstat