Портал открытых данных РФ закрыт на ревизию

Федеральный портал открытых данных (data.gov.ru) с сегодняшнего дня недоступен, т.к. «закрыт на ревизию». По информации Минэка, портал планируют развивать «в рамках перехода системы на платформу «Гостех». О Гостехе хорошо пишет Циникс, который уже успел прокомментировать недоступность портала [1].

Пока сложно предположить, когда портал и данные станут снова доступными (и будут ли данные открытыми, бесплатными и доступными для скачивания без регистрации и смс), т.к. конкретные сроки не указаны (но планируют завершить работы «как можно скорее»), да и каких-либо содержательных комментариев по развитию портала не было.

Еще в феврале уточняла у Минэка, будет ли доступен портал в формате архива, сохранятся ли текущие ссылки на наборы данных, но, к сожалению, единственное, что сейчас доступно в открытом доступе, - это PDF-список с адресами сайтов госорганов, наборы которых были размещены на портале [2]. Но, как обычно, Иван Бегтин сделал копию сайта, ссылки на которую можно найти в его комментариях по порталу [3].

Что больше всего удивляет в данной ситуации:

- непонятно, зачем нужно закрывать сайт, и почему нельзя разрабатывать новую версию на тестовом сервере параллельно с доступностью текущей или хотя бы разместить архив/дамп с текущими наборами открытых данных?
- непонятно, почему перечень порталов публикуется в формате pdf, который не относится к открытым данным, не является пригодным для автоматической обработки и анализа?
- почему публикуются только списки госорганов и их главных страниц сайтов, если можно было выгрузить из БД портала и опубликовать весь реестр наборов данных и все ссылки на первоисточники? Почему перечень госорганов не разбит хотя бы по уровню власти?
- и больше всего удивляет недоступность открытых данных Минэкономразвития. Раньше я уже поднимала вопрос отсутствия полноценного раздела Открытых данных на сайте Минэка, но всегда получала ответ о том, что данные Минэк публикует только на портале ОД, а с его работой и доступностью проблем нет. Теперь же мы видим сообщение о том, что «все данные, которые ранее автоматически предоставлялись, вы можете получить на ресурсах, перечисленных в PDF-файле», находим в этом списке сайт Минэка, и не можем скачать данные с сайта Минэка, потому что их там и не было [2].
- и еще один важный вопрос, а доступны ли данные 3-летней или 7-летней давности на порталах госорганов? Ведь мы часто сталкиваемся с тем, что исторические данные удаляют, или, например, не переносят на новый портал при разработке новых версий сайтов.

Пока много вопросов и мало ответов.

[1] https://t.me/CynExp/4149
[2] https://economy.gov.ru/material/open_data/informaciya_dlya_polzovateley_informacionnoy_sistemy_portal_otkrytyh_dannyh_datagovru.html
[3] https://t.me/begtin/4714

Ревизия Портала открытых данных займет не менее 6 месяцев, и, насколько я поняла, в это время портал не будет доступен

О чатах финансовых госорганов

Давно хотела написать о каналах и чатах финансовых госорганов, а тут как раз Минфин с постом подгадал :)

Канал Минфина России @Minfin (+ чат @minfin_gov): сотрудники Минфина отвечают на вопросы граждан. В основном вопросы от представителей ювелирной отрасли, налоги и регулирование которой существенно изменилось в этом году, но есть и комментарии на абсолютно разные темы. Больше всего удивляет и радует работа с негативными комментариями. Зная некоторую «закрытость» Минфина, я не могла и предположить, что в чате будут отвечать на любые (даже абсурдные) замечания, которые было бы проще удалить.

Канал ФНС России @nalog_gov_ru (+ чат): регулярные ответы от сотрудников ФНС России. Существенную часть комментариев составляют вопросы (и недовольства) о неработающем разделе ЕНС в личном кабинете, а также вопросы о сальдо у указанного ИНН. Все запросы разбираются вручную, хотя тут так и просится какой-нибудь чат-бот.

Канал Минэкономразвития @minec_russia (+чат): на вопросы отвечают сотрудники Минэка, доброжелательно и оперативно. Отличительной особенностью чата были активные 5-10 человек, которые присылали стикеры после выхода каждого поста (мы даже шутили, что это сотрудники Минэка). По вопросам, касающимся открытых данных, отвечают быстрее, чем в специализированном чате.

Открытые данные @opendata_gov (+ чат для вопросов по ОД): чат создали для ответов на вопросы по «закрытому» Порталу открытых данных, но практически не отвечают. Если у вас есть вопросы по порталу - обязательно пишите, а то Минэк посчитает, что спроса на ОД нет.

Канал Казначейства России @TreasuryofRussia: к сожалению, чата пока нет, но уже предлагала Минфину поделиться с Казначейством опытом ведения чата ).

С Портала открытых данных, который находится в «режиме технического обслуживания», удалили контактные данные (ссылку на телеграм-канал и почту) и ссылку на информационное сообщение с описанием планируемой инвентаризации.

Кстати, письма, отправленные на электронную почту для запросов наборов данных, рассматриваются как официальный запрос гражданина с временем ожидания ответа в 30 дней.

Текст информационного сообщения пока еще доступен на сайте Минэка, но вот ссылки на телеграм-канал и чат уже нет [1]. Жаль

UPD. В 16:31 все вернули. Оперативно

[1] https://www.economy.gov.ru/material/open_data/informaciya_dlya_polzovateley_informacionnoy_sistemy_portal_otkrytyh_dannyh_datagovru.html

#opendata #открытыеданные #minec #datagovru

Раздел «Открытые данные» на сайте Минэка

Совпадение, наверно, но предыдущая заглушка с контактами оперативно вернулась на Портал открытых данных. Вдогонку напишу и про раздел «Открытые данные» на сайте Минэка.

Заголовок раздела гласит: «Портал открытых данных временно недоступен в связи с проведением инвентаризации данных» [1].

В тексте ниже написано, что «общедоступная информация Минэкономразвития России размещается на портале открытых данных» (но он же закрыт) «в соответствии с перечнем общедоступной информации (…) о деятельности Минэкономразвития России, обязательной для размещения на портале открытых данных» [2]. То есть обязательная информация сейчас не размещается.

Если мы изучим приказ Минэка, о котором идет речь в тексте сообщения [2], то увидим, что «публикация и актуализация общедоступной информации Минэкономразвития в форме открытых данных» предполагает только размещение наборов данных Минэка на Портале открытых данных (который минимум полгода не будет доступен), в то время как в Постановлении Правительства РФ от 10 июля 2013 года № 583 «Об обеспечении доступа к общедоступной информации о деятельности госорганов и органов местного самоуправления в информационно-телекоммуникационной сети «Интернет» в форме открытых данных» однозначно говорится о создании разделов «Открытые данные» на официальных сайтах ведомств и ведении в этих разделах реестров открытых данных. К сожалению, этого на сайте Минэка мы не наблюдаем.

[1] https://www.economy.gov.ru/material/open_data/
[2] https://www.economy.gov.ru/material/dokumenty/prikaz_minekonomrazvitiya_rossii_ot_14_sentyabrya_2021_g_545.html

#открытыеданные #opendata #minec

Открытые данные Минэка больше недоступны

Ровно месяц прошел с «закрытия» Портала открытых данных и бодрого обещания Минэка «присылать данные по запросу». В день закрытия портала отправила запрос на получение данных Минэка, которые сейчас недоступны, т.к. публиковались только на Портале открытых данных, что противоречит законодательству.

Спустя месяц получаем следующую картину:

- Портал открытых данных недоступен, вместе с этим и недоступен ни один набор данных Минэкономразиватия
- Запрос на получение открытых данных, отправленный на почту mineconom@economy.gov.ru, рассматривается месяц в рамках рассмотрения обращений граждан
- В ответе на запрос (напомню, готовили его месяц) дублируется информация, которая была опубликована на сайте Минэка: «Портал временно закрыт, но данные можно получить по запросу». Фактически это больше похоже на «Данных нет, но вы держитесь», т.к. данные-то я запросила, но не получила.
- Вся контактная информация для запросов данных повторно удалена с портала открытых данных и заменена на заглушку: «Ведутся технические работы», телеграм-чат, созданный Минэком, молчит.

Пруф с ответом прикреплен к посту.

Твой Бюджет 2.0: От инициативного бюджетирования к открытым данным
(часть 1)

Мы долго этого ждали и дождались - Санкт-Петербург перешел от инициатив по благоустройству в рамках инициативного бюджета к созданию цифровых сервисов и открытых данных. Планируют выделить 90 млн руб. из бюджета Санкт-Петербурга на реализацию предложенных идей с лимитом в 15 млн на проект.

Вчера мне удалось поучаствовать во встрече с авторами прошедших предварительный отбор проектов и послушать несколько презентаций.

В первую очередь, очень приятно, что в Петербурге появилась активность по открытым данным (сейчас с этим не густо как на региональном уровне, так и на федеральном). Также порадовало и удивило, что на встрече не было скучных и неинтересных выступлений - все презентации были краткими и конкретными, а докладчики - опытными спикерами.

Мы подавали три заявки (предварительный отбор прошли все три):
- Петербургский цифровой архив госфинансов и госуправления (хотим оцифровать в формате электронных копий и машиночитаемых данных источники примерно от 50 лет и старше);
- Портал API для разработчиков;
- Портал открытых данных Санкт-Петербурга (к сожалению, Портал ОД пару лет назад в Петербурге фактически закрыли).

Первые впечатления по данному конкурсу:

- до очной встречи было непонятно, над чем же мы в итоге будем работать: где-то фигурировала необходимость реализации предложенных проектов и сбора команд для этого, где-то говорилось о ТЗ. Впрочем, после презентаций до прямого вопроса тоже было непонятно. Как выяснилось, следующий этап - технические задания, которые и станут результатом, а реализовывать все будут те подрядчики, которые выиграют тендеры по 44-ФЗ. На мой взгляд, в данном случае лучше было бы выбрать грантовую форму или форму субсидий, т.к. проблемы 44-ФЗ всем нам известны, особенно в случае с Петербургскими подрядчиками («Рунетсофт» и его мучения с федеральным Порталом открытых данных сложно забыть).

Твой Бюджет 2.0: От инициативного бюджетирования к открытым данным
(часть 2)

- на следующих этапах будет подробная проработка идей и технических заданий проектов, включая питч-сессии, проектные семинары и, насколько я поняла, довольно частые встречи с авторами проектов. Это как плюс - всегда интересно, чему обучат и что расскажут, так и минус - времени от авторов на проработку проектов понадобится очень много, а на выходе будут только технические задания по проектам, идеи которых могут исказить исполнители по 44-ФЗ. Предполагаю, что не всем авторам может хватить мотивации потратить достаточное количество времени и усилий, поэтому до финала дойдут только явные фанаты предложенных идей. Надеюсь, план мероприятий будет проработан заранее, и у меня будет возможность приезжать на эти встречи из Москвы.

Что удалось интересного отметить из презентаций:

- за все годы существования проекта «Твой Бюджет» (инициативного бюджетирования в Петербурге) было собрано более 29 тысяч идей, 100 из которых были реализованы. Это огромная база идей (надеюсь, она публикуются в формате набора данных или API), которая может стать вдохновением для участников инициативного бюджетирования в других регионах. Конечно, часть идей будут похожими на инициативу о покраске чаек, которая хорошо разошлась по СМИ пару лет назад, но и конструктивных идей должно быть достаточно;

- большинство прошедших в следующий этап идей относятся к благоустройству, культуре, туризму и велосипедизации Петербурга - это и не удивительно, т.к. много лет тематикой конкурса «Твой бюджет» было «Благоустройство», а новую тематику «Цифровые сервисы», на мой взгляд, недостаточно пиарили;

- интересной была презентация ИАЦ Санкт-Петербурга (организация, которая разрабатывает все цифровые сервисы Петербурга), основные впечатления о которой напишу в отдельном посте. Не разделяем идею объединения Портала открытых данных с Системой классификаторов (все-таки, некорректно широкую область включать в более узкую) и отказ от публикации наборов данных, но полностью поддерживаем развитие открытых (доступных по регистрации) API и намерения раскрывать городские данные.

Приятно было также увидеться и с коллегами-экспертами из Петербурга. Надеюсь, приятные впечатления о конкурсе останутся и дальше, а также получится сделать что-то полезное для ставшего родным города.

Кратко об открытых данных в Санкт-Петербурге: 3 новых набора данных за 2022-2023 гг

Раз уж пришлось погрузиться в обдумывание идей «Цифровых сервисов» для Санкт-Петербурга, решила заодно посмотреть, что же стало с «Порталом открытых данных», который в марте 2021 года объединили с Системой классификаторов Санкт-Петербурга (до сих пор непонятно, почему Портал ОД является подмножеством Системы классификаторов, но там так интересно все устроено, что об этом будет отдельный пост).

На запрос об «упразднении Портала» Правительство Петербурга ответило: «публикация всех актуальных данных и доступ к уже опубликованным ранее теперь происходят на одном ресурсе». Кстати, спустя два года на сайте Комитета по информатизации нет упоминания о том, что ГИС «Открытые данные Санкт-Петербурга» упразднен, а посвященная ему страница есть.

Что изменилось за два года?

- «исторические» метаданные всех наборов, опубликованных до 2021 года утеряны. Все наборы перенесены с датой версии (первой публикации?) от марта 2021 года. Что было до - не восстановить;

- в паспорте набора нет ни одной даты: невозможно узнать дату актуализации, дату обновления набора данных, дату первой публикации набора данных. Для поиска всех наборов, опубликованных в первые в 2022-2023 году, мне пришлось вручную пройтись по внутренним вкладкам каждого набора данных;

- единственная доступная дата - «дата создания версии». Не нашла на портале, что имеется в виду: Дата выгрузки набора данных из информационной системы? Дата загрузки набора данных на Портал открытых данных? Дата актуальности?

- за 2022-2023 год опубликовано 3 новых набора данных: список светофорных объектов, торговый реестр, внутридворовые спортивные площадки Санкт-Петербурга. Все. В 2020 году на сайте было 194 набора данных, сейчас - 198.

- какие-то старые наборы данных обновляются, некоторые даже регулярно. Но без метаданных их использование затруднительно.
То есть формально Портал открытых данных объединен с Системой классификаторов СПб, но фактически работа над ним не ведется, новые данные не загружаются. Ожидаемо.

При этом в Петербурге есть уникальные и интересные системы, работа над которыми активно ведется: Портал API для разработчиков; Система классификаторов (не в части Портала ОД); Реестр ГИСов Санкт-Петербурга. Жаль, что Порталу открытых данных так «не повезло».

#открытыеданные #спб #системаклассификаторов #открытость

Пока я готовлю пост об уникальном наборе данных Комитета финансов СПб (@comfinspb), окна Петербургского отделения ФНС поздравляют нас с Новым Годом

Реестр должников Санкт-Петербурга. Формат публикации и структура данных

Довольно редко сейчас можно найти необычный и уникальный набор данных, особенно по финансам. Есть такой набор у Санкт-Петербурга - «Реестр должников», перейти на который можно прямо с главного меню сайта Комитета финансов СПб (кстати, у них недавно появился телеграм-канал @comfinspb).

Напишу первые впечатления по формату и структуре предоставления данных, а в следующем посте - о том, что интересного удалось в нем найти:

- сейчас реестр представлен только в веб-интерфейсе. Это наглядно, но хочется скачать в виде набора данных и поанализировать;

- в веб-интерфейсе пока нельзя выбрать сортировку, а по умолчанию набор данных отсортирован в порядке увеличения сумм. То есть, переходя на страницу реестра, мы видим своеобразную «доску позора», состоящую из компаний, которые должны госорганам несколько копеек или рублей. Например, известная в Питере кофейня «Буше» должна городу 11,5 рублей. Наверно, исходя из суммы долга, это все-таки какая-то «техническая» неуплата, а не намеренный уход от налогов;

- реестр разделен на две части: юридические лица и ИП. Тут возникает вопрос по ИП: если ИП часто жалуются на публикацию их контрактов по 44-ФЗ и 223-ФЗ, то не будут ли они жаловаться на публикацию информации об их долгах?;

- еще один возможный риск может быть связан с датой обновления данных. Если компания заплатит долги, а данные на сайте не обновятся, то вполне возможны иски от «обидевшихся» о репутационных потерях;

- даты возникновения, погашения и источник образования задолженности доступны в реестре. Можно, например, по номеру дела найти подробности в других источниках;

- также доступны название и ИНН администратора доходов, то есть можно определить, какому комитету задолжала компания;

- доступно и наименование задолженности: чаще всего это плата за пользование объектами недвижимости, штрафы, санкции, возмещение ущерба, плата по договорам купли-продажи, санкции по контрактам и др.

Всего доступно около 6 тысяч записей, из них примерно 4700 связаны с платой за пользование объектами недвижимости.

Понятно, что мотивацией для публикации указанного реестра вряд ли было развитие открытых данных, скорее, пополнение бюджета Санкт-Петербурга (а он бы пополнился на 21,5 млрд руб., если бы все «должники» выплатили все долги). Но эти данные все равно можно использовать в том числе и, например, при проверке контрагентов.

Сможете угадать главного «должника» Санкт-Петербурга и сумму его долгов?

Ссылка на реестр: fincom.gov.spb.ru/debtorRegistry/legal

#открытыеданные #госфинансы #спб #комитетфинансов #реестр

Кто должен Санкт-Петербургу или как пополнить бюджет на 20 миллиардов?

Продолжаю изучение «Реестра должников Санкт-Петербурга» (https://t.me/ahminfin/557), но теперь уже не формат, а содержание данных:

- Всего в должниках 4886 организаций (напомню, что ИП и физ. лиц из этических соображений не рассматриваем), а общий долг - 21,4 млрд рублей.

- При этом всю сумму Петербург в любом случае не получит - 827 организаций уже прекратили свою деятельность, лишив бюджет 1,4 млрд рублей.

- Самыми крупными ликвидированными должниками стали: УК Пан-Траст (50 млн руб.), Агроинвест (33 млн руб.), Аквамарин (26 млн руб.). Есть не самые крупные, но государственные, навечно оставшиеся в реестре, например: ФГУЗ «Центр гигиены и эпидемиологии в г. СПб» (3,9 млн руб.) или ФГУ Управление Пенсионного фонда по одному из районов Санкт-Петербурга (1 копейка).

- Самые крупные действующие должники: ОАО Метрострой (1,6 млрд руб.), ООО Спектр (937 мл руб.), ООО «Петроком» (793 млн руб.), ОАО НИПИИ Ленметрогипротранс (700 млн руб.), ООО «Республика» (630 млн руб.). Метрострой, кстати, находится в процессе банкротства. Так что и эти 1,5 млрд вряд ли город получит.

- 79 записей о копеечных долгах, еще 49 - о долгах от 1 до 100 руб.

- записи содержат информацию о наименовании задолженности, но разделения на типы нет. Можно примерно посчитать, что на нарушения по госконтрактам (штрафы, пени, неустойки и пр.) приходится 1 млрд руб., плата за пользование объектами недвижимости - 14,8 млрд руб., задолженности по штрафам, санкциям, возмещению ущерба - 2,5 млрд руб.

Перейдем к самым необычным «должникам» Санкт-Петербурга:

- МИД России (42 тыс. руб.) и Представительство МИД России в СПб (1,1 млн руб.)
- Генеральное Консульство Эстонской Республики (291 тыс. руб.) и Министерство по иностранным делам и делам содружества Великобритании и Северной Ирландии (501 руб.)
- Санкт-Петербургское отделение КПРФ (141 тыс. руб.)
- Администрация одного из муниципальных районов СПб (108 тыс. руб.)
- ГУ МЧС России по СПб (149 тыс. руб)
- Почта России (2,9 млн руб.)
- ФГУП ФССП по Ленинградской области (1,1 млн руб.)
- ПАО Сбербанк России (17,8 млн руб.)

Если сгруппируем организации, то получим следующую картину:

- Акционерные общества задолжали 4,7 млрд руб.
- ООО - 15,7 млрд руб.
- ГУПы (40,6 млн руб.), ФГУПы (15,2 млн руб.)
- ТСЖ - 6,7 млн руб.
- религиозные организации - 7,1 млн руб.
- гаражные кооперативы - 66 млн руб.
- коллегии адвокатов - 555 тыс. руб.

Данные интересные и заставляют задуматься. Больше всего удивляют, конечно, записи с копеечными долгами, причины возникновения которых, скорее всего, или технические, или текущее устройство налоговой системы. В любом случае, я бы не делала вывод о добросовестности организации исходя из данного реестра, и рассматривала каждый случай отдельно (об этом было написано в предыдущем посте). И дополнительно отмечу, что все данные взяты из реестра, доступного 17 мая. Если какие-то записи в реестре ошибочные, обращайтесь к Комитету финансов Санкт-Петербурга 🙂

#октрытыеданные #госфинансы #спб #комитетфинансов #государственныйдолг