Ivan Begtin
8.99K subscribers
2.63K photos
5 videos
114 files
5.44K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
Читаю новость о том что вице-премьер РФ Григоренко на Форуме в Тюмени заявил о том что будут доступны данные для обучения ИИ.

И как бы тут сказать повежливее:
1. Федеральный портал открытых данных архитектурно построен так что там не могут быть стандартным способом размещены данные для ИИ. Проще создать новый портал данных чем использовать его.
2. Региональных порталов открытых данных скорее нет чем есть, данные на них устарели или являются бесмыссленными мелкими административными датасетами
3. ЕИП НСУД - это забюрократизированная государственная инфраструктура не имеющая отношения к предоставлению наборов данных или больших баз данных, она про другое и сомневаюсь что её можно перестроить под что-либо ещё
4. То что представители бизнеса получат возможность размещать заявки с запросами на данные, это, как бы, вообще это было изначально и это просто сломали на новой версии data.gov.ru. Но это плохой механизм потому что дата бизнес, скажем так, испытывает очень серьёзные опасения что они озвучат свои пожелания на данные, а с них потом за них что-то потребуют если не деньгами то потом и кровью их собственными данными.

И, конечно же, дело в том что для размещения наборов данных для ИИ надо их где-то взять, а пока российскому пр-ву и законодателям лучше удаётся принуждать бизнес отдавать данные, а не убеждать внутригосударственных владельцев датасетов их публиковать в открытую или хотя бы предоставлять на понятных условиях и прозрачных процедурах.

#opendata #russia #ai #blahblahblah
🔥981
Свежее постановление российского пр-ва устанавливающее плату за доступ к по запросу к официальной статистической информации на бумаге (!) и в электронном виде (!!). Текст пока только в в виде скана на портале официального опубликования правовых актов, в виде текста он скорее всего появится не раньше чем через несколько дней, на сайте пр-ва базовая задержка в публикации документов 3 дня, но бывает и поболее.

Мне много что есть сказать самому, а заодно я прогнал этот текст через пару ИИ агентов - Perplexity, Manus и Deepseek. ChatGPT разобирать его отказался, а Алиса от Яндекса глубоко анализировать документы не научилась еще.

Результаты анализа Perplexity и Manus'а я прикладываю, а от Deepseek доступно по ссылке.

Что я скажу от себя:
1. Взимание платы за официальную статистику - это существенный барьер в её получении. Выгода гос-ва от запросов будет невелика, а ограничения будут серьезными. Я не знаю кто продумывал эту бизнес модель, но подозреваю что её нет и цель не деньги, а ограничения в распространении.
2. Если для бумажных документов и сложных запросов и необходимости пересылки ещё можно предположить что можно было бы взимать оплату, то для предоставления данных в электронном виде это не оправдано ничем.
3. Сам подход противоречит практикам развитых стран, рекомендациям ОЭСР и тд. Там наоборот идут по пути бесплатности распространения статистической информации
4. Агрессивно взимают плату за любой чих в коммуникации со статслужбами только в наибеднейших странах, в основном, африканских.
5. Собирать и распространять статистику на бумаге в 21 веке это как, даже не могу придумать приличного сравнения, это как самоудовлетворятся предаваться греху на публику или это как выйти куда-нибудь в публичное место и орать изо всех сил: "Смотрите, мы вас ненавидим! Нет, вы смотрите, смотрите же! Реально ненавидим". Потому что любовь к пользователям бумаги не предусматривает, и не должна предусматривать.

#opendata #government #russia #rosstat #statistics #closeddata
💯11😁8👍5🤔4😢3🔥1
Про свежий законопроект про Гостех - https://sozd.duma.gov.ru/bill/1076648-8

Текст не очень большой и читать его недолго, главный вывод из него в том что дохлую лошадь не пристрелили ГосТех продолжается.

А я сделаю акцент на двух моментах:
1. Как и во всех остальных принятых в РФ законы за прошлые годы формулировка об отсутствии изменений в бюджете на 24 странице очень лукавая. Конечно же изменения будут

2. В ст. 7, ч. 1, п. 7 (стр. 14) есть формулировка, позволяющая расширить действие закона на «иных лиц, уполномоченных в соответствии с нормативными правовыми актами». Фактически закон могут в любой момент расширить на всех кто получает бюджетные деньги, к примеру обязать всех подрядчиков по госконтрактам вести разработку на сервисах Гостеха.

#russia #it #government
5👍1
В рубрике плохих примеров открытых данных открытые данные на портале data.gov.ru (ничего удивительного, да?)
набор данных от РКН Реестр граждан и организаций, привлекаемых Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций в качестве экспертов к проведению мероприятий по контролю в сфере связи

Дата последних изменений 1 декабря 2025 г., актуальность на 30 августа 2014 г.

То есть это буквально набор данных устаревший более чем 11 лет назад. Не просто неактуальный, а давно бесполезный. Но зачем-то "меняющийся". На сайте самого РКН эти же данные, но уже актуальные.

Повторю свой тезис про бесполезность портала data.gov.ru для чего бы то ни было.

#opendata #russia #datasets
🤔6👍3😁2💯1
Свежий российский портал открытых данных платформа.дом.рф один из немногих государственных ресурсов с открытыми данными появившихся в РФ в последнее время.

Из плюсов:
- новый портал с открытыми данными
- отраслевая специализация, данные по строительной отрасли

Из минусов:
- всего 10 наборов данных в CSV формате общим объемом около 4-5 мегабайт (самый большой 1.94 МБ)
- нет API (хотя обещают)
- нет указания условий использования (что делает это не открытыми данными, а общедоступными поскольку нужны свободные лицензии).
- условия использования (пользовательское соглашение) явным образом запрещает использование в коммерческих целях без получения разрешения от Дом.РФ - запросы рассматриваются 5 дней
- нет возможности автоматически обновлять датасеты (у них нет пермалинков и нет API), автоматизированный ETL процесс не построить

В целом, учитывая что Дом.РФ как раз активно и дорого торгует аналитикой, этот портал больше пока похож на замануху для покупки данных, а не как полноценный портал открытых данных.

Но кто знает, может это только начало?

#opendata #russia #datacatalogs
👍43😁2🤣1
В рубрике состояния российских открытых данных, про data.gov.ru
- число наборов данных там уменьшается, было 7 тысяч с копейками, теперь снова меньше 7 тысяч
- новостей на сайте касательно его самого нет с июля 2025 г. и теперь нет новостей даже не относящихся к нему. Для сверки - https://data.gov.ru/news
- обсуждения отсутствуют https://data.gov.ru/discussions
- многих федеральных органов власти на портале нет (пример - Минкультуры РФ), причем тех которые продолжают публиковать данные
- по другим органам власти опубликованы данные от 5 до 13 летней давности (более новых нет)

Планета Шелезяка. Полезных ископаемых нет. Воды нет. Растительности нет. (с)

#opendata #russia
😢6🤣5💅4👏2🍌2
Я тут регулярно пишу и думаю вслух про то как работают с данными в мире и сильно меньше про то как это происходит в России, но на глаза попался хороший пример и о нём можно тоже подумать вслух.

ФГИС Экомониторинг информационная система которую последние несколько лет Минприроды РФ создавало на базе ГосТех'а. В ней обещали много разного

Система обеспечит сбор данных по 16 видам экомониторинга, среди которых – атмосферный воздух, водные объекты, состояние земель, животный мир, воспроизводство лесов


а по факту, все куда как печальнее. Вот только самые очевидные факты:
1. Система выглядит как набор артефактов в вакууме. Там содержатся разнородные сведения, от тех что только в виде PDF отчетов, до данных с показателями измерений. Никаких методических пояснений нет, группировка по разделам очень условная.
2. Практически все разделы с отчетами - это документы с сайта Росгидромета за последние 1-2 года. Например,
Обобщенные по территории Российской Федерации данные о состоянии и загрязнении окружающей среды (ежегодно) это один единственный отчет за 2024 год хотя на сайте Росгидромета есть все отчеты с 2007 года. И так со всеми ежегодными данными и отчетами, в первоисточниках их значительно больше
3. Практически все разделы с главной страницы не содержат ничего, просто там пусто хотя как минимум часть отчетов публикуются подведами Росгидромета и на сайте Росгидромета
4. Единственный регулярно обновляемый раздел - это Реестр оперативных показателей максимального кратковременного загрязнения атмосферного воздуха по данным Росгидромет где есть ежесуточные данные.
5. Открытых данных, API для доступа к данным нет, хотя недокументированное API есть
6. Было предположение что часть материалов может быть доступно если в системе авторизоваться через ЕСИА. Предположение ошибочное, после авторизации ничего нового тоже нет.

В целом не знаю как эту систему вообще принимали в эксплуатацию, она не имеет характеристик даже частично законченного продукта, но что меня лично напрягает так это неполное дублирование отчетов по экомониторингу с сайта Росгидромета и его подведов, тут в пору задуматься, а не объявят ли эту ФГИС единственным местом их размещения, а в других местах поудаляют? Надо архивировать, в общем.

Не говоря уже о том что данные из отчетов имеют среднюю задержку в год (отчеты за 2024 год публикуются в конце 2025) и была надежда что в этой ФГИС появятся не документы, а данные, но надежды не оправдываются.

А самое главное и критерий значимости публикации данных в их повторном использовании. А кто их использует, а как их использовать? Вопросы риторические. Есть подозрение что о пользователях тут не думали, не думают и не планируют думать.

#opendata #closeddata #russia #environment #ecology
👍103😢3👌21
То что в России признали Калифорнийский университет Беркли нежелательной организацией - это, конечно, нечто кафкианское поскольку даже если это не затрагивает большую часть их open source проектов (там лицензии, нет формального взаимодействия), но это может привести к тому что если кто-то контрибьютит в репозитории университета или участвует в любой их разработке идущей от организации - это может быть истолковано российскими силовыми органами как участие в деятельности нежелательной организации.

Гонений на участников open source проектов ещё не было, но вопросы возникают.

#opensource #russia
💯15😢8💅5👍2
Портал открытых данных Москвы data.mos.ru недоступен уже 2 недели с сообщением о технических работах без каких либо анонсов о их завершении. Явный признак что он уже мёртв. Этот портал был старейшим из российских официальных порталов данных и он был чуть более живым чем остальные.

Но ценных данных там давно не было, а теперь недоступны и те что были.

#opendata #closeddata #russia #moscow
😱155🕊4😁2🌚1
Ещё одна весьма неприятная российская новость то что Сотрудников вузов уже штрафуют за упоминания нежелательных организаций. https://66.ru/news/society/287190/

И тут у меня вопрос, если я сошлюсь на данные созданные в Университете Беркли или Йеле или IETLS то меня тоже захотят оштрафовать?

У Йеля и Беркли есть значимые датасеты опубликованные на Hugging Face и платформах Dataverse

#opendata #datasets #russia #closeddata
😢21💊521👏1🕊1🌚1💯1
По поводу законопроекта Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации [1] который многие сейчас обсуждают и который вступит в силу в сентябре 2027 г. если будет принят.

Содержательно его и без меня многие разберут по косточкам, а я могу лишь с небольшой иронией озвучить "в воздух вопросы":
1. Будет ли создано министерство духовно-нравственных ценностей? А то дело то серьезное, во многих законах уже есть (думаю что де-факто есть засекреченное)
2. Все незарегистрированные ИИ ассистенты и агенты заблокируют или китайские ИИ агенты еще останутся доступными? (а есть сомнения? все заблокируют)
3. И самое главное, а чего полтора года то тянуть? Это что же такое, целых полтора года российские суверенные и национальные модели будут бездушные и безнравственные?! (вопрос риторический)

Ссылки:
[1] https://regulation.gov.ru/projects/166424/

#ai #russia #regulation #laws
1😁29👏11😢7🌚32💯2
Написал про российский законопроект регулирования ИИ скучным текстом на Substack и картинкой для тех кто любит смотреть картинки, а не читать (в тексте подробностей больше, если что).

Картинку, конечно, рисовал с помощью ИИ агента.

#ai #regulation #russia
👍276🔥3🤣2🤔1
Ещё порция размышлений и предсказаний вслух по поводу ограничений Телеграм'а и не только:
- практически неизбежно появится сервисы проксирующие пересылку сообщений и чтение каналов через использование почты и сервисов хранения файлов вроде почты mail.ru, Яндекс Почты, Яндекс Диска и других находящихся в "белых списках". Технически это вполне реализуемо, вопрос лишь когда их сделают и в том что они будут работать с не-мультимедиа контентом преимущественно. Вопрос как долго почтовые сервисы останутся в белых списках и останутся ли ?
- затронут ли ограничения интернета в РФ электронную почту? Например, появятся ли блокировки на по почтовым доменам и IP адресам вне Рунета? Если появятся, то это будет еще более катастрофично чем блокировки мессенжеров.

#russia #internet
💯115🔥3😢1
Вредные советы по продолжению ограничений Рунета:
- Обязательно надо заблокировать WeeChat. Во первых никто в Китае возмущаться не будет, это мессенжер который как раз активно мешает не китайцам его использовать, а во вторых это сильно попортит коммуникации российских импортеров из Китая и их поставщиками так что это хороший вариант, выражаясь образно, для ускорения отрицательной динамики роста экономики.
- Ввести квоты для компаний по минимальному использованию Max'а. Обязать все компании сдавать дополнительную отчетость по всем сотрудникам с их номерами телефонов и ввести мониторинг того у кого из них установлен Max и какую еженедельную активность они там ведут. При недостижении определенных квот, например, не менее чем 80% установлен Max и сотрудники отправляют не менее 100 сообщений в неделю, вводить штрафы. Очень хорошо сработает для ещё большего озлобления граждан и бизнеса.
- Цифровая таможня. Не в том смысле что оцифровка классической таможни, а в том чтобы доступ ко всем российским ресурсам (в сетях относящихся к РФ как стране) был бы только через специальный шлюз с авторизацией через Госуслуги и оплатой для неграждан. Зачем? Во первых до сих пор рунет недостаточно изолирован по мнению некоторых, во вторых сетевая нейтральность уже никого не волнует и в третьих бюджет то надо пополнять. И это альтернатива блокировкам VPN.

#мрачныйюмор #humour #russia
1🔥11🤩8👍4😁43😢31
В рубрике закрытых данных в РФ из открытого доступа исчезли данные судебной статистики с сайта Судебного департамента. По ссылке теперь сообщение Информация временно не доступна. Доступна страница в Интернет-архиве с последней копией 7 марта 2026 года и пока еще работают прямые ссылки на Excel файлы. Но, возможно, ненадолго.

Это данные небольшого объема, но значимые для исследователей правоохранительной системы России и журналистов.

#opendata #closeddata #russia #courts
😢11💊411🔥1
Вдогонку к исчезновению судебной статистики. У меня есть копия статистики судебного департамента с 2005 года по 1-е полугодие 2025 года. Всего 502 Excel файла общим объёмом в 173MB

С одной стороны это немного, а с другой стороны бывает нужно. Если суддеп доступ к данным не вернет или если кто-то в более качеством виде их не опубликует, я их где-то размещу в одном из каталогов открытых данных.

P.S. Возможно надо сделать еще архивы обзоров статистических данных которые Верховный суд и суддеп публикуют

#opendata #closeddata #datasets #courts #russia
👍166🔥2😁1
Снова ожил портал открытых данных Москвы data.mos.ru и он даже регулярно обновляется. Это плюс. Никаких объяснений что с ним случилось не последовало, это минус.

#opendata #moscow #russia
😁13🔥64👏21
Я тут было хотел в очередной раз "пнуть" российский портал открытых данных data.gov.ru, на предмет его бессмысленности, но посмотрел там раздел новости понял что всё, похоже он обречен. Даже нерелевантные новости Минэка там не обновляются с октября 2025 года, а релевантная вообще была только одна, о запуске портала в июле 2025.

Похоже что эта лошадь сдохла также как и предыдущая. Надо сделать архивную копию на случай если "внезапно перестанет работать". Но поскольку в России давно уже не ориентируются на рейтинги оценки цифровизации в мире, то судьба нац портала открытых данных столь незавидная

#opendata #russia #thoughts
👍14💯731🐳1
В рубрике закрытых данных в России сразу три наблюдения

С сайтов территориальных управлений Казначейства России исчезли все годовые и ежемесячные отчеты об исполнении бюджетов


Это можно посмотреть на примере сайта УФК по Москве и аналогичная ситуация на сайтах других УФК которые я проверял, примерно с десяток. Произошло это вместе с обновлением их сайтов и старые прямые ссылки на публиковавшиеся там Excel файлы. Это тем более странно потому что эти отчеты не обновлялись с 2022 года, так что можно сказать что исчезли архивные материалы которые, казалось бы, никому не мешали. Это явно произошло в 2024-2026 годах, потому что я помню что еще пару лет назад все было доступно.

С сайта Правительства РФ исчезла информация о советах и комиссиях

Профильный раздел пуст, есть только архивные данные за 2024 год (по отдельной ссылке), актуальных сведений нет. Произошло это где-то в мае 2024 года, а я, честно говоря, этот момент упустил. Честно говоря тоже странное явление потому что если цель была скрыть их состав, то можно было и не публиковать состав, а так оказывается как будто нет правительственных комиссий (а они есть).

Приказы Минцифры в разных местах

Если посмотреть на список приказов Минцифры РФ на их новом сайте и на сайте официального опубликования правовых актов то можно обнаружить что списки не бьются. Мне лично не удалось найти ни один из их приказов размещенных на publication.pravo.gov.ru в разделе на сайте Минцифры РФ хотя его пополняют. Может я плохо искал?

#closeddata #opendata #russia
👍86😱4😢3🗿1
В рубрике закрытых открытых данных в России открытые данные Росморречфлота ранее размещались по ссылке opendata.morflot.ru, но домен с данными был полностью удален в начале 2022 года и описание содержания осталось только в Интернет архиве. Сейчас на сайте агентства есть только веб страница "Открытые данные", где есть описание словами что они открытые данные публикуют, но без ссылки на сами данные. Также раньше ссылки на страницу открытых данных была на главной странице и на всех страницах в футере, а теперь "запрятана поглубже" на сайте и самих данных нет, в любом случае.

А данные там были небесполезные, как минимум статистика и основные реестры.

Вообще же с сайта Росморречфлота и его подведов исчезло довольно много разных сведений, о портозаходах, о статистике грузооборота, о графиках расстановки судов в портах. Скорее всего и много всего другого, это лучше знают люди погруженные в отрасль.

#opendata #closeddata #russia
😢10👍311🗿1