Про российский портал открытых данных data.gov.ru я писать в канале почти перестал, почти потому что одно из российских изданий попросило написать авторскую колонку на эту тему и я напишу, причём с тем о чём писал в лонгриде ранее повторяться не буду.

Скажу лишь что все технические проблемы портала - это ничего по сравнению с системной проблемой непонимания у вполне конкретных чиновников того как и какие данные создаются, кто их создаёт и так далее. Даже при всех ограничениях, политических прежде всего, конечно же, есть данные и их много которые востребованы. Но их не будут выкачивать с data.gov.ru потому что их там просто не будет.

Ну вот ещё одну мысль выдал, придётся в колонку хорошо писать чтобы сохранить ощущение новизны😉

#opendata #russia

По поводу запрета звонков через Telegram и WhatsApp в России с явным продвижением мессенжера MAX я, конечно, как и многие другие недоумеваю. Всё это происходит настолько грубо что кажется особенно глупым и раздражающим. Но я хочу особенно подсветить ещё один нюанс. Мессенжеры активно используются для международных звонков и если, к примеру, Вы живёте не в России, а Ваши родители здесь, то звонить по номеру телефона не через мессенжеры влетает в копеечку, почему все и перешли стремительно в те мессенжеры которые обеспечивали лучшую связь и WhatsApp и Telegram тут лидеры.

И что, с их запретом, думаете, все пойдут в MAX ? Да вот хрена с два, MAX, помимо других технических и юридических нюансов, имеет один огромный минус - там авторизация только по номерам в РФ и в Беларуси. Всё это накладывается на ранее принятое регулирование по запрету передачи сим-карт, по продлению номеров сотовых телефонов негражданами РФ и тд.

Всё это, объективно, сильно затрудняет жизнь всем кто общается с кем-либо голосом за пределами России. Только более вероятный сценарий что будут пользоваться чем угодно но не MAX'ом. Пользоваться будут тем что будет обеспечивать лучшую связь: Google Meet, Teams, Jitsi, Zoom и далее по списку. Список длинный, вариантами будут обмениваться так же как и обмениваются лучшими VPN для обхода блокировок. А вот MAX и сотовых операторов будут откровенно ненавидеть. Зачем так делать? Я лично искренне не понимаю. Вернее понимаю и вижу что сопутствующий ущерб происходящего значительно превышает любые, предполагаемые, плюсы если бы они тут могли бы быть.

#messaging #russia

И второе, на сей раз про конкретно про мессенжер MAX уже с точки зрения цифрового архивиста. Есть ключевая проблема большей части социальных сетей и коммуникационных сервисов в которых есть каналы/подписки на чьи-либо публикации в том что они плохо индексируются и архивируются. К примеру, в Интернет-архив попадает мало материалов из Facebook'а и LinkedIn, также как и в поисковый индекс Google или в Common Crawl. Компании владельцы соцсетей часто явно препятствуют или явно не предусматривают что их содержание может быть заархивировано и сохранено где-то ещё. Ну и коммерческий аспект отменить нельзя, на базе контента обучают ИИ и владельцы инфраструктуры не хотят отдавать пользовательский контент другим.

В этом смысле телеграм, в какой-то степени, уникален за счёт открытого API и того что большая часть контента индексируется извне. Например, команда ArchiveTeam архивирует большую часть общедоступного контента из Telegram с начала 2022 года. Там собрано более 5 петабайт данных. Плюс есть какое-то количество коммерческих сервисов которые, также, индексируют и архивируют публикуемое в телеграм каналах и общедоступных группах.

Для сравнения у MAX'а нет открытого, неавторизованного контура. Для того чтобы просмотреть содержимое любого канала в MAX нужно быть авторизованным и я напоминаю про то что это теперь возможно только через российские и беларусские сим-карты. А то есть материалы публикуемые в каналах в MAX архивироваться извне не будут. В лучшем случае их контент будет заархивирован какими-либо сервисами медиамониторинга.

Пока что в РФ не запретили вести каналы в Телеграм и маловероятно что кто-то из тех что сейчас MAX продвигает уйдёт туда и только туда, потому что аудитория то может туда и не прийти. Но важно понимание что это смена открытой экосистемы на закрытую,

Причём это парадокс для всех тех кто продвигает сейчас MAX на медиа площадках. Их русскоязычная аудитория не только в России, но и в пост-советских странах и в диаспоре рассеяной по миру. До тех пор пока MAX - это закрытая платформа и без возможности авторизации с номера телефонов других стран привлекательной она не будет. А разрешив там регистрацию с СИМ картами других стран автоматически обнуляются все разговоры про "безопасность". Это неразрешимый парадокс.

Более я на тему не вижу смысла писать. Технологическая конкуренция - хорошо, административная антиконкуренция - плохо.

#messaging #russia

Для тех кто ищет данные по РФ, на хабе открытых данных опубликован слепок всех данных с data.gov.ru слепок включает все метаданных датасетов и копию всех данных в CSV формате, в едином архиве.

Данных там немного, всего 1ГБ в распакованном виде, с практической точки зрения оно, по прежнему, довольно таки бесполезно. Всё что я думаю про этот портал я уже неоднократно писал, но если, всё таки, кому-то эти данные понадобятся, то их слепок останется.

Важно помнить что:
- многие CSV файлы в разных кодировках, без заголовков, с разными разделителями.
- много мелких датасетов не больше чем в 10 строк
- самые большие датасеты не превышают 47МБ (очень мало!)

Лично я пока нашёл лишь два способа применения этих данных:
1. Тренировка алгоритмов идентификации семантических типов данных
2. Проверка функций и инструментов распознавания битых CSV файлов

Это очень немного пользы, но хоть такая.

#opendata #datagovru #datasets #russia

Читаю реакцию российской ИТ отрасли на повышение налогов и много что могу добавить, взглядом сразу с нескольких сторон.
1. С точки зрения гос-ва (читай - Пр-ва) у ИТ отрасли есть сверхдоходы. Налоговики прекрасно видят и доходы, и прибыль, и налоговые оптимизации (через льготные режимы, дробление, массовый найм самозанятых, ИТ ИПшников и тд), поэтому с их точки зрения действия по повышению налогов более чем логичны и я думаю что все решения тут принимаются не в Минцифры, а уровнем выше и Минцифры может выступать только с точки зрения защиты отрасли, но не центра принятия решений.
2. То что я слышал от российских чиновников так это то что нового оттока ИТ спецов из России они не ожидают и исходят из того что "все кто хотел уже уехал и даже возвращаются". Лично я считаю что риск отъезда квалифицированных спецов всё ещё велик, потому что им может грозить падение доходов.
3. То что под повышение налогов попадают ряд "чувствительных ИТ направлений" не приведёт к снижению налогов для всех, а только для конкретных направлений если им станет совсем больно. Особенность российского законотворчества последних пары десятилетий в принятии жесткого регулирования для всех, с точечным ослаблением так где это наиболее болезненно. Можно сказать это стандартная практика
4. Малому ИТ бизнесу будет тяжко, средний и крупный уйдёт в консолидацию. В целом у всего рынка будет существенное сокращение прибыли, доходов и тд. в том числе из-за сокращения госзаказа на ИТ, потому что де-факто крупный корп сектор уже давно приостановил инвестиции и резво переходит на инсорсинг (или уже перешел), как и часть госсектора, включая сокращение ИТ бюджетов
5. Рынок труда в ИТ останется рынком работодателей для позиций Junior-Middle уровней и останется рынком соискателя для уровней Middle+ и выше.


#thoughts #it #russia

Говоря о исчезающих материалах/данных/информации в России я как-то ранее упускал что творится в российских регионах, а зря. Интернет архив уже более чем 3 года не охватывает огромное число региональных и муниципальных сайтов, например, сайт администрации г. Белгорода beladm.ru не индексировался с конца марта 2022 года.

Но это только половина беды, сейчас этот сайт явно и как-то очень криво мигрировали на ГосВеб в поддомене Госуслуг да так что его новый адрес должен быть beladm.gosuslugi.ru, а редирект идет на belgorod-r31.gosweb.gosuslugi.ru что выглядит как-то, через одно место.

Старый сайт, конечно же, недоступен, государственного архива сайтов в РФ нет, со старого сайта материалы перенесены совершенно точно не все.

Масштабы потерь пока сложно измерить, скорее всего они весьма велики.

#russia #opendata #digitalpreservation #webarchives #closeddata

Читаю новость о том что вице-премьер РФ Григоренко на Форуме в Тюмени заявил о том что будут доступны данные для обучения ИИ.

И как бы тут сказать повежливее:
1. Федеральный портал открытых данных архитектурно построен так что там не могут быть стандартным способом размещены данные для ИИ. Проще создать новый портал данных чем использовать его.
2. Региональных порталов открытых данных скорее нет чем есть, данные на них устарели или являются бесмыссленными мелкими административными датасетами
3. ЕИП НСУД - это забюрократизированная государственная инфраструктура не имеющая отношения к предоставлению наборов данных или больших баз данных, она про другое и сомневаюсь что её можно перестроить под что-либо ещё
4. То что представители бизнеса получат возможность размещать заявки с запросами на данные, это, как бы, вообще это было изначально и это просто сломали на новой версии data.gov.ru. Но это плохой механизм потому что дата бизнес, скажем так, испытывает очень серьёзные опасения что они озвучат свои пожелания на данные, а с них потом за них что-то потребуют если не деньгами то потом и кровью их собственными данными.

И, конечно же, дело в том что для размещения наборов данных для ИИ надо их где-то взять, а пока российскому пр-ву и законодателям лучше удаётся принуждать бизнес отдавать данные, а не убеждать внутригосударственных владельцев датасетов их публиковать в открытую или хотя бы предоставлять на понятных условиях и прозрачных процедурах.

#opendata #russia #ai #blahblahblah

Свежее постановление российского пр-ва устанавливающее плату за доступ к по запросу к официальной статистической информации на бумаге (!) и в электронном виде (!!). Текст пока только в в виде скана на портале официального опубликования правовых актов, в виде текста он скорее всего появится не раньше чем через несколько дней, на сайте пр-ва базовая задержка в публикации документов 3 дня, но бывает и поболее.

Мне много что есть сказать самому, а заодно я прогнал этот текст через пару ИИ агентов - Perplexity, Manus и Deepseek. ChatGPT разобирать его отказался, а Алиса от Яндекса глубоко анализировать документы не научилась еще.

Результаты анализа Perplexity и Manus'а я прикладываю, а от Deepseek доступно по ссылке.

Что я скажу от себя:
1. Взимание платы за официальную статистику - это существенный барьер в её получении. Выгода гос-ва от запросов будет невелика, а ограничения будут серьезными. Я не знаю кто продумывал эту бизнес модель, но подозреваю что её нет и цель не деньги, а ограничения в распространении.
2. Если для бумажных документов и сложных запросов и необходимости пересылки ещё можно предположить что можно было бы взимать оплату, то для предоставления данных в электронном виде это не оправдано ничем.
3. Сам подход противоречит практикам развитых стран, рекомендациям ОЭСР и тд. Там наоборот идут по пути бесплатности распространения статистической информации
4. Агрессивно взимают плату за любой чих в коммуникации со статслужбами только в наибеднейших странах, в основном, африканских.
5. Собирать и распространять статистику на бумаге в 21 веке это как, даже не могу придумать приличного сравнения, это как самоудовлетворятся предаваться греху на публику или это как выйти куда-нибудь в публичное место и орать изо всех сил: "Смотрите, мы вас ненавидим! Нет, вы смотрите, смотрите же! Реально ненавидим". Потому что любовь к пользователям бумаги не предусматривает, и не должна предусматривать.

#opendata #government #russia #rosstat #statistics #closeddata

Про свежий законопроект про Гостех - https://sozd.duma.gov.ru/bill/1076648-8

Текст не очень большой и читать его недолго, главный вывод из него в том что дохлую лошадь не пристрелили ГосТех продолжается.

А я сделаю акцент на двух моментах:
1. Как и во всех остальных принятых в РФ законы за прошлые годы формулировка об отсутствии изменений в бюджете на 24 странице очень лукавая. Конечно же изменения будут

2. В ст. 7, ч. 1, п. 7 (стр. 14) есть формулировка, позволяющая расширить действие закона на «иных лиц, уполномоченных в соответствии с нормативными правовыми актами». Фактически закон могут в любой момент расширить на всех кто получает бюджетные деньги, к примеру обязать всех подрядчиков по госконтрактам вести разработку на сервисах Гостеха.

#russia #it #government

В рубрике плохих примеров открытых данных открытые данные на портале data.gov.ru (ничего удивительного, да?)
набор данных от РКН Реестр граждан и организаций, привлекаемых Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций в качестве экспертов к проведению мероприятий по контролю в сфере связи

Дата последних изменений 1 декабря 2025 г., актуальность на 30 августа 2014 г.

То есть это буквально набор данных устаревший более чем 11 лет назад. Не просто неактуальный, а давно бесполезный. Но зачем-то "меняющийся". На сайте самого РКН эти же данные, но уже актуальные.

Повторю свой тезис про бесполезность портала data.gov.ru для чего бы то ни было.

#opendata #russia #datasets

В рубрике состояния российских открытых данных, про data.gov.ru
- число наборов данных там уменьшается, было 7 тысяч с копейками, теперь снова меньше 7 тысяч
- новостей на сайте касательно его самого нет с июля 2025 г. и теперь нет новостей даже не относящихся к нему. Для сверки - https://data.gov.ru/news
- обсуждения отсутствуют https://data.gov.ru/discussions
- многих федеральных органов власти на портале нет (пример - Минкультуры РФ), причем тех которые продолжают публиковать данные
- по другим органам власти опубликованы данные от 5 до 13 летней давности (более новых нет)

Планета Шелезяка. Полезных ископаемых нет. Воды нет. Растительности нет. (с)

#opendata #russia

То что в России признали Калифорнийский университет Беркли нежелательной организацией - это, конечно, нечто кафкианское поскольку даже если это не затрагивает большую часть их open source проектов (там лицензии, нет формального взаимодействия), но это может привести к тому что если кто-то контрибьютит в репозитории университета или участвует в любой их разработке идущей от организации - это может быть истолковано российскими силовыми органами как участие в деятельности нежелательной организации.

Гонений на участников open source проектов ещё не было, но вопросы возникают.

#opensource #russia

Портал открытых данных Москвы data.mos.ru недоступен уже 2 недели с сообщением о технических работах без каких либо анонсов о их завершении. Явный признак что он уже мёртв. Этот портал был старейшим из российских официальных порталов данных и он был чуть более живым чем остальные.

Но ценных данных там давно не было, а теперь недоступны и те что были.

#opendata #closeddata #russia #moscow

Ещё одна весьма неприятная российская новость то что Сотрудников вузов уже штрафуют за упоминания нежелательных организаций. https://66.ru/news/society/287190/

И тут у меня вопрос, если я сошлюсь на данные созданные в Университете Беркли или Йеле или IETLS то меня тоже захотят оштрафовать?

У Йеля и Беркли есть значимые датасеты опубликованные на Hugging Face и платформах Dataverse

#opendata #datasets #russia #closeddata

По поводу законопроекта Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации [1] который многие сейчас обсуждают и который вступит в силу в сентябре 2027 г. если будет принят.

Содержательно его и без меня многие разберут по косточкам, а я могу лишь с небольшой иронией озвучить "в воздух вопросы":
1. Будет ли создано министерство духовно-нравственных ценностей? А то дело то серьезное, во многих законах уже есть (думаю что де-факто есть засекреченное)
2. Все незарегистрированные ИИ ассистенты и агенты заблокируют или китайские ИИ агенты еще останутся доступными? (а есть сомнения? все заблокируют)
3. И самое главное, а чего полтора года то тянуть? Это что же такое, целых полтора года российские суверенные и национальные модели будут бездушные и безнравственные?! (вопрос риторический)

Ссылки:
[1] https://regulation.gov.ru/projects/166424/

#ai #russia #regulation #laws

Написал про российский законопроект регулирования ИИ скучным текстом на Substack и картинкой для тех кто любит смотреть картинки, а не читать (в тексте подробностей больше, если что).

Картинку, конечно, рисовал с помощью ИИ агента.

#ai #regulation #russia

Ещё порция размышлений и предсказаний вслух по поводу ограничений Телеграм'а и не только:
- практически неизбежно появится сервисы проксирующие пересылку сообщений и чтение каналов через использование почты и сервисов хранения файлов вроде почты mail.ru, Яндекс Почты, Яндекс Диска и других находящихся в "белых списках". Технически это вполне реализуемо, вопрос лишь когда их сделают и в том что они будут работать с не-мультимедиа контентом преимущественно. Вопрос как долго почтовые сервисы останутся в белых списках и останутся ли ?
- затронут ли ограничения интернета в РФ электронную почту? Например, появятся ли блокировки на по почтовым доменам и IP адресам вне Рунета? Если появятся, то это будет еще более катастрофично чем блокировки мессенжеров.

#russia #internet