Все регулярнее читаю тексты которые можно описать как "Открытому коду конец" иногда прямо так и называющиеся. Не буду предсказывать за весь открытый код, но кое что можно сформулировать. Многие код перестанут открывать и что-то закроют потому что пропали две ключевых причины почему многие компании/корпорации код выкладывали:
1) Получить бесплатных контрибьютеров в продукт
2) Получить бесплатный анализ безопасности и выявления ошибок

Теперь контрибьюторами будут ИИ агенты и они же будут делать проверки безопасности. Так зачем открывать код? Не, есть и другие причины вроде построения сообщества, прозрачности деятельности, идеологии и тд. Но они имеют меньшее влияние.

#opensource #thoughts

О том как в Китае работают с данными, текст комиссии Конгресса США. Общий смысл текста в том что у властей Китая есть чему поучиться, а по содержанию там речь про системы обмена/продажи данных в Китае в виде data exchanges и много подробностей, например, то что Минфин Китая рассматривает базы данных (data assets) как объекты учета.

#data #china

В продолжение моих рассуждений про дата-продукты и их отличие от наборов данных. Пример публикации таких дата продуктов в академической среде это портал Портал исследовательских данных Шотландии researchdata.scot. Там всего 133 базы данных и это не данные опубликованные исследователями в рамках научных работ, а базы данных доступные исследователям, преимущественно по запросу.

Там немного другая структура описания этих дата продуктов и оно включает:
Summary - сводная информация
Documentation - документация и описание
Coverage - область покрытия географическая и временная
Provenance - происхождение, источник и тип данных
Access and governance - доступ и управление, как получить доступ к данным, условия, владелец и контакты
Enrichment and linkage - связанные наборы данных, инструменты для работы, как их интегрировать с другими
Synthetic data - синтетические данные
Data dictionary - справочники и словари ассоциированные с этими данными

Тут надо оговориться что это речь про исследовательские дата продукты, а не про коммерческие/корпоративные. Поэтому эта структура и подача даже слегка консервативна, но вполне логична и куда более ложится в логику дата продуктов.

Для сравнения можно посмотреть на дата продукты для финансового сектора в Nasdaq Data Link data.nasdaq.com

Кроме всего прочего там ключевыми характеристиками являются:
- частота обновления данных и частота их доставки
- период задержки

А также множество инструментов доставки и, в виду, особенностей потребления данных акцент на API.

#opendata #data #dataproducts #datacatalogs

Рассеянные мысли вслух:
1. Почему создание своей платформы для кода логичный ход для Cursor и почему этого стоит ждать и от других игроков. Потому что де-факто у Microsoft монополия в виде GIthub'а и в какой-то момент плотность работы ИИ агентов с платформой достигнет того уровня что MS начнут взимать с компаний разработчиков кодирующих ИИ ассистентов плату за быстрый доступ (странно если ещё не взимают, может я пропустил что-то).
2. Последние ИИ инструменты уже лучше меня умеют в обнаружение каталогов данных. Это сложный был скилл который я подумывал описать и передать кому-то в команде или найти под это отдельного человека. Но сейчас с помощью последних ИИ агентов gpt-5.6-sol, fable-5 и grok-4.6 меня можно заменить. Они реально умеют находить лучше чем я, и если я знаю несколько больше про глубину поиска и анализа, то по ширине охвата и скорости уже не могу сравниться. Что это значит? Что я сам могу делать эту работу значительно лучше и что принципиально меня теперь можно заменить. Не роботом, но аналитиком + ИИ ассистентом.
3. Водяные знаки генерируемые Anthropic'ом - это не только потенциальный инструмент отслеживания их компьютерной генерации, но цифровая маркировка позволяющая отслеживать конкретный цифровой объект (текст) и создавшего его пользователя. Это не просто механизм соблюдения требований регулятора, но и, потенциально, инструмент отслеживания.

#thoughts #aiagents

Из коллекции Цифрового архива: «Государственный бюджет СССР и бюджеты союзных республик 1950, 1955, 1960–1965 гг. Статистический сборник», Москва, 1966 г.

Во второй половине XX века бюджетная система СССР приобрела свой окончательный вид. Она объединила в себе бюджеты всех уровней государственного управления. Так, государственный бюджет СССР включал в себя собственно союзный бюджет, которым распоряжалось союзное правительство, и бюджеты союзных республик, которыми распоряжались республиканские правительства. Бюджеты союзных республик в свою очередь делились на бюджет республики и на местные бюджеты отдельных областей, краев и автономий. В свою очередь, они делились на региональный бюджет и бюджеты отдельных городов и районов.

Такая структура получила свое отражение и в статистических справочниках Министерства финансов СССР, которые выпускал отдел финансово-экономической статистики Бюджетного управления. Справочники выходили в свет последовательно и имели единую структуру. Это не только сделало их надежными источниками информации о доходах и расходах бюджета СССР за столь продолжительный период, но и упростило преобразование числовых данных в современные машиночитаемые наборы данных.

В Цифровом архиве представлены такие справочники за период 1950–1985 годов, и таблицы двух из них полностью преобразованы в формат CSV и доступны для скачивания.

Рассмотрим, например, справочник, содержащий данные за 1950, 1955, 1960–1965 годы. Показатели в нем отражают фактические доходы и расходы государственного бюджета СССР и республиканских бюджетов. Эти сведения детализированы до уровня направлений расходов и доходов.

Первый раздел — «Государственный бюджет СССР» — дает общий обзор доходов и расходов союзного бюджета, которые распределены по основным разделам и показаны в абсолютном и процентном выражении. Здесь приведены также суммы разных видов доходов по союзному бюджету и бюджетам республик и расходы по различным направлениям в городах, рабочих поселках и сельской местности.

Основная часть второго раздела — «Государственные бюджеты союзных республик» — состоит из 15 комплектов таблиц (по одному на каждую республику), в каждый из которых входят:

• Доходы республики (в млн. рублей).
• Расходы республики (в млн. рублей) и продолжение таблицы с группировкой по основным видам затрат.
• Структура расходов в процентах и аналогичная группировка по видам затрат.
• Распределение расходов по видам местных бюджетов.

Кроме того, во втором разделе опубликованы росписи основных видов затрат для различных социально-культурных мероприятий, а также данные бюджетов АССР.

Аналогичные по структуре и наполнению справочники есть для следующих периодов:

• 1966–1970 гг.
• 1971–1975 гг.
• 1976–1980 гг.
• 1981–1985 гг.

При этом данные для 1950–1970 годов уже полностью преобразованы в формат CSV. Команда Цифрового архива продолжает преобразование таблиц из этих справочников в машиночитаемый формат.

Справочники можно скачать на сайте Цифрового архива:

• Годы 1950, 1955, 1960–1965
• Годы 1960, 1965, 1966–1970
• Годы 1966–1970, 1971–1975
• Годы 1971–1975, 1976– 1980
• Годы 1976–1980, 1981–1985

В ближайших публикациях покажем несколько датасетов, подготовленных на основе таких справочников.

#бюджет #СССР #ЦАГГ #данные #доходы #расходы #статистика

Ещё немного рассуждений вслух про то как публикуются данные в мире сейчас:
1. Порталов открытых данных становится больше преимущественно за счет национальных порталов развивающихся стран и муниципальных каталогов данных.
2. В Евросоюзе больше муниципальных порталов именно открытых данных, в США больше порталов геоданных на базе ArcGIS Hub иногда совмещенных с порталами открытых данных.
3. Более всего и чаще всего на порталах данных публикуют официальную статистику, геоданные и данные финансовой отчетности (бюджеты, расходы по проектам, контракты и тд.)
4. Практически все университеты где есть наука имеют свои порталы раскрытия данных или разделы на порталах публикации научных результатов. Иногда таких порталов несколько и аналогичная ситуация со всеми живыми научными центрами. Много таких порталов раскрытия результатов появляется в университетах развивающихся стран
5. Россия уникальная 3-мя факторами. 1) Порталов открытых данных становится не больше, а меньше. 2) Почти все публикуемое государством - это мелкие административные данные. Бесполезные в работе. 3) Публикация научных данных скорее редкость чем активный тренд. Большая часть данных российских ученых публикуется напрямую на международных платформах, а не на ресурсах исследовательских центров и университетов.
6. Многие каталоги данных в мире остаются за геоблокировками: Россия, Китай, Вьетнам как наиболее заметные примеры.
7. Все больше блокировок краулеров, преимущественно через Cloudflare и другие CDN. Это ограничивает к ним доступ и для поиска, и для применения ИИ агентов.
8. Очень много локальных игроков создающих геоинформационные системы, но почти всегда на бэкэнде у них используется ArcGIS Server или Geoserver или один из более древних open-source движков.

#thoughts #data #datacatalogs

OECD AIS Report визуализация данных о морских перевозках от ОЭСР.

Плюсы:
- наглядная визуализация на карте и в графиках
- детализация данных до портов и перевозимых продуктов по типам
- относительно небольшой лаг в 3 месяца (в августе данные на май 2026г.)

Минусы:
- нет нормально доступных данных, только экспорт выборок в Excel
- не все страны есть, к примеру есть данные по России и нет данных по США
- все таки 3 месяца это большой лаг, для оперативного анализа

Что хорошо, можно легко автоматизировать выгрузку данных даже если там только Excel и тд. Недокументированное API тоже есть.

#opendata #datasets #oecd

Многие пишут про ox-alpha "скрытую" модель на OpenRouter где не указано кто её создатель, но можно моделью бесплатно воспользоваться. Много разных есть догадок о том кто за ней стоит и кто бы это не был - это неплохой, но, явно, очень дорогой маркетинг. Сейчас все бросились её тестировать и писать о ней, а потом все начнут писать о том кто же за ней когда создатель всплывёт наружу.

И напишут потому что модель вполне себе качественно работает как минимум на задачах кодирования, анализа и работы с данными. По субъективным ощущениям не хуже GLM-5.3, а может и даже лучше.

#ai #datatools

В рубрике как это устроено у них портал открытых данных Монголии opendata.gov.mn. Всего 57 организаций, 7890 наборов данных и 21856 файлов на 25 августа 2026 г. Раньше их портал работал на базе движка CKAN, теперь там какой-то собственный движок, так что автоматически быстро не проверить объёмы данных и содержимое по типам и тд. Практически все данные это статистика и административные реестры (перечни предприятий, организаций и тд.). Форматы CSV, JSON, XLSX. Нет общедоступного API и в целом выглядит как каталог данных для начальства, потому что уж очень сильно статистика выпячена на главной, явно чтобы показать масштабы и востребованность.

Я бы на такой каталог данных не стал бы ориентироваться на эталонный, но как пример национального портала открытых данных в Азии он вполне нагляден.

#opendata #data #datasets #datacatalogs #mongolia

Я тут затеял большое обновление реестра каталогов данных Dateno с помощью фронтирных LLM, преимущественно через Cursor, но не только. Главные ощутимые изменения в применении именно последних моделей в том что они гораздо лучше понимают контекст и предыдущий накопленный опыт в правилах и гайдах и в том что они гораздо лучше вносят исправления сразу во множество файлов.

Для понимания как устроен реестр каталогов данных, в нем содержится уже более 22 тысяч YAML файлов распределенных по каталогам в иерархии ISO3166 и по типам каталогов данных (opendata, geo, indicators и тд.).

Каждый YAML файл я могу отредактировать вручную, а могу скормить ИИ агенту с промптом вроде "Update metadata for record /data/entities/..." или чуть более сложным при необходимости. ИИ агент пройдет по всем ключевым атрибутам, поищет в интернете, сравнит с другими записями и внесет изменения.

Предыдущее поколение моделей, условный Opus 4.5 или GLM-5.2 хорошо умеют обновлять отдельные записи и начинают хуже работать когда надо обновить гораздо больше. Текущие флагманские модели могут проанализировать и исправить до нескольких сотен записей. Какой-нибудь промпт вроде "Review records at data/entities/IT and fix them" где более 350 записей с каталогами данных Италии отрабатывается за 15 минут.

При этом видно что модель уже гораздо лучше понимает логику поиска и актуализации информации, ищет альтернативные хосты и названия если сайт умер, проверяет точки подключения к API и так далее. Гораздо меньше надо объяснять в самом промпте если заранее заданы правила.

Собственно благодаря этому сейчас я могу обновить вообще все метаданные реестра и добавить, наконец-то, многое отложенное. Собственно поэтому меньше чем за 3 недели реестр вырос уже с 14 до 22 тысяч каталогов данных плюс обновление метаданных почти всех записей.

К слову это можно повторить с помощью бесплатных или недорогих китайских моделей, но заняло бы это больше времени при относительно небольшой экономии средств.

Кстати, в решаемой мной задаче поиска каталогов данных больше расходов идет не на подписку на ИИ агенты/ассистенты, а на подписку на сопутствующие сервисы. Например, поиск каталогов данных резко улучшается когда используешь Censys, это, конечно, чистой воды кибербезовский инструмент, но в задачах обнаружения веб-ресурсов он очень эффективен. Но при их системе оплаты внесенные средства сжигаются очень быстро. Хотя и он дешевле чем использовать какой-нибудь BuiltWith.

Общая стоимость решения такова что расходы на ИИ агенты в нем не основные, а обогащение данных становится значительно эффективнее.

#thoughts #ai #datacatalogs

Хотите больших, очень больших, очень-очень больших данных? 2 петабайта архив за 2024 год проекта End of Term Web Archive по архивации деятельности правительства США. Делают они его в партнерстве с Internet Archive, которые обеспечивают техническую часть организации архивации. А сами данные хранятся на AWS в рамках спонсорского гранта от Amazon. Просмотреть сохраненные сайты можно на сайте GovArchive.us

#webarchives #data #datasets #USA

В рубрике как это устроено у них официальный портал открытых данных Азербайджана opendata.az

Включает 836 наборов данных от 25 организаций. Почти все наборы данных статистические, почти нет геоданных. Работает на базе PortalJS с движком CKAN на бэкэнде.

Так и хочется сказать что даже у Азербайджана есть официальный портал открытых данных, а у Армении нет (c)

#opendata #datasets #datacatalogs

В рубрике как это устроено у них портал открытых геномных данных JGI DataPortal департамента энергетики США. Включает данные и метаданные с геномной информацией. Общий объём более 13ПБ, поддерживается Университетом Калифорнии.

Это специализированный портал научных данных, один из многих общедоступных порталов с геномной информацией, заточенный под исследователей в этой области.

Включает возможность выгрузки данных через систему Globus, получение метаданных через API и т.д.

#opendata #USA #genomic #datasets

Кстати пример портала с именно с дата продуктами - это Source Cooperative портал нового поколения с акцентом на данные машинного обучения и геоданные. Там много данных большого объёма, в сотни гигабайт, преимущественно в форматах Parquet.

При этому внутри он устроен достаточно просто, это файловый навигатор по S3 хранилищу и описание в виде Markdown файла README.md которое и отображает как карточка продукта. Описание может быть как очень коротким так и весьма подробным со схемами данных, примерами кода, областями покрытия. Все отдано на откуп куратору дата продукта, а, поскольку курируют они сами, то и описано чаще хорошо чем плохо.

Главный минус такого подхода в том что доступ к данным не универсален. Каждый продукт имеет свою структуру файлов, свои примеры кода и тд. Чтобы подключиться к ним надо прочитать документацию, разобраться и тд.

Главный плюс в том что там хранятся данные большого объема, некоторые коллекции геоданных достигают сотен терабайт и в том что документацию всё равно читать надо.

Мне их каталог более всего напоминает бывший Quilt Data, а теперь Quilt.Bio которые тоже делали платформу для больших научных дата продуктов и тоже поверх S3 и с акцентом на документацию.

Тут важно, конечно, то что Source Cooperative - это инициатива Radiant Earth, НКО в области геоданных и их дата продукты ориентированы на некоммерческое использование и сама их платформа для публикации данных бесплатна. Поэтому их подход к дата продуктам скорее можно описать как то что они пытаются перенести практики создания коммерческих дата продуктов в некоммерческий сектор, пытаясь привести открытые данные в современный и более удобоваримый формат.

#opendata #datacatalogs #datasets #geodata

В рубрике закрытых открытых данных в России портал открытых данных города Твери opendata.tver.ru недоступен и теперь перенаправляет на сайт администрации города www.tver.ru в последний раз сайт наблюдался в Интернет архиве в октябре 2024 года.

Портал данных города Перми opendata.gorodperm.ru содержит всего два набора данных "Режим работы" и "Телефонный справочник", бессмысленные для любой работы.

Портал данных Иркутска opendata.admirk.ru содержит лишь один набор данных "Структура аппарата администрации города Иркутска".

Это к вопросу о том почему многочисленные российские "порталы открытых данных" регионов и муниципалитетов бессмысленно добавлять в поисковые индексы или реестры каталогов данных. Они пустые или бессмысленные или уже не существуют.

#opendata #russia #datacatalogs

Ещё одно наблюдение, то что с развитием ИИ агентов появилось множество порталов показывающих национальную и международную статистику наглядно, вот, например, такой по Монголии data.mn. Они все используют официальную статистику с сайтов нац. стат. служб и из баз данных межгосударственных структур. И вот таких порталов я видел уже штук 7 за неделю и несколько глобальных, охватывающих все страны.

В чем их особенности:
- как правило это one-man-project, делаются они одним человеком с помощью Claude / Cursor / Copilot / ChatGPT и далее по списку
- большая часть делается просто для портфолио, без бизнес модели. Исключения в тех что пытаются "засрать поисковую выдачу" с акцентом на SEO. В их бизнес модель я не верю.
- всегда акцент на визуализации, то что национальные статслужбы не умеют
- но про пользователей их создатели понимают редко, частотные (часто обновляемые) показатели у них есть редко.

Когда-то много таких проектов делала команда DataWheel (DataUSA, DataSaudi и др.), но там был явно не один человек, больше акцент на визуализации и работа всегда под клиентов.

Вот эти новые проекты пока до их уровня не дотягивают, но это скорее вопрос понимания природы данных и пользователей у их создателей, чем техническая невозможность.

#opendata #datasets #datacatalogs #datavis #statistics