В рубрике как это устроено у них портал статистики начального и среднего образования Нигерии. Охватывает всю страну, имеет детализацию до муниципалитетов (в Нигерии они называются Local Government Area, LGA) и включают показатели по числу школ, учеников, учеников на класс, учеников на учителя, долю учеников по полу, данные в разрезах общественных и частных школ и тд.

Чего нет - так это показателей успеваемости, и данные только за 2024/2025 год, этот публичный портал совсем свежий.

Внутри все работает на базе DuckDB WASM + есть недокументированное API, а на веб интерфейсе только экспорт в PDF. Вообще технологический стек там довольно продвинутый.

Такие информационные системы называются Education Management Information System (EMIS), они есть в большинстве стран, где-то на национальном, где-то на региональном уровнях. У многих из них есть публичные контуры с общедоступной статистикой, где-то даже доходящей до конкретной школы, но и муниципальная статистика имеет ценность.

Тут можно задаться вопросом, "А почему в Нигерии такая статистика общедоступна, а в моей [XXX] стране нет?". И на этот вопрос лично у меня нет хорошего ответа.

#opendata #education #statistics #nigeria

🤖 Где искать датасеты для ИИ в России: обзор каталогов

Подборка российских каталогов данных для машинного обучения - от государственных реестров до исследовательских коллекций. Сохраняйте, пригодится 👇

🏛 Реестр наборов данных и моделей ИИ - registry.cit.gov.ru/datasets Официальный государственный реестр: датасеты и модели ИИ с описательными метаданными. Первый пункт, если нужны данные с госучастием.

🏙 Moscow AI Datasets - ai.mos.ru/datasets Анонимизированные данные Москвы для обучения моделей: мобильность населения, путевые листы ЖКХ, заявки на нестационарную торговлю.
Каталог открытый, есть сэмплы для скачивания.

🔬 Yandex Research Datasets - research.yandex.com/datasets Исследовательские датасеты Яндекса: бенчмарки для графового ML (GraphLand, гетерофильные графы), табличный ML с временным дрейфом (TabReD), данные для ранжирования. Золото для исследователей.

🎬 MSU Datasets Collection - videoprocessing.ai/datasets Коллекция лаборатории графики и медиа МГУ: базы качества видео с субъективными оценками (SAVAM, MSU CVQAD), артефакты JPEG AI, стерео-датасеты. Стандарт де-факто для бенчмарков видеокодеков.

🫁 MosMedData - mosmed.ai/datasets Аксиальные КТ-снимки грудной клетки (в том числе COVID-19), большинство случаев - с сериями срезов. Один из самых известных медицинских датасетов из России.

🏥 Medical Data Hub - medicaldatahub.ru/datasets Каталог медицинских данных для ML - дополнение к MosMed для тех, кто строит модели в медицине.

🔎 Бонус-трек - не совсем ML, но полезно:
▫️ OpenUrbanData (openurbandata.ru) - поисковик по источникам данных для городских исследований
▫️ DetCorpus (detcorpus.ru) - корпус русской детективной литературы для NLP-экспериментов
▫️ RusPsyData (ruspsydata.figshare.com) - данные и инструменты психологических исследований

#opendata #russia #ai #ml #datasets #datacatalogs

🌐 Национальные каталоги данных для машинного обучения

Пока все смотрят на Hugging Face, государства строят собственные платформы с датасетами для ИИ. Собрал самые значимые - все они есть в нашем реестре dataportals-registry (43 000+ каталогов данных со всего мира).

🇰🇷 Южная Корея - AI Hub
aihub.or.kr
Крупнейшая государственная платформа ИИ-данных: тысячи датасетов на корейском языке - речь, текст, компьютерное зрение. Оператор - агентство NIA при министерстве науки и ИКТ.

🇮🇳 Индия - AIKosh
aikosh.indiaai.gov.in
Репозиторий миссии IndiaAI (министерство электроники и IT): более 12 000 наборов данных, моделей и кейсов для разработки ИИ.

🇪🇺 Евросоюз - AI-on-Demand
catalogue.aiodp.eu
Единый каталог ИИ-активов Европы в рамках платформы AI4Europe: датасеты, библиотеки, инструменты и контейнеры.

🇺🇸 США - NAIRR Pilot
nairrpilot.org
Пилот Национального ресурса ИИ-исследований под руководством NSF: проверенные датасеты, предобученные модели и инструменты для исследований и образования.

🇯🇵 Япония - NICT AI Data Testbed
ai-data.nict.go.jp
Каталог национального института NICT: речь и язык, био- и нейроданные, атмосфера, космическая погода, кибербезопасность.

🇨🇳 Китай - BAAI Data Platform
data.baai.ac.cn
Платформа Пекинской академии ИИ с большими корпусами для обучения LLM. Рядом - целая экосистема: OpenDataLab, Tianchi, ModelScope.

🇷🇺 Россия - Реестр наборов данных и моделей ИИ
registry.cit.gov.ru/datasets
Публичный реестр датасетов для машинного обучения и моделей ИИ от ФГАУ «Цифровые индустриальные технологии».

Общее у всех: открытый доступ, государственная поддержка и ставка на данные для обучения моделей, а не просто «открытые данные для отчётности».

Полный список ML-каталогов (сегодня их 91) - в открытом реестре:
github.com/datenoio/dataportals-registry


#opendata #ai #ml #datacatalogs #datasets

Буквально вчера я вернулся из Астаны после участия в конференции AI&Digital Bridge. Конференция интересная, много новых знакомств и встреч с теми кого давно не видел. В том числе поучаствовал в панели про Телеком данные и их востребованность бизнесом, государством и обществом.

Я там участвовал от Open Data Armenia в ныне не такой уж частой для себя роли представителя общественного интереса.

Что хорошо, данные в Казахстане есть, их немало. Это касается в первую очередь не телеком данных, а геоданных, данных ряда государственных реестров и даже некоторых данных научных учреждений. Очень хорошо что в Казахстане прогресс в доступности данных есть и есть надежда что он будет ещё больше к следующему Digital Bridge.

А вот с данными телекома ключевая сложность в их чувствительности. Телеком операторы, не только в Казахстане, но и во многих странах предоставляют коммерческие аналитические и дата- продукты для потребителей этих данных, но гораздо реже и меньше эти данные доступны для исследователей, в задачах улучшения качества жизни.

Например, в Германии национальная статслужба DEStatis публикует данные Teralytics сопоставляющие официальные данные статистики и данные мобильных операторов.

В Эстонии доступна статистика по туризму на основе данных мобильных операторов.

В Финляндии на основе данных мобильных операторов исследователи собирают аггрегированные данные и пишут научные работы.

Для многих задач эти данные обладают высокой ценностью и в том числе той которую нельзя так просто измерить в денежном эквиваленте.

Я привожу в пример страны ЕС потому что здесь присутствует явная госполитика повышения доступности этих данных. Не обязательно в форме открытых продуктов, очень часто они стоят денег, но сам факт наличия возможности хотя бы узнать их стоимость и аттрибутивный состав уже начало открытости к этим и многим другим чувствительным данным.

Хочется надеяться что и в Казахстане будет явное движение в том чтобы телеком данные были доступны самым разным категориям пользователей.

#opendata #datasets #data #kazakhstan

Разные мысли вслух и не только:
1. Модель MiniMax M3 и их среда разработки почти дотягивает до GLM-5.3 от Z.ai. По бенчмаркам GLM-5.3 точно лучше, но по цене M3 в 4 раза выгоднее. На практике они близки друг к другу и использовать MiniMax Code себя оправдыввает на множестве задач "простого кодирования". Для vibe-кодеров оно точно не годится, а для тех кто работает с открытым кодом и фокусируется на приведении кода/репозиториев в порядок вполне годится.
2. Учитывая как существенно падают затраты на создание структурированных данных из неструктурированных есть ощущение что довольно скоро будет бум самопальных каталогов данных. Они уже всё чаще появляются, но пока массовости явления нет, а есть ощущение что оно появится как возвращающийся тренд "посмотрите они [государство] бесполезны, а я знаю как сделать правильно, вот смотрите портал данных [моей страны/моего региона/моего города]". Чаще, конечно, сейчас такое про альтернативы официальным порталам статистики, но ими все не ограничится.
3. Главная беда контентных проектов написанных на 100% с помощью ИИ в отсутствии ответа на вопрос "не хуйню ли я делаю?" "А зачем?". Для многих у кого были идеи в загашники, но реализация которых требовала собрать команду разработчиков и потратиться всерьез, теперь вайбкодят нейрослоповые проекты и, по прежнему, не имеют ответа на этот вопрос. Главная проблема такого в нейрослопа в том что ценности в этом немного, а стоимость воспроизведения даже ниже чем у классических проектов. У меня в загашнике есть немало идей вплоть до написанных ТЗ на подобные проекты, но пока ни один из них фильтр разумного ответа на самый главный вопрос не прошли.
4. Чем больше я изучаю того как устроены каталоги данных по всему миру тем больше соблазн написать самый лучший/эффективный/технологичный свой движок для каталога данных тем более что у меня такой опыт уже был несколько раз в жизни. Очень стараюсь не попасться в эту ловушку, потому что движков каталогов данных десятки, по настоящему хороших может и немного, но для хороших и рынка то особо нет.

#thoughts #ai #coding #opendata

Разные мысли вслух и не только:
1. Насколько же стали распространены геоблокировки по сайтам. К примеру, пытаюсь открыть opendata.tashkent.uz из 4-х юрисдикций: Германия, Финляндия, Армения, Россия и везде запрет к доступу. Похоже блокируют все сети кроме узбекских. Очень похожая ситуация с доступностью сайтов в Иране, Китае, Вьетнаме, а с недавних пор и в России. Формально домен есть, де-факто сайт есть, но доступ получить все сложнее.
2. То что украинские БПЛА разбомбили ЦОД Яндекса поднимает сразу два важных вопроса:
а) Есть ли рейтинг российских ЦОДов по БПЛА защищенности или по удаленности от мест боевых действий?
б) Есть ли у Яндекса риск национализации перехода операционного управления государству как это было с владельцами критической инфраструктуры в других рынках?

3. Оказывается у СНГ есть геопортал cisgeo.info и его запустили в декабре 2025 г. Не то чтобы там много полезного, если честно. Внутри тот же движок что у nspd.gov.ru, вендора его я не знаю, но знаю что у них там внутри какой-та своя реализация OGC сервисов с кастрированной поддержкой функций таких как GetCapabilities.

4. В Узбекистане есть портал с метеоданными data.meteo.uz которому нехватает каталога данных, но есть API. И ещё в том же Узбекистане есть нац портал мониторинга качества воздуха, весьма приличный eko-nazorat.uz и тоже с API. В той же Армении не все так хорошо с метеоданными.

#opendata #geoportals #datacatalogs #thoughts

В рубрике как это устроено у них SEGITTUR официальный портал статистики туризма в Испании. Предоставляет множество показателей в разрезе регионов страны, стран происхождения туристов, пассажиров в аэропортах и так далее. Данные помесячные со средней задержкой в 1.5-2 месяца, на 9 октября по основным показателям данные доступны за июнь-август. Можно увидеть что более всего туристов приезжает из Португалии и Франции, но многое ещё и от региона зависит. Внутри всё работает на PowerBI отображение статистики встроено серией дашбордов, а для тех кто хочет напрямую поработать с данными есть API. Испания не единственная страна с доступной статистикой по туризму, но одна из немногих кто предоставляет аналитику ещё и на данных сотовых операторов (а это же данные телекома). Ну и муниципальные показатели по городам тоже доступны. Полезно для самых разных задач, например, если хотите поехать куда-то где туристов поменьше (или наоборот, побольше).

#opendata #datasets #spain #tourism #statistics

Мне таки удалось достучаться до команды проекта экосистемы CKAN'а и они взяли из реестра каталогов данных Dateno данные по недостающим у них каталогам на базе CKAN и сразу увеличили число охватываемых ими каталогов с 700 до 1400. Это тоже не предел, они не проверяют геоблокировки, а очень многие каталоги заблокированы за пределами своих стран, но тем не менее уже прогресс.

В чем существенные отличия их системы от реестра каталогов. Они делают акцент на мониторинге API CKAN'а на предмет версий и расширений и проверяют насколько эти порталы закрыты последними патчами. Иначе говоря мониторят свою промысловую базу тех кто разворачивает CKAN чтобы предупреждать если их инсталляции не обновлялись и могут быть взломаны из-за отсутствия патчей безопасности, к примеру.

CKAN, действительно, большая экосистема, хотя и далеко не единственная в мире порталов открытых данных.

#opendata #datacatalogs #ckan

Полезные ссылки про данные, технологии и не только:
- Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных
- License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите".
- LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты.
- helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно.

#opendata #opensource #dataengineering #ai

Weather Ribbon (Погодная лента?) любопытная визуализация среднемесячной температуры по городам на основе данных за 1991-2020 годы.

На сайте охват городов не такой уж большой, в основном развитые страны и крупные города. К примеру, Алматы там есть, а Еревана нет.

Но интереснее сам подход к визуализации, она доступна с открытым кодом под MIT лицензией и можно применить то же самое к визуализации чего-либо ещё: уровня осадков, качества воздуха и так далее.

А сам сервис работает на открытых данных NASA MERRA-2 и Open Meteo.

#opendata #opensource #dataviz

22 октября я буду участвовать в секции Legal Ops & Автоматизация в рамках
Eurasian Data Protection Congress 2026 (EDPC). О чем я буду говорить? Как всегда о доступности и недоступности данных, в этом случае в юридической сфере, о том какие данные доступны, какие недоступны, в чем основные барьеры и что с этим всем делать.

#events #privacy #opendata

Ещё одна мысль вслух о полезных функциях при публикации курируемых датасетов/дата продуктов и дата каталогов. У DuckDB есть опция подключения к базе данных находящейся в где-то в сети. Это выглядит как опция когда хочется распространять данные к которым полезно подключение через SQL, помимо других способов. Я в таком виде распространяю базы internacia-db в папке data/datasets лежит файл intenacia.duckdb к которому можно вот так подключиться напрямую. И в базе реестра порталов данных dataportals-registry в data/datasets лежит файл datasets.duckdb

Это менее удобно чем parquet в части объёмов передаваемых данных поскольку файлы базы DuckDB менее компактны, но достаточно удобно и быстро для справочных и небольших баз данных.

#opendata #datasets #duckdb #dataengineering

В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata

Разные мысли вслух:
1. Вижу всё больше "умнного спама", видно что всё больше используют LLM для написания точечного спама под авторов. Причем находят информацию об адресате в открытых источниках, автоматически собирают профиль и пишут на том языке которой для адресата родной. Несколько писем я получил на русском с предложениями продвижения коммерческих приложений, причем письма были на хорошем русском языке с некоторыми признаками LLM, хотя их авторы явно русский язык не знают. Явно всё большее распространение получают какие-то AI-assisted маркетинговые инструменты. Но это, по прежнему спам, только более точный и нейрослоповый.
2. Одна из особенностей по России в почти полном исчезновении региональных статистических и аналитических порталов/сайтов, за исключением региональных подразделений Росстата, которыми пользоваться почти невозможно. Например, по регионам мне удалось найти только один из сайтов индикаторов Аналитического центра Москвы. Для понимания, в мире всё наоборот, кроме некоторых закрытых стран, сайтов с индикаторами регионального уровня очень много. Такие сайты - это не порталы открытых данных, но порталы данных и статистики.
3. Никуда не исчезающая проблема геоблокировки большей части российских госсайтов приводит к тому что с российскими данными сложно работать с помощью фронтирных LLM. Рабочий механизм - это наличие сервера с российским IP адресом и инструкции LLM в использовании прокси или более сложный механизм с подключением через SSH. А если использовать российский IP адрес в рабочей среде, то фронтирными LLM пользоваться невозможно из-за блокировок с их стороны. Но даже если использовать российские IP никуда не исчезает проблема с жесткими DDoS фильтрами, WAF и CDN с ограничениями. Поэтому с российскими данными работать сложно, примерно как и с китайскими официальными во многих случаях.
4. Ограничения на сайтах напрямую влияют ещё и на цифровую архивацию. Давно думаю как перестроить кампании по архивации официальных сайтов в РФ с учетом этих ограничений. Ну и надо уже как-то измерять этот уровень закрытости. Учитывая что Archive.org блокируется почти везде на госсайтах в России, а внутренней системы создания архива общедоступных материалов в росийском гос-ве нет, то если что могут быть потеряны большие пласты материалов. "Если что" может включать природные катаклизмы, атаки БПЛА, реформы госорганов, отставку пр-ва и тд.
5. На законы и другие НПА можно смотреть как на данные если выделять в них те что де-факто содержат датасеты в виде множества таблиц (те же законы о бюджете). Таких нормативных документов очень много, в данные они конвертируются, другой вопрос что и они - это фрагментированные куски датасетов и, по хорошему, надо реконструировать их из множества законов/НПА с изменениями, а это уже более дорогой путь.

#opendata #thoughts

В рубрике закрытых данных в России портал открытых данных ГД РФ api.duma.gov.ru появился в начале 2010-х, предоставлял доступ к данным системы законопроектной деятельности ГД РФ через API для получения ключа надо было лишь заполнить форму и согласится с условиями. Хотя на сайте об этом нет анонса, но содержание его базы перестало обновляться с февраля 2025 года. Для всех новых данных ГД РФ API более нет и, хотя формально сайт API не закрыт, но де-факто теперь это замороженный проект.

#opendata #closeddata #russia

Для тех кто интересуется доступностью юридических данных в мире и в России, моя презентация на EDPC. Это верхнеуровневый обзор, потому что на практике есть очень много нюансов уже практических аспектов доступности данных: несходимость официальных источников, блокировки, отсутствие массовой выгрузки и многое другое. Однако какое-то представление о проблеме это дает даже тем кому не удалось быть на моем выступлении.

При этом не стоит думать что везде хорошо с такими данными, а только в РФ плохо. Не плохо, но становится хуже, главным образом из-за отсутствия цельной госполитики и ужесточающихся блокировок доступа к госсайтам. Для тех кто хочет картинку в хорошем разрешении, она будет несжатой в чате к этому каналу.

#opendata #datasets #legaldata #russia