🇷🇺 Новые российские геопорталы в реестре: сентябрь 2026

За последние две недели в dataportals-registry добавлено 45 геопорталов из России — от спутниковых архивов ScanEx до районных карт Москвы. Это продолжение обзора от 9 сентября: здесь только то, что ещё не попадало в канал.

🛰 Семейство «Космоснимки» (ScanEx, платформа GeoMixer)
• Космоснимки — главный геопортал платформы: мозаики снимков, базовые карты, тематические слои и JS/REST API, на котором построены десятки сторонних карт. https://www.kosmosnimki.ru
• Каталоги ДЗЗ — поиск по архивам сверхвысокого разрешения: GeoEye, Ikonos, QuickBird, WorldView-1/2, Eros-A/B. Контуры сцен, метаданные съёмки, заказ онлайн. https://search.kosmosnimki.ru
• Kosmosnimki Fires — оперативный спутниковый мониторинг пожаров: термоточки, гари и пожарная погода почти в реальном времени. https://fires.ru
• WarFly — волонтёрская карта немецкой аэрофотосъёмки 1939–1945 гг. (оригиналы — в Национальном архиве США): привязанные кадры и каталог по городам. http://warfly.ru

🌲 Природа и ООПТ
• ГИС ООПТ РФ (проект huntmap.ru) — границы нацпарков, заповедников и заказников федерального и регионального значения. https://оопт.рф
• Центрально-Лесной заповедник — пожарный мониторинг, ветровалы, фотоловушки, зимние маршрутные учёты. https://cfnr.nextgis.com
• ГИС ИФМ СО РАН — леса Бурятии и Прибайкалья: дистанционное зондирование, ООПТ, данные для PolInSAR-исследований высоты леса. https://forest03.nextgis.com

🏙 Города
• Магнитогорск — InGeo-Web: генплан, ПЗЗ, участки, адреса, ортофото. https://gisportal.magnitogorsk.ru
• Иркутск — муниципальный геопортал с каталогом слоёв и ситуационной картой. https://map.admirk.ru
• Нижний Новгород — генплан, адресный план, топосъёмка, рекламные конструкции. http://geonn.grad-nn.ru
• Волгоград — картографический фонд: ПЗЗ, дороги, благоустройство, инвестплощадки, избирательные округа. https://volgmap.ru
• 3D Сургут — город на Cesium: рельеф, здания, участки, зонирование. https://maps3d.admsurgut.ru/map/
• ГИСОГД Мегиона и ГИСОГД Ленинградской области — градостроительные документы и слои. https://gisapps.admmegion.ru/pzz https://gisogd.lenobl.ru
• Москва, районный уровень — сразу 12 геопорталов на ActiveMap GIS (geofsm.ru): префектуры ВАО и СВАО, «Жилищники» Басманного, Аэропорта, Бибирева, Зюзино, Коптево, Котловки, Черёмушек, Дмитровского и Пресненского районов.

🛣 Дороги
• РОСДОРНИИ, Дальневосточный филиал (Хабаровск) — паспорта и диагностика дорог на платформе IndorRoad. https://gisdvrosdornii.ru
• Владупрадор — дороги Владимирской области, тот же стек. https://gis.corp.uprdor33.ru
• ГлавТатДорТранс — дорожная сеть Татарстана. https://gds.geofsm.ru
• VAD — геопортал дорожно-строительной компании на QGIS Web Client: геология, рельеф, инженерные сети. https://vadgis.ru

🗺 Ещё интересное
• RuMap — открытая карта России и СНГ от «Геоцентр-Консалтинг»: геокодер, маршруты, пробки, изохроны, импорт GeoJSON и Shapefile. https://rumap.ru
• МИС УЗОР — муниципальные слои Дубны и Костромы на GIS WebServer SE, открытые WMS/WFS. https://web.gisuzor.ru
• Гипрониигаз ZuluGIS Online — карты газораспределения: Новосибирская область, Тында. https://zulu.niigaz.ru/ZuluWeb/
• Инвесткарты: Амурская область и Забайкальский край — площадки, индустриальные парки, ТОР, недра. https://investmap.amurobl.ru https://www.zab-investportal.ru/ru/invest-map/
• Верхневолжье и Верхнее Подвинье в XVI–XVII вв. — историческая ГИС: Бежецкая пятина, Бельский уезд. https://belaya.nextgis.com
Заметное разнообразие платформ: GeoMixer, ActiveMap GIS, InGeo-Web, GIS WebServer SE, ZuluGIS, IndorRoad, Geometa, QGIS Web Client, Cesium, NextGIS.

Полный список — в реестре: github.com/commondataio/dataportals-registry (country=RU, type=Geoportal).

#geoportals #opendata #russia #datacatalogs

На сайте экосистемы CKAN опубликовали дашборд с каталогом инсталляций CKAN в мире там есть 732 каталога данных, их текущий статус (живые или нет), версии и так далее.

Для тех кто не знает, CKAN - это один из наиболее популярных продуктов с открытым кодом для создания порталов открытых данных.

С одной стороны полезный список, а с другой...

Я довольно таки зол на сообщество и ребят которые этим занимаются потому что я постоянно тыкаю их носом в то что в реестре порталов данных Dateno есть информация о 2021 каталоге данных на базе CKAN и это почти в 3 раза больше чем то что ребята перечисляют на сайте экосистемы.

Но повторно использовать чужие наработки им не хочется, даже если они сильно более полные и под свободными лицензиями. Очень странные люди.

#opendata #datacatalogs

В рубрике как это устроено у них NeTEx стандарт Евросоюза по публикации данных о транспорте, расписании и инфраструре. Публикуется в таких каталогах данных как Open Data Portal for Belgian Public Transport наряду с данными в формате GTFS и другими. А также используемый в системах автоматизированного управления транспортом в Евросоюзе наряду со многими другими стандартами.

#opendata #eu #transport #datacatalogs #standards

Каталоги данных о мобильности

В реестре dataportals-registry европейская тема Transport стоит у 2337 активных каталогов: 1537 геопорталов и 641 портал открытых данных. Большая часть - общие витрины, где дороги, остановки или ДТП оказываются одним из разделов.

Отдельный слой - специализированные каталоги mobility: национальные точки доступа, порталы операторов и глобальные сборники фидов. География темы перекошена в сторону США: 692 записи, в основном ArcGIS-хабы дорожных ведомств штатов.

Европейские точки доступа

National Access Point по директиве ITS в реестре делится на два типа данных.

Дорога и трафик, обычно DATEX II: немецкая Mobilithek, датский Dataudveksleren, финский каталог Digitraffic, испанский NAP DGT, хорватский promet-info.hr, словенский nap.si, румынский pna.cestrin.ro, бельгийский transportdata.be, кипрский traffic4cyprus.org.cy, чешский registr.dopravniinfo.cz, голландский NTM, норвежский Transportportal, шведский trafficdata.se, греческий data.nap.gov.gr.

Расписания и мультимодальные поездки, обычно NeTEx, GTFS и SIRI: французский transport.data.gouv.fr, австрийский mobilitydata.gv.at, испанский nap.transportes.gob.es (второй NAP Испании, рядом с DGT), финский FINAP, итальянский каталог CCISS, португальский nap-portugal.imt-ip.pt, латвийский transportdata.gov.lv.

Такая точка доступа публикует метаданные и адрес фида производителя. Сам файл часто лежит у оператора.

Операторы и города

Швейцария: федеральная платформа data.opentransportdata.swiss (CKAN, GTFS и realtime), отдельно SBB и женевский TPG.

Франция: Île-de-France Mobilités и API-портал PRIM, RATP, SNCF, сеть STAR в Ренне, каталог Navitia.

Германия: 10 марта 2024 Deutsche Bahn закрыла свой CKAN. Наборы переехали в Mobilithek, GovData и Open Data ÖPNV. API расписаний, станций и GBFS остались на developers.deutschebahn.com. Рядом земельная MobiData BW и портал RNV.

Дальше по карте: BKK в Будапеште (GTFS и GTFS-Realtime), японский ODPT, тайваньский TDX как национальный API-хаб, Transport for NSW и Transport Victoria, голландские данные RDW (транспортные средства и парковки), лиссабонские EMEL и геопортал TML, боготинская Secretaría de Movilidad, мадридский CRTM. Ирландский NTA вынес GTFS и realtime в портал разработчика: developer.nationaltransport.ie.

В российской части реестра отдельно стоит GeoServer «Московского транспорта»: transport.mos.ru/geoserver. Это публикация геослоёв WMS/WFS.

Мир и агрегаторы

Mobility Database — глобальный каталог GTFS, GTFS-Realtime и GBFS от MobilityData, со скачиваемым sources.csv.

Transport Data Commons — коалиционный CKAN по транспорту. Витрина OpenDataSoft: transport.opendatasoft.com. Digital Transport for Africa — GitLab-инвентарь городских GTFS для Африки и Латинской Америки. TUMI Data Hub собирает данные городской мобильности. Mobito — коммерческая витрина: каталог открыт без входа, покупка данных идёт через аккаунт.

Рядом исследовательские каталоги: немецкий FID move и Urban Mobility Observatory TU Delft. Статистика, а не фиды: корейская KTDB, американские data.transportation.gov и data.bts.gov.

Как собирать

Расписания ищите в NeTEx или GTFS у точки доступа и у оператора. Пробки и дорожные работы - в DATEX II у дорожного NAP. Шеринг - в GBFS. Один и тот же фид часто числится в национальном каталоге, у перевозчика и в агрегаторе: сверяйте канонический URL источника.

#opendata #transport #datacatalogs

Молдова: каталоги данных

В реестре 31 каталог по Молдове, 30 из них действуют. Четыре типа: открытые данные, геопорталы, статистические индикаторы и научные репозитории.

Открытые данные (6)

Правительственный портал открытых данных - https://dataset.gov.md, на CKAN. Второй CKAN ведёт Агентство электронного управления: https://dataset.live.egov.md.

Тематические витрины:
- госзакупки MTender в формате OCDS: https://mtender.gov.md
-внешняя помощь, платформа AMP: https://amp.gov.md/portal/
реестры интеллектуальной собственности AGEPI (патенты,
- товарные знаки, промышленные образцы): https://db.agepi.md
официальный монитор: https://monitorul.gov.md/

Геоданные (12)

Ядро национальной инфраструктуры пространственных данных у Агентства геодезии, картографии и кадастра:
- геопортал GEODATA (MapStore): https://www.geodata.gov.md
- каталог метаданных (GeoNetwork): https://geoportalinds.gov.md/geonetwork/
- GeoServer НИПД: https://geodata.gov.md/geoserver

ГИС местного уровня SIGSNL - https://sigsnl.gov.md, тоже MapStore и отдельный GeoServer.

Отраслевые и городские сервисы:
- интерактивная карта дорог https://harta.asd.md/ и GeoServer
- Национальной администрации дорог https://data.asd.md/geoserver
- кадастр недвижимости: https://map.cadastru.md/geoserver
- государственный водный кадастр: https://csa.gov.md/
слои архитектуры и землеустройства Кишинёва (ArcGIS): https://portal.dgaurf.md/arcgis/rest/services
- коммерческий GeoServer Royal Map: https://data.iharta.md/geoserver

Сервер Службы публичных экологических данных http://oikumena.md в реестре неактивен: хост больше не открывается.

Статистика (4)

Национальное бюро статистики ведёт банк таблиц Statbank на
PxWeb - https://statbank.statistica.md: ряды, выгрузки и API к каждой таблице. Индикаторы ЦУР выложены на

OpenSDG: https://statisticamd.github.io/sdg-site-moldova/.

Страница NSDP по стандарту распространения данных МВФ: http://www.statistica.md/SDDS/NSDP/.

Национальный банк публикует денежную, финансовую и макростатистику в генераторе отчётов: https://www.bnm.md/bdi/?lang=en

Наука (9)

Все девять записей - институциональные репозитории на DSpace.

Национальный уровень: библиотечное дело и информационные науки (Национальная библиотека, http://moldlis.bnrm.md) и экономические исследования Национального института экономических исследований (https://rses.ince.md).

Кишинёв:
- Молдавский госуниверситет - https://msuir.usm.md
- Технический университет - https://repository.utm.md
- Университет медицины и фармации им. Тестемицану - https://repository.usmf.md
- Академия экономических знаний (IREK) - https://irek.ase.md/xmlui
- Педуниверситет им. Крянгэ - https://dir.upsc.md
- Академия музыки, театра и изобразительных искусств - https://repository.amtap.md

Бельцы: архив госуниверситета им. Алеку Руссо - http://dspace.usarb.md:8080/xmlui

Коротко по ландшафту. Статистика и карты держатся на двух опорах - НБС и агентстве геодезии. Открытые данные разложены по нескольким порталам: общий CKAN, закупки, помощь доноров, интеллектуальная собственность. Научные материалы живут в вузовских DSpace: у каждого учреждения свой архив публикаций и диссертаций.

#opendata #moldova #eu #datacatalogs #datasets

В рубрике интересных каталогов данных SciOp каталог наборов данных и веб архивов собранных из исчезающих ресурсов, многие уже исчезнувшие. В отличие от других каталогов данных распространяются все датасеты там через торрент сервер, при этом данные большого объёма, могут достигать сотен гигабайт и десятков терабайт.

#opendata #digitalpreservation #webarchives #datacatalogs

Для тех кто интересуется окружающей средой, Ереваном и деревьями, проект Trees of Yerevan не только дает карту деревьев, но и предоставляет открытые данные в формате базы Sqlite и под лицензией ODbL.

Данные очень удобны для работы, открыты и являются отличным примером когда общественные проекты Армении предоставляют открытые данные.

#opendata #armenia #yerevan #environment

Я тут на днях общался с одним германским исследователем про открытые данные, он много что интересного рассказывал про данные по странам где он проводил свои исследования, я об этом еще расскажу подробнее, о том что данные могут быть доступны, а люди которые ими занимались давно ушли и госполитика уже развернулась не "за" открытые данные, а "против". Нет, это не про Россию, хотя и параллели ощущаются.

А вот из интересного что он рассказывал так то что после недавних случаев с дронами в аэропортах и других инцидентов с безопасностью около электростанций в Германии активно пошли разговоры что может быть не надо быть настолько открытыми и начать скрывать многие данные по инфраструктуре. Не буду загадывать произойдет ли это или нет, но сам факт разговоров он о том что открытые данные - это явление мирных времен. Когда начинаются военные конфликты, ограничения в доступности информации нарастают и тем ценнее становятся альтернативные источники данных и возможность влияния на них.

Я бы предположил что важными изменениями в ближайшие годы будет:
- многие данные, в первую очередь по инфраструктуре будут исчезать по мере расширения военных конфликтов и появления новых
- вероятно появление собственных спутников для съёмки земли у отдельных издательств/крупных медиа-холдингов
- вероятно появление альтернатив стартапов по альтернативным данных в юрисдикциях отличных от США.

#opendata #thoughts #data

Многие данные по странам сложно найти внутри страны, даже если они есть, то часто запрятаны или в таких формах что работать с ними требует дополнительных усилий, но они успешно собираются международными организациями. Например, не все знают про существование Food price monitoring and analysis (FPMA) tool специального инструмента сбора и раскрытия данных о ценах на ключевые продовольственные товары которые который предоставляет Продовольственная и сельскохозяйственная организация ООН (FAO).

Инструмент охватывает практически все страны, по развитым странам, в основном, предоставляя показатели национального покрытия. По развивающимся есть детализация до городов/регионов.

Состав продуктов тоже варьируется от страны к стране.

Данные обновляются ежемесячно, где-то с задержкой в полмесяца, где-то в 2 месяца, но для аналитики вполне достаточно. По некоторым странам мониторинг аж с начала 90 годов, по другим только за последние несколько лет.
Иначе говоря вариативность высокая, но все в едином формате, можно выгрузить напрямую и через API и использовать в некоммерческих целях под условиями CC-BY-NC-SA.

#opendata #statistics #datasets

Каталоги данных Ирана

Картина короткая. Национальный портал открытых данных есть, статистика живёт на сайтах Центра статистики и Центробанка, пространственные данные разложены по GeoServer, GeoNode и муниципальным ArcGIS. Почти всё на фарси.

Открытые данные

Национальный портал - data.gov.ir. Это CKAN Организации информационных технологий Ирана: единая витрина наборов госорганов, с открытым CKAN API.

Рядом независимый Iran Open Data - гражданский каталог официальных, международных и неофициальных рядов по экономике, обществу и энергетике, на фарси и английском. Бесплатный уровень узкий (ограниченные просмотры и скачивания). Полные выгрузки - по подписке, а платный доступ из Ирана закрыт из-за санкционных ограничений платёжных сервисов.

Отдельная полка - Peykaregan, DKAN Центра компьютерных исследований исламских наук (Noor). В каталоге заявлено 127 корпусов и NLP-наборов по персидскому языку, есть data.json.

Статистика

База Центра статистики Ирана - официальные показатели по темам и периодам, ежегодник выходит с 1345 года по солнечной хиджре. Фарси и английский, машиночитаемого API нет.

Статистика Центрального банка - денежно-кредитные, банковские и макроэкономические ряды. Тоже таблицы на сайте, без API.

Геоданные

Национальная инфраструктура пространственных данных - GeoServer Национального картографического центра: WMS, WFS и WCS.

Дальше отраслевые и коммерческие серверы: • пригодность земель, Институт исследований почв и вод - nlss.ir, ArcGIS Server • кадастр и участки Zamin Tarsim - ztclock.ir • тайлы справочника Behtarino - maps.behtarino.com, MapTiler

Провинциальные ИПД на GeoNode, с каталогом CSW: • Курдистан - sdi.kmporg.ir • Зенджан - zanjansdi.ir • Йезд - sdi.yazdmporg.ir

Городские ГИС: • Казвин - map137.qazvin.ir • Илам - 137.ilam.ir • Фалаварджан (Исфахан), включая реестр уличных деревьев - tree.falavarjan.ir • Кередж - map.karaj.ir, веб-карта районов и городских объектов, без API

Наука

Единственный научный репозиторий - IPT узла OBIS по Персидскому заливу и Оманскому заливу при Национальном институте океанографии и атмосферных наук: PEGO-OBIS. Морские находки, публикация в GBIF.

Пробелы

Каталогов микроданных, моделей машинного обучения и маркетплейсов в реестре нет. Английский есть у Центра статистики, Центробанка, Iran Open Data и морского IPT. Статистика отдаётся таблицами, а не API. Пространственный слой заметно гуще, чем слой открытых данных.
—
Этот и все страновые обзоры на основе реестра каталогов данных Dateno.

#opendata #datacatalogs #dateno #iran

Распределение геопорталов по популярности по странам

Одна картинка лучше тысячи слов ()

Больше всего в мире геопорталов на базе ArcGIS Server и ArcGIS Hub, но если смотреть по конкретным странам то картина меняется и в большинстве стран лидируют собственные вендоры ГИС систем, в некоторых странах SaaS платформы охватывает все [или почти все] муниципальные образования.

Заодно это о том что существующие поисковики вроде GeoSeer или Spatineo охватывающие только OGC и ArcGIS эндпоинты полной картины не дают потому что большая часть геокаталогов и геопорталов не поддерживают, и то, и то. В лучшем случае они покрывают 50% всех геоданных. Dateno пока тоже охватывает далеко не всё, но есть к чему стремиться.

#opendata #geodata #datasets #datacatalogs #dateno

В рубрике как это устроено у них во многих странах данные большого объёма публикуют официально через файловые обменники или хранилища файлов. Самый классический способ, особенно для научных данных и давно написанных систем - это FTP сервера, но используют не только их. Например, часто большие датасеты доступны через сервера на базе Nextcloud. Наглядный пример, data.geo.sg.ch каталог геоданных кантона St. Gallen в Швейцарии. В общей сложности более 157GB доступны через открытый Nextcloud сервер в виде большого числа ZIP архивов с файлами внутри.

Можно сказать что один из наиболее простых способов публикации файлов большого объёма, но практически без каких-либо метаданных, что существенный минус.

#opendata #geodata #switzerland

Ещё в качестве мыслей вслух, по ощущениям практически неизбежно крупные ИИ игроки начнут создавать у себя, рано или поздно, публичную дата инфраструктуру к наиболее востребованным ресурсам, в первую очередь, но не исключительно, открытым.

Потому что очень многие запросы к ИИ агентам приводят к тому что те "долбятся в открытые ворота", создают существенно более избыточное число запросов и сталкиваются с ограничениями, как по rate-limit, так и полной блокировке за WAF. Причём проблема нарастает, явно и однозначно, довольно стремительно. В блоге Интернет архива уже есть текст об этом, по моим наблюдениям, похожая ситуация с Википедией и вскоре будет с Common Crawl.

Но в Common Crawl ИИшный бигтех уже влили немало финансирования, другим повезло поменьше.

Я, кстати, пока недостаточно хорошо понимаю взаимоотношения ИИ игроков и Microsoft/Github, потому что все они создают нарастающую нагрузку на их инфраструктуру. Возможно порядками нарастающую. Платят ли Github'у за ускоренный доступ/отсутствие блокировок или ещё нет?

При этом есть базы данных которые легко склонировать, например, Википедию и маршрутизировать обращения туда, а вот склонировать тот же Интернет архив уже очень и очень сложно (а Github просто невозможно).

К примеру, когда я поручаю ИИ агенту собрать данные по общине/общинам в Армении, он стучится именно в Википедию по умолчанию. Не в Data Commons от Google, и не в DBPedia и уж точно не в, да не упомянуть лишний раз это, в какой-нибудь Рувики.

Зато обращений к базам ООН уже много и будет нарастать, они будут закрываться через Cloudflare и другие WAF, те же данные статистики ООН или Всемирного банка в зоне того же риска, сильно нарастающей нагрузки.

#thoughts #opendata #aiagents

Давно хочу написать о том что доступность данных - это явление которое познаётся в сравнении и чем ты больше знаешь о том что происходит в других странах тем лучше понимаешь ситуацию в конкретно выбранной.

Например, в России давняя проблема с доступностью муниципальных данных. Многие, включая меня, сетуют на их качество, на отсутствие данных о постоянно меняющихся границах муниципалитетов, на отсутствие и недостоверность статистики, на сложности в поиске альтернативных источников сведений и поиске способов качество данных улучшить или хотя бы сделать более-менее приемлимым.

Есть страны где лучше, а есть, и много, где сильно хуже. Когда начинаешь искать данные по общинам и городам Армении то обнаруживаешь что:
- сайты многих городов не открываются не из Армении
- у многих общин сайты отсутствуют и есть сомнения что они когда-либо существовали
- данные, когда они есть, находятся на сайте Армстата и отдельных ведомств почти всегда в PDF формате, хорошо ещё что не в виде сканов
- чаще всего внутри PDFов данные не по всем, а по группе общих и городов внутри одного региона
- чаще всего эти данные охватывают только один период/год
- по многим интересным срезам данных мало, собирать их непросто, а какие-то индикаторы вообще не собрать

Иначе говоря ситуация с муниципальными данными не то чтобы сильно хуже чем в России, но очень далека от не то что идеальной, но и вообще комфортной для работы. С региональными данными, конечно, ситуация обстоит лучше, но и её идеализировать нельзя.

Когда я разговариваю с людьми работающими с данными в других странах, почти никто не говорит что у них всё хорошо.

Говоришь с исследователями в Германии, они упоминают что вроде бы данные есть, но вообще запросить данные сложно потому что есть закон требующий данные публиковать, но нет закона требующего данные предоставлять. Запросить их можно, а судиться если тебе их не дали нельзя.

Говоришь с исследователями из Канады, они рассказывают что у них только одна из компаний предоставляет данные по энергопотреблению и другим показателям энергетики в их сетях в почти реальном времени, а все остальные только месячные показатели и их это печалит.

Говоришь с исследователями из США и они жалуются на огромную фрагментацию данных потому что в каждом штате и почти в каждом графстве свои информационные системы, данные слишком часто только на этом уровне и требуется, или много ресурсов на их сбор, или много денег на подписку на коммерческие базы данных где они агрегированы.

Где-то очень хорошие порталы с данными о бюджетах и контрактах, где-то (чаще) полное их отсутствие в какой-либо форме.

Когда какие-то данные в России закрывают, надо понимать что во многих странах они вообще никогда доступны не были.

У открытости и у закрытости тех или иных сведений могут быть разные причины. Какие-то связаны с войнами, какие-то с торговыми противостояниями, какие-то с бизнес лоббированием, какие-то инвестиционной политикой, где-то во главе угла права человека, где-то развитие ИИ стартапов и так далее.

Лучшие и худшие практики могут одновременно присутствовать даже в самых продвинутых и в самых неожиданных юрисдикциях. Но, в целом, есть явная корреляция доступности данных с тем насколько цифра проникла в госуправление и доступность чувствительных данных в странах где власть не боится неудобных вопросов. Это когда доступность информации усиливает гражданина и дает возможность выбора - места жительства, другой правящей партии, влияния на улучшение качества жизни.

Отчасти поэтому в чистых диктатурах полезных данных значительно меньше и информационное неравенство куда хуже устроено. Тем не менее у открытости могут быть разные опоры и аппелировать стоит ко всем из них.

#opendata #thoughts

В рубрике как это устроено у них портал статистики начального и среднего образования Нигерии. Охватывает всю страну, имеет детализацию до муниципалитетов (в Нигерии они называются Local Government Area, LGA) и включают показатели по числу школ, учеников, учеников на класс, учеников на учителя, долю учеников по полу, данные в разрезах общественных и частных школ и тд.

Чего нет - так это показателей успеваемости, и данные только за 2024/2025 год, этот публичный портал совсем свежий.

Внутри все работает на базе DuckDB WASM + есть недокументированное API, а на веб интерфейсе только экспорт в PDF. Вообще технологический стек там довольно продвинутый.

Такие информационные системы называются Education Management Information System (EMIS), они есть в большинстве стран, где-то на национальном, где-то на региональном уровнях. У многих из них есть публичные контуры с общедоступной статистикой, где-то даже доходящей до конкретной школы, но и муниципальная статистика имеет ценность.

Тут можно задаться вопросом, "А почему в Нигерии такая статистика общедоступна, а в моей [XXX] стране нет?". И на этот вопрос лично у меня нет хорошего ответа.

#opendata #education #statistics #nigeria

🤖 Где искать датасеты для ИИ в России: обзор каталогов

Подборка российских каталогов данных для машинного обучения - от государственных реестров до исследовательских коллекций. Сохраняйте, пригодится 👇

🏛 Реестр наборов данных и моделей ИИ - registry.cit.gov.ru/datasets Официальный государственный реестр: датасеты и модели ИИ с описательными метаданными. Первый пункт, если нужны данные с госучастием.

🏙 Moscow AI Datasets - ai.mos.ru/datasets Анонимизированные данные Москвы для обучения моделей: мобильность населения, путевые листы ЖКХ, заявки на нестационарную торговлю.
Каталог открытый, есть сэмплы для скачивания.

🔬 Yandex Research Datasets - research.yandex.com/datasets Исследовательские датасеты Яндекса: бенчмарки для графового ML (GraphLand, гетерофильные графы), табличный ML с временным дрейфом (TabReD), данные для ранжирования. Золото для исследователей.

🎬 MSU Datasets Collection - videoprocessing.ai/datasets Коллекция лаборатории графики и медиа МГУ: базы качества видео с субъективными оценками (SAVAM, MSU CVQAD), артефакты JPEG AI, стерео-датасеты. Стандарт де-факто для бенчмарков видеокодеков.

🫁 MosMedData - mosmed.ai/datasets Аксиальные КТ-снимки грудной клетки (в том числе COVID-19), большинство случаев - с сериями срезов. Один из самых известных медицинских датасетов из России.

🏥 Medical Data Hub - medicaldatahub.ru/datasets Каталог медицинских данных для ML - дополнение к MosMed для тех, кто строит модели в медицине.

🔎 Бонус-трек - не совсем ML, но полезно:
▫️ OpenUrbanData (openurbandata.ru) - поисковик по источникам данных для городских исследований
▫️ DetCorpus (detcorpus.ru) - корпус русской детективной литературы для NLP-экспериментов
▫️ RusPsyData (ruspsydata.figshare.com) - данные и инструменты психологических исследований

#opendata #russia #ai #ml #datasets #datacatalogs

🌐 Национальные каталоги данных для машинного обучения

Пока все смотрят на Hugging Face, государства строят собственные платформы с датасетами для ИИ. Собрал самые значимые - все они есть в нашем реестре dataportals-registry (43 000+ каталогов данных со всего мира).

🇰🇷 Южная Корея - AI Hub
aihub.or.kr
Крупнейшая государственная платформа ИИ-данных: тысячи датасетов на корейском языке - речь, текст, компьютерное зрение. Оператор - агентство NIA при министерстве науки и ИКТ.

🇮🇳 Индия - AIKosh
aikosh.indiaai.gov.in
Репозиторий миссии IndiaAI (министерство электроники и IT): более 12 000 наборов данных, моделей и кейсов для разработки ИИ.

🇪🇺 Евросоюз - AI-on-Demand
catalogue.aiodp.eu
Единый каталог ИИ-активов Европы в рамках платформы AI4Europe: датасеты, библиотеки, инструменты и контейнеры.

🇺🇸 США - NAIRR Pilot
nairrpilot.org
Пилот Национального ресурса ИИ-исследований под руководством NSF: проверенные датасеты, предобученные модели и инструменты для исследований и образования.

🇯🇵 Япония - NICT AI Data Testbed
ai-data.nict.go.jp
Каталог национального института NICT: речь и язык, био- и нейроданные, атмосфера, космическая погода, кибербезопасность.

🇨🇳 Китай - BAAI Data Platform
data.baai.ac.cn
Платформа Пекинской академии ИИ с большими корпусами для обучения LLM. Рядом - целая экосистема: OpenDataLab, Tianchi, ModelScope.

🇷🇺 Россия - Реестр наборов данных и моделей ИИ
registry.cit.gov.ru/datasets
Публичный реестр датасетов для машинного обучения и моделей ИИ от ФГАУ «Цифровые индустриальные технологии».

Общее у всех: открытый доступ, государственная поддержка и ставка на данные для обучения моделей, а не просто «открытые данные для отчётности».

Полный список ML-каталогов (сегодня их 91) - в открытом реестре:
github.com/datenoio/dataportals-registry


#opendata #ai #ml #datacatalogs #datasets

Буквально вчера я вернулся из Астаны после участия в конференции AI&Digital Bridge. Конференция интересная, много новых знакомств и встреч с теми кого давно не видел. В том числе поучаствовал в панели про Телеком данные и их востребованность бизнесом, государством и обществом.

Я там участвовал от Open Data Armenia в ныне не такой уж частой для себя роли представителя общественного интереса.

Что хорошо, данные в Казахстане есть, их немало. Это касается в первую очередь не телеком данных, а геоданных, данных ряда государственных реестров и даже некоторых данных научных учреждений. Очень хорошо что в Казахстане прогресс в доступности данных есть и есть надежда что он будет ещё больше к следующему Digital Bridge.

А вот с данными телекома ключевая сложность в их чувствительности. Телеком операторы, не только в Казахстане, но и во многих странах предоставляют коммерческие аналитические и дата- продукты для потребителей этих данных, но гораздо реже и меньше эти данные доступны для исследователей, в задачах улучшения качества жизни.

Например, в Германии национальная статслужба DEStatis публикует данные Teralytics сопоставляющие официальные данные статистики и данные мобильных операторов.

В Эстонии доступна статистика по туризму на основе данных мобильных операторов.

В Финляндии на основе данных мобильных операторов исследователи собирают аггрегированные данные и пишут научные работы.

Для многих задач эти данные обладают высокой ценностью и в том числе той которую нельзя так просто измерить в денежном эквиваленте.

Я привожу в пример страны ЕС потому что здесь присутствует явная госполитика повышения доступности этих данных. Не обязательно в форме открытых продуктов, очень часто они стоят денег, но сам факт наличия возможности хотя бы узнать их стоимость и аттрибутивный состав уже начало открытости к этим и многим другим чувствительным данным.

Хочется надеяться что и в Казахстане будет явное движение в том чтобы телеком данные были доступны самым разным категориям пользователей.

#opendata #datasets #data #kazakhstan

Разные мысли слух и не только:
1. Модель MiniMax M3 и их среда разработки почти дотягивает до GLM-5.3 от Z.ai. По бенчмаркам GLM-5.3 точно лучше, но по цене M3 в 4 раза выгоднее. На практике они близки друг к другу и использовать MiniMax Code себя оправдыввает на множестве задач "простого кодирования". Для vibe-кодеров оно точно не годится, а для тех кто работает с открытым кодом и фокусируется на приведении кода/репозиториев в порядок вполне годится.
2. Учитывая как существенно падают затраты на создание структурированных данных из неструктурированных есть ощущение что довольно скоро будет бум самопальных каталогов данных. Они уже всё чаще появляются, но пока массовости явления нет, а есть ощущение что оно появится как возвращающийся тренд "посмотрите они [государство] бесполезны, а я знаю как сделать правильно, вот смотрите портал данных [моей страны/моего региона/моего города]". Чаще, конечно, сейчас такое про альтернативы официальным порталам статистики, но ими все не ограничится.
3. Главная беда контентных проектов написанных на 100% с помощью ИИ в отсутствии ответа на вопрос "не хуйню ли я делаю?" "А зачем?". Для многих у кого были идеи в загашники, но реализация которых требовала собрать команду разработчиков и потратиться всерьез, теперь вайбкодят нейрослоповые проекты и, по прежнему, не имеют ответа на этот вопрос. Главная проблема такого в нейрослопа в том что ценности в этом немного, а стоимость воспроизведения даже ниже чем у классических проектов. У меня в загашнике есть немало идей вплоть до написанных ТЗ на подобные проекты, но пока ни один из них фильтр разумного ответа на самый главный вопрос не прошли.
4. Чем больше я изучаю того как устроены каталоги данных по всему миру тем больше соблазн написать самый лучший/эффективный/технологичный свой движок для каталога данных тем более что у меня такой опыт уже был несколько раз в жизни. Очень стараюсь не попасться в эту ловушку, потому что движков каталогов данных десятки, по настоящему хороших может и немного, но для хороших и рынка то особо нет.

#thoughts #ai #coding #opendata