В реестре каталогов данных Dateno, с которым я вожусь вот уже долгое время, больше всего порталов с геоданными. Что, в общем-то, только подтверждает тезис о том что геоданные в мире повсюду, что их больше всего количественно, хотя объёмно среди них велики только данные спутниковых снимков.

К этому можно добавить и огромное разнообразие продуктов на которых геопорталы создаются. Некоторые из них, созданные на базе Geonetwork, GeoNode, ArcGIS Hub - это полноценные каталоги данных имеющие все необходимые характеристики такого каталога: наличие возможности выгрузки, документиированное API, определенные лицензии на использование и поддержку стандартов DCAT, Schema.org и других.

Другие геопорталы - это множество продуктов большого числа вендоров, часто охватывающих от нескольких до сотен геопорталов местного значения. Например, e-mapa.net в Польше, охватывающий более сотни муниципалитетов.

Сейчас в реестре 248 программных продуктов используемых для геопорталов, значительная часть из которых - это SaaS продукты, особенно для муниципалитетов у которых мало ресурсов на развертывание собственных инсталляций.

Надо сказать что всё это на фоне того что в мире геоданных безусловным лидером является Esri с их облачными продуктами ArcGIS, как корпоративными, так и ArcGIS Hub, который позиционируется не совсем как только про геоданные, но и про любые данные в принципе (хотя для остальных типов данных используется он нечасто).

Параллельно существует очень много ПО с открытым кодом для геопорталов, обычно реализующее OGC интерфейсы. Если Вы выбираете ПО для геопортала то в реестре есть отдельный раздел с описанием каждого и файл выгрузки software.jsonl в котором все они собраны. По моим наблюдениям, в 99% случаев можно воспользоваться GeoNode и Geonetwork, но есть и другие варианты.

Скорее всего число видов ПО для каталогов данных будет расти, потому что чем дальше тем больше находится самых разных продуктов.

#opendata #geodata #datacatalogs #dateno

Меня в последнее время не покидает соблазн сделать какой-нибудь небольшой пэт-проект с анализом и визуализацией данных что-то вроде "Армения в цифрах" или "[Какой-то другой регион] в цифрах" или каталог данных какой-нибудь экзотической страны в которой он никогда иначе бы не появился. Благо с помощью ИИ ассистентов делать такое стало очень просто и недолго.

Но слишком много текущих рабочих задач и много тех кто об этом мне напомнят обязательно.

В целом же я совсем не уверен что надо эти пэт-проекты делать самому. Как мне рядом говорят, стоит сфокусироваться на бизнес задачах, а все хобби вполне можно было бы организовать через конкурсы или хакатоны.

#thoughts

🇷🇺 Новые российские геопорталы в реестре: сентябрь 2026

За последние две недели в dataportals-registry добавлено 45 геопорталов из России — от спутниковых архивов ScanEx до районных карт Москвы. Это продолжение обзора от 9 сентября: здесь только то, что ещё не попадало в канал.

🛰 Семейство «Космоснимки» (ScanEx, платформа GeoMixer)
• Космоснимки — главный геопортал платформы: мозаики снимков, базовые карты, тематические слои и JS/REST API, на котором построены десятки сторонних карт. https://www.kosmosnimki.ru
• Каталоги ДЗЗ — поиск по архивам сверхвысокого разрешения: GeoEye, Ikonos, QuickBird, WorldView-1/2, Eros-A/B. Контуры сцен, метаданные съёмки, заказ онлайн. https://search.kosmosnimki.ru
• Kosmosnimki Fires — оперативный спутниковый мониторинг пожаров: термоточки, гари и пожарная погода почти в реальном времени. https://fires.ru
• WarFly — волонтёрская карта немецкой аэрофотосъёмки 1939–1945 гг. (оригиналы — в Национальном архиве США): привязанные кадры и каталог по городам. http://warfly.ru

🌲 Природа и ООПТ
• ГИС ООПТ РФ (проект huntmap.ru) — границы нацпарков, заповедников и заказников федерального и регионального значения. https://оопт.рф
• Центрально-Лесной заповедник — пожарный мониторинг, ветровалы, фотоловушки, зимние маршрутные учёты. https://cfnr.nextgis.com
• ГИС ИФМ СО РАН — леса Бурятии и Прибайкалья: дистанционное зондирование, ООПТ, данные для PolInSAR-исследований высоты леса. https://forest03.nextgis.com

🏙 Города
• Магнитогорск — InGeo-Web: генплан, ПЗЗ, участки, адреса, ортофото. https://gisportal.magnitogorsk.ru
• Иркутск — муниципальный геопортал с каталогом слоёв и ситуационной картой. https://map.admirk.ru
• Нижний Новгород — генплан, адресный план, топосъёмка, рекламные конструкции. http://geonn.grad-nn.ru
• Волгоград — картографический фонд: ПЗЗ, дороги, благоустройство, инвестплощадки, избирательные округа. https://volgmap.ru
• 3D Сургут — город на Cesium: рельеф, здания, участки, зонирование. https://maps3d.admsurgut.ru/map/
• ГИСОГД Мегиона и ГИСОГД Ленинградской области — градостроительные документы и слои. https://gisapps.admmegion.ru/pzz https://gisogd.lenobl.ru
• Москва, районный уровень — сразу 12 геопорталов на ActiveMap GIS (geofsm.ru): префектуры ВАО и СВАО, «Жилищники» Басманного, Аэропорта, Бибирева, Зюзино, Коптево, Котловки, Черёмушек, Дмитровского и Пресненского районов.

🛣 Дороги
• РОСДОРНИИ, Дальневосточный филиал (Хабаровск) — паспорта и диагностика дорог на платформе IndorRoad. https://gisdvrosdornii.ru
• Владупрадор — дороги Владимирской области, тот же стек. https://gis.corp.uprdor33.ru
• ГлавТатДорТранс — дорожная сеть Татарстана. https://gds.geofsm.ru
• VAD — геопортал дорожно-строительной компании на QGIS Web Client: геология, рельеф, инженерные сети. https://vadgis.ru

🗺 Ещё интересное
• RuMap — открытая карта России и СНГ от «Геоцентр-Консалтинг»: геокодер, маршруты, пробки, изохроны, импорт GeoJSON и Shapefile. https://rumap.ru
• МИС УЗОР — муниципальные слои Дубны и Костромы на GIS WebServer SE, открытые WMS/WFS. https://web.gisuzor.ru
• Гипрониигаз ZuluGIS Online — карты газораспределения: Новосибирская область, Тында. https://zulu.niigaz.ru/ZuluWeb/
• Инвесткарты: Амурская область и Забайкальский край — площадки, индустриальные парки, ТОР, недра. https://investmap.amurobl.ru https://www.zab-investportal.ru/ru/invest-map/
• Верхневолжье и Верхнее Подвинье в XVI–XVII вв. — историческая ГИС: Бежецкая пятина, Бельский уезд. https://belaya.nextgis.com
Заметное разнообразие платформ: GeoMixer, ActiveMap GIS, InGeo-Web, GIS WebServer SE, ZuluGIS, IndorRoad, Geometa, QGIS Web Client, Cesium, NextGIS.

Полный список — в реестре: github.com/commondataio/dataportals-registry (country=RU, type=Geoportal).

#geoportals #opendata #russia #datacatalogs

Я наверняка не единственный кто это подмечает, но одно из наблюдений за средами и приложениями вроде Cursor, Z.ai, Kimi, ChatGPT, Claude и многими другими остальными построенными вокруг работы с AI агентами - это непрерывность изменений и развития. Понятно что у их команд много ресурсов, финансовых, интеллектуальных, инфраструктурных, но тут ещё и явно культура разработки с помощи ИИ ассистентов (не путаем с вайб-кодингом).

Буквально в считанные месяцы и недели они эволюционируют из простых инструментов во всё более продвинутые, как с точки зрения управления множествами субагентов, так и способами представления промежуточных и итоговых результатов.

Для софтверной разработки - это новая планка качества, сильно контрастирующая со всеми предыдущими разнообразными подходами, не предполагающими частотных и даже сверхчастотных (ежесуточных) обновлений.

В удивительное время живём.

#thoughts #software #ai

Свежая статья (ссылка на вариант без пэйволла) в The Economist о том что ИИ впервые выиграл Metaculus Cup, соревнование среди предсказателей событий. Причем в 2024 году результаты работы ИИ агентов были совсем слабые, а в 3-м квартале 2026 ИИ агенты обогнали почти всех людей участников.

Причем я так понимаю что в лидерах там стартап Mantic которые как раз параллельно (или по итогам?) подняли $25 миллионов венчурного финансирования на продукт по AI Forecasting.

Вспоминаются фильмы вроде Особое мнение и многочисленная литература о ИИ предсказывающем будущее на годы вперед.

Такие продукты могут повлиять не только на рынки предсказаний, фондовые рынки и тд., но и на прогнозирование многих глобальных и менее глобальных событий.

#ai #thoughts #forecasting

На сайте экосистемы CKAN опубликовали дашборд с каталогом инсталляций CKAN в мире там есть 732 каталога данных, их текущий статус (живые или нет), версии и так далее.

Для тех кто не знает, CKAN - это один из наиболее популярных продуктов с открытым кодом для создания порталов открытых данных.

С одной стороны полезный список, а с другой...

Я довольно таки зол на сообщество и ребят которые этим занимаются потому что я постоянно тыкаю их носом в то что в реестре порталов данных Dateno есть информация о 2021 каталоге данных на базе CKAN и это почти в 3 раза больше чем то что ребята перечисляют на сайте экосистемы.

Но повторно использовать чужие наработки им не хочется, даже если они сильно более полные и под свободными лицензиями. Очень странные люди.

#opendata #datacatalogs

Яндекс выпустил AliceAI-Foundation-80B-A3B-Base базовую языковую модель с открытыми весами и акцентом на лучшую поддержку русского языка.

Пишут что модель была обучена полностью с нуля и приводят множество результатов бенчмарков в сравнении с:
- Qwen3.5-35B-A3B-Base
- GLM-4.5-Air-Base (106B-A12B)
- Nemotron-3-Super-120B-A12B-Base
- DeepSeek-V4-Flash-Base (284B-A13B)

Это хорошая новость, больше открытых моделей, больше конкуренции!

Важно чтобы релизов было больше, потому что конкуренты работают очень быстро выпуская новые модели чуть ли не еженедельно.

#ai #opensource #yandex

В рубрике как это устроено у них NeTEx стандарт Евросоюза по публикации данных о транспорте, расписании и инфраструре. Публикуется в таких каталогах данных как Open Data Portal for Belgian Public Transport наряду с данными в формате GTFS и другими. А также используемый в системах автоматизированного управления транспортом в Евросоюзе наряду со многими другими стандартами.

#opendata #eu #transport #datacatalogs #standards

Каталоги данных о мобильности

В реестре dataportals-registry европейская тема Transport стоит у 2337 активных каталогов: 1537 геопорталов и 641 портал открытых данных. Большая часть - общие витрины, где дороги, остановки или ДТП оказываются одним из разделов.

Отдельный слой - специализированные каталоги mobility: национальные точки доступа, порталы операторов и глобальные сборники фидов. География темы перекошена в сторону США: 692 записи, в основном ArcGIS-хабы дорожных ведомств штатов.

Европейские точки доступа

National Access Point по директиве ITS в реестре делится на два типа данных.

Дорога и трафик, обычно DATEX II: немецкая Mobilithek, датский Dataudveksleren, финский каталог Digitraffic, испанский NAP DGT, хорватский promet-info.hr, словенский nap.si, румынский pna.cestrin.ro, бельгийский transportdata.be, кипрский traffic4cyprus.org.cy, чешский registr.dopravniinfo.cz, голландский NTM, норвежский Transportportal, шведский trafficdata.se, греческий data.nap.gov.gr.

Расписания и мультимодальные поездки, обычно NeTEx, GTFS и SIRI: французский transport.data.gouv.fr, австрийский mobilitydata.gv.at, испанский nap.transportes.gob.es (второй NAP Испании, рядом с DGT), финский FINAP, итальянский каталог CCISS, португальский nap-portugal.imt-ip.pt, латвийский transportdata.gov.lv.

Такая точка доступа публикует метаданные и адрес фида производителя. Сам файл часто лежит у оператора.

Операторы и города

Швейцария: федеральная платформа data.opentransportdata.swiss (CKAN, GTFS и realtime), отдельно SBB и женевский TPG.

Франция: Île-de-France Mobilités и API-портал PRIM, RATP, SNCF, сеть STAR в Ренне, каталог Navitia.

Германия: 10 марта 2024 Deutsche Bahn закрыла свой CKAN. Наборы переехали в Mobilithek, GovData и Open Data ÖPNV. API расписаний, станций и GBFS остались на developers.deutschebahn.com. Рядом земельная MobiData BW и портал RNV.

Дальше по карте: BKK в Будапеште (GTFS и GTFS-Realtime), японский ODPT, тайваньский TDX как национальный API-хаб, Transport for NSW и Transport Victoria, голландские данные RDW (транспортные средства и парковки), лиссабонские EMEL и геопортал TML, боготинская Secretaría de Movilidad, мадридский CRTM. Ирландский NTA вынес GTFS и realtime в портал разработчика: developer.nationaltransport.ie.

В российской части реестра отдельно стоит GeoServer «Московского транспорта»: transport.mos.ru/geoserver. Это публикация геослоёв WMS/WFS.

Мир и агрегаторы

Mobility Database — глобальный каталог GTFS, GTFS-Realtime и GBFS от MobilityData, со скачиваемым sources.csv.

Transport Data Commons — коалиционный CKAN по транспорту. Витрина OpenDataSoft: transport.opendatasoft.com. Digital Transport for Africa — GitLab-инвентарь городских GTFS для Африки и Латинской Америки. TUMI Data Hub собирает данные городской мобильности. Mobito — коммерческая витрина: каталог открыт без входа, покупка данных идёт через аккаунт.

Рядом исследовательские каталоги: немецкий FID move и Urban Mobility Observatory TU Delft. Статистика, а не фиды: корейская KTDB, американские data.transportation.gov и data.bts.gov.

Как собирать

Расписания ищите в NeTEx или GTFS у точки доступа и у оператора. Пробки и дорожные работы - в DATEX II у дорожного NAP. Шеринг - в GBFS. Один и тот же фид часто числится в национальном каталоге, у перевозчика и в агрегаторе: сверяйте канонический URL источника.

#opendata #transport #datacatalogs

Молдова: каталоги данных

В реестре 31 каталог по Молдове, 30 из них действуют. Четыре типа: открытые данные, геопорталы, статистические индикаторы и научные репозитории.

Открытые данные (6)

Правительственный портал открытых данных - https://dataset.gov.md, на CKAN. Второй CKAN ведёт Агентство электронного управления: https://dataset.live.egov.md.

Тематические витрины:
- госзакупки MTender в формате OCDS: https://mtender.gov.md
-внешняя помощь, платформа AMP: https://amp.gov.md/portal/
реестры интеллектуальной собственности AGEPI (патенты,
- товарные знаки, промышленные образцы): https://db.agepi.md
официальный монитор: https://monitorul.gov.md/

Геоданные (12)

Ядро национальной инфраструктуры пространственных данных у Агентства геодезии, картографии и кадастра:
- геопортал GEODATA (MapStore): https://www.geodata.gov.md
- каталог метаданных (GeoNetwork): https://geoportalinds.gov.md/geonetwork/
- GeoServer НИПД: https://geodata.gov.md/geoserver

ГИС местного уровня SIGSNL - https://sigsnl.gov.md, тоже MapStore и отдельный GeoServer.

Отраслевые и городские сервисы:
- интерактивная карта дорог https://harta.asd.md/ и GeoServer
- Национальной администрации дорог https://data.asd.md/geoserver
- кадастр недвижимости: https://map.cadastru.md/geoserver
- государственный водный кадастр: https://csa.gov.md/
слои архитектуры и землеустройства Кишинёва (ArcGIS): https://portal.dgaurf.md/arcgis/rest/services
- коммерческий GeoServer Royal Map: https://data.iharta.md/geoserver

Сервер Службы публичных экологических данных http://oikumena.md в реестре неактивен: хост больше не открывается.

Статистика (4)

Национальное бюро статистики ведёт банк таблиц Statbank на
PxWeb - https://statbank.statistica.md: ряды, выгрузки и API к каждой таблице. Индикаторы ЦУР выложены на

OpenSDG: https://statisticamd.github.io/sdg-site-moldova/.

Страница NSDP по стандарту распространения данных МВФ: http://www.statistica.md/SDDS/NSDP/.

Национальный банк публикует денежную, финансовую и макростатистику в генераторе отчётов: https://www.bnm.md/bdi/?lang=en

Наука (9)

Все девять записей - институциональные репозитории на DSpace.

Национальный уровень: библиотечное дело и информационные науки (Национальная библиотека, http://moldlis.bnrm.md) и экономические исследования Национального института экономических исследований (https://rses.ince.md).

Кишинёв:
- Молдавский госуниверситет - https://msuir.usm.md
- Технический университет - https://repository.utm.md
- Университет медицины и фармации им. Тестемицану - https://repository.usmf.md
- Академия экономических знаний (IREK) - https://irek.ase.md/xmlui
- Педуниверситет им. Крянгэ - https://dir.upsc.md
- Академия музыки, театра и изобразительных искусств - https://repository.amtap.md

Бельцы: архив госуниверситета им. Алеку Руссо - http://dspace.usarb.md:8080/xmlui

Коротко по ландшафту. Статистика и карты держатся на двух опорах - НБС и агентстве геодезии. Открытые данные разложены по нескольким порталам: общий CKAN, закупки, помощь доноров, интеллектуальная собственность. Научные материалы живут в вузовских DSpace: у каждого учреждения свой архив публикаций и диссертаций.

#opendata #moldova #eu #datacatalogs #datasets

В рубрике интересных каталогов данных SciOp каталог наборов данных и веб архивов собранных из исчезающих ресурсов, многие уже исчезнувшие. В отличие от других каталогов данных распространяются все датасеты там через торрент сервер, при этом данные большого объёма, могут достигать сотен гигабайт и десятков терабайт.

#opendata #digitalpreservation #webarchives #datacatalogs

Для тех кто интересуется окружающей средой, Ереваном и деревьями, проект Trees of Yerevan не только дает карту деревьев, но и предоставляет открытые данные в формате базы Sqlite и под лицензией ODbL.

Данные очень удобны для работы, открыты и являются отличным примером когда общественные проекты Армении предоставляют открытые данные.

#opendata #armenia #yerevan #environment

Я тут на днях общался с одним германским исследователем про открытые данные, он много что интересного рассказывал про данные по странам где он проводил свои исследования, я об этом еще расскажу подробнее, о том что данные могут быть доступны, а люди которые ими занимались давно ушли и госполитика уже развернулась не "за" открытые данные, а "против". Нет, это не про Россию, хотя и параллели ощущаются.

А вот из интересного что он рассказывал так то что после недавних случаев с дронами в аэропортах и других инцидентов с безопасностью около электростанций в Германии активно пошли разговоры что может быть не надо быть настолько открытыми и начать скрывать многие данные по инфраструктуре. Не буду загадывать произойдет ли это или нет, но сам факт разговоров он о том что открытые данные - это явление мирных времен. Когда начинаются военные конфликты, ограничения в доступности информации нарастают и тем ценнее становятся альтернативные источники данных и возможность влияния на них.

Я бы предположил что важными изменениями в ближайшие годы будет:
- многие данные, в первую очередь по инфраструктуре будут исчезать по мере расширения военных конфликтов и появления новых
- вероятно появление собственных спутников для съёмки земли у отдельных издательств/крупных медиа-холдингов
- вероятно появление альтернатив стартапов по альтернативным данных в юрисдикциях отличных от США.

#opendata #thoughts #data

Многие данные по странам сложно найти внутри страны, даже если они есть, то часто запрятаны или в таких формах что работать с ними требует дополнительных усилий, но они успешно собираются международными организациями. Например, не все знают про существование Food price monitoring and analysis (FPMA) tool специального инструмента сбора и раскрытия данных о ценах на ключевые продовольственные товары которые который предоставляет Продовольственная и сельскохозяйственная организация ООН (FAO).

Инструмент охватывает практически все страны, по развитым странам, в основном, предоставляя показатели национального покрытия. По развивающимся есть детализация до городов/регионов.

Состав продуктов тоже варьируется от страны к стране.

Данные обновляются ежемесячно, где-то с задержкой в полмесяца, где-то в 2 месяца, но для аналитики вполне достаточно. По некоторым странам мониторинг аж с начала 90 годов, по другим только за последние несколько лет.
Иначе говоря вариативность высокая, но все в едином формате, можно выгрузить напрямую и через API и использовать в некоммерческих целях под условиями CC-BY-NC-SA.

#opendata #statistics #datasets

Прочитал две интересные статьи на Хабре Карточный домик из GPU: архитектура neocloud-пузыря и Рынок вычислений в России, Казахстане и Беларуси.

Не знаю автора, но написано очень хорошо, и комментарии к первой статье полезные, раскрывают тему GPU и ЦОДов с новых сторон.

Что хорошего для не-российских ИИ продуктов - это то что цены на токены будут снижаться неизбежно. Я с этим выводом согласен и наблюдаю тот же тренд.

Что не то чтобы очень хорошо для российских ИИ продуктов в том что в России дефицит чипов и мощностей никуда не исчезнет и стоимость токенов/использования LLM хоть и будет снижаться, но будет кратно больше чем не в России.

#readings #ai

Каталоги данных Ирана

Картина короткая. Национальный портал открытых данных есть, статистика живёт на сайтах Центра статистики и Центробанка, пространственные данные разложены по GeoServer, GeoNode и муниципальным ArcGIS. Почти всё на фарси.

Открытые данные

Национальный портал - data.gov.ir. Это CKAN Организации информационных технологий Ирана: единая витрина наборов госорганов, с открытым CKAN API.

Рядом независимый Iran Open Data - гражданский каталог официальных, международных и неофициальных рядов по экономике, обществу и энергетике, на фарси и английском. Бесплатный уровень узкий (ограниченные просмотры и скачивания). Полные выгрузки - по подписке, а платный доступ из Ирана закрыт из-за санкционных ограничений платёжных сервисов.

Отдельная полка - Peykaregan, DKAN Центра компьютерных исследований исламских наук (Noor). В каталоге заявлено 127 корпусов и NLP-наборов по персидскому языку, есть data.json.

Статистика

База Центра статистики Ирана - официальные показатели по темам и периодам, ежегодник выходит с 1345 года по солнечной хиджре. Фарси и английский, машиночитаемого API нет.

Статистика Центрального банка - денежно-кредитные, банковские и макроэкономические ряды. Тоже таблицы на сайте, без API.

Геоданные

Национальная инфраструктура пространственных данных - GeoServer Национального картографического центра: WMS, WFS и WCS.

Дальше отраслевые и коммерческие серверы: • пригодность земель, Институт исследований почв и вод - nlss.ir, ArcGIS Server • кадастр и участки Zamin Tarsim - ztclock.ir • тайлы справочника Behtarino - maps.behtarino.com, MapTiler

Провинциальные ИПД на GeoNode, с каталогом CSW: • Курдистан - sdi.kmporg.ir • Зенджан - zanjansdi.ir • Йезд - sdi.yazdmporg.ir

Городские ГИС: • Казвин - map137.qazvin.ir • Илам - 137.ilam.ir • Фалаварджан (Исфахан), включая реестр уличных деревьев - tree.falavarjan.ir • Кередж - map.karaj.ir, веб-карта районов и городских объектов, без API

Наука

Единственный научный репозиторий - IPT узла OBIS по Персидскому заливу и Оманскому заливу при Национальном институте океанографии и атмосферных наук: PEGO-OBIS. Морские находки, публикация в GBIF.

Пробелы

Каталогов микроданных, моделей машинного обучения и маркетплейсов в реестре нет. Английский есть у Центра статистики, Центробанка, Iran Open Data и морского IPT. Статистика отдаётся таблицами, а не API. Пространственный слой заметно гуще, чем слой открытых данных.
—
Этот и все страновые обзоры на основе реестра каталогов данных Dateno.

#opendata #datacatalogs #dateno #iran