Google анонсировали AlphaEarth ИИ модель для работы с петабайтами данных наблюдения за Землей.

Пишут что его уже используют для разметки неизвестных экосистем, анализа климатических и агрокультурных изменений и тд.

В основе модели набор данных Google Satellite Embedding доступный для разработчиков через Google Earth

#geodata #opendata #ai

Полезное чтение про данные, технологии и не только:
- Practices for Collecting, Managing, and Using Light Detection and Ranging Data (2025) хороший обзор практик сбора, обработки и публикации данных измерений LIDAR где можно узнать о том как, зачем и в каком виде эти данные собираются и где их искать.
- Enriching Unstructured Cultural Heritage Data Using NLP обогащение неструктурированных данных об объектах культурного наследия с помощью LLM.

#readings #ai #opendata #data #geodata

Ещё один слегка нестандартный каталог и сервис работы с данными Cecil. Это сервис доступа к геоданным через API причём устроен он так что там есть только сайт визитка, а всё остальное, включая регистрацию пользователя делается через API запросы. Все примеры описывают работу с данными через Geopandas, а список датасетов приведен в документации.

В итоге основная фича в получении доступа к гармонизированным геоданным с возможностью их получения и обработки в определённой территории.

Вообще же каталоги геоданных явно развиваются в сторону API first, в большей степени чем многие другие данные.

#opendata #geodata

GlobalBuildingAtlas набор данных по всем зданиям в мире, общим объёмом в 36 терабайт. Опубликован в апреле 2025 г. , доступен для полной выгрузки и как сервис WFS. Под лицензией CC-BY-NC 3.0 (свободное использование для некоммерческих целей)

#opendata #datasets #geodata

В рубрике как это устроено у них Underground Asset Registry реестр подземных коммуникаций и объектов Новой Зеландии, сейчас покрывает город Веллингтон и включает данные собранные с помощью LIDAR'ов, GPR и других технологий автоматической идентификации инфраструктуры и аномалий. В 2020 году они таким образом оцифровали 16 километров города и приступили к починке найденных аномалий. Особенность в том что данные доступны для строительных компаний, они не в открытом доступе и предоставляются только после регистрации.

Внутри централизованный каталог данных с возможностью их выгрузки и отображением в ГИС системе.

Все данные разделены на 4 уровня безопасности из которых все данные 1-го уровня S0 доступны без ограничений после авторизации

#data #newzealand #geodata

Полезные ссылки про данные, технологии и не только
- State of AI Report за 2025 год, взгляд на состояние ИИ с точки зрения, в первую очередь, инвестиций. Очень полезная презентация с ключевыми фактами и трендами по рынку ИИ. Просто для чтения, какой-то разбор и факты оттуда отдельно.
- The era of open data infrastructure команда dbt Labs с обещаниями сохранения открытости после поглощения их Fivetran'ом. Не то чтобы до конца верится. Обратите внимание что это [open] [data infrastructure]. а не [open data] [infrastructure]. Маркетологи совсем иначе трактуют слова про открытость называя открытостью open to market и открытые стандарты.
- Bruin движок для построения конвееров данных на Python, включая трансформации с помощью SQL. Как легковесная альтернатива dbt. Бизнес модель идентичная dbt - облачный сервис Bruin Cloud, но их пока не поглотил Fivetran
- Lea другая альтернатива dbt, минималистичный SQL оркестратор. Чистый открытый код, без облачной и иной бизнес модели, но и с документацией похуже и скоростью разработки
- GET SDI греческий вентор и его геоинформационный портал на котором построены почти все ГИС страны. Греция одна из немногих стран со своим основным гео-вендором для онлайн ГИС, а я то все гадал откуда сложности с поиском их геопорталов, а ответ был на поверхности. Внутри, конечно, набор компонентов с открытым кодом

#opendata #geodata #data #opensource #datatools #ai #readings

В рубрике интересных продуктов с открытым кодом MapLibre набор библиотек и спецификаций для создания настраиваемых онлайн карт с активным использованием GPU для оптимизации обработки и отображения изображений.

Делается довольно большой командой и большим числом контрибьюторов, это один из эффективных открытых проектов по сбору денег со спонсоров -по итогам 1-го квартала 2025 года их баланс составлял $653 тысячи, что для не самого крупного проекта довольно неплохо.

В частности в ноябре они выпустили первую версию сервера Martin для создания векторных плиток на лету из баз PostGIS и многое другое. Жаль они у них в планах нет выпуска каталога геоданных потому что Geonetwork и Geonode развиваются медленно.

#opensource #geodata #geospatial

cartes.gouv.fr новый федеральный портал геоданных Франции, анонсирован в середине декабря 2025 года IGN France (Национальный институт географической и лесной информации). В его основе продукт с открытым кодом Geonetwork с расширением в виде geonetwork-ui для более удобного поиска и визуализации. Пока там всего 174 набора данных и сервиса API, но явно будет больше.

Всего же на центральном портале открытых данных Франции data.gouv.fr 70481 наборов данных существенная часть которых - это геоданные страны.

Французский подход в активном использовании открытого кода везде где только возможно при создании госпроектов, включая каталоги данных.

#opendata #france #geodata

В рубрике как это устроено у них проект Re:Earth это ГИС система в Японии и заодно портал для публикации данных. Они же разработчики reearth-cms движка для публикации данных который они же забросили, хотя он чем то напоминал Datasette и dltHub, только с акцентом на геоданные. Но тут разработчики явно поленились или сознательно решили не документировать свой продукт.

А интересно и то что эта же команда разработчики проекта Project PLATEAU с цифровыми двойниками японских городов и прикрутили к нему MCP Server для доступа к японской государственной платформе геоданных. Пока таких аналогичных проектов прикрутки ИИ к большим геоплатформам мне не попадались.

#opendata #data #geodata #japan

Для тех кто интересуется глобальными геодатасетами Global Canopy Heights (Глобальная высота растительного покрова) эти обновленные данные совсем недавно Meta опубликовали как открытую модель на 22ТБ и появился уже сервис chm.geocarpentry.org для выгрузки из него по странам или по конкретным блокам. Он позволяет извлечь из датасета слепки по интересующим территориям.

#opendata #datasets #geodata

В рубрике как это устроено у них могу сказать что для меня открытие этого года в том сколько спешно-успешно распространяются сервисы для доступа к геоданным на базе спецификации STAC (SpatioTemporal Asset Catalogs). Я как раз обновляю реестр каталогов данных Dateno и у меня сервисов поддерживающих спецификацию STAC накопилось уже 168. Скорее будет больше. При этом изначально я их классифицировал как отдельное ПО, потому что большая часть сервисов были на базе референсных реализаций, а правильнее классифицировать как протокол, а ПО определять иначе. Например, после появления расширения STAC для Geoserver (ПО с открытым кодом для создания OGC совместимых API, используется по всему миру)

Особенность спецификации STAC в том что из нее сложно преобразовывать в другие спецификации и отсюда сложность в индексации в Dateno. То что обычно называют датасетом в STAC называется каталогом, в рамках этого каталога публикуются ресурсы охватывающие территорию заданную этим каталогом, но в разные промежутки времени (еженедельно, ежедневно, ежечасно и тд). В результате внутри одного набора данных могут быть тысячи и миллионы файлов. Рассматривать ресурсы как отдельные наборы данных будет некорректно, а как отображать карточки с таким числом файлов непонятно.

И, кстати, перечень каталогов STAC сервисов на StacIndex неполон, у нас в реестре Dateno полнее будет, а в живой природе их сильно больше потому что, как я упоминал, он теперь поддерживается расширением GeoServer'а, а этих инсталляций в мире очень много.

P.S. Кстати, у Роскосмоса тоже есть открытый STAC каталог, с декларируемыми примерно 200ТБ данными. Явление необычное при нынешнем тренде в РФ на закрытость.

#opendata #geodata #datasets

Где-то в начале 2026 года, точную дату сейчас сложно установить, закрылся портал проекта OneGeology https://portal.onegeology.org/ (ссылка сейчас не работает) и с анонсом что возможно летом 2026 года его передадут от Британской геологической службе аналогичной службе Японии. При этом их каталог геоданных еще доступен (1111 наборов геоданных в каталоге на базе Geonetwork). Также остается доступным сайт самого проекта с техническими документами.

OneGeology существовал с 2008 года, и не то чтобы он был ключевым, но заметным ресурсом с геоданными. Посмотрим в каком виде он возродится.

#opendata #geodata #closeddata

Кстати пример портала с именно с дата продуктами - это Source Cooperative портал нового поколения с акцентом на данные машинного обучения и геоданные. Там много данных большого объёма, в сотни гигабайт, преимущественно в форматах Parquet.

При этому внутри он устроен достаточно просто, это файловый навигатор по S3 хранилищу и описание в виде Markdown файла README.md которое и отображает как карточка продукта. Описание может быть как очень коротким так и весьма подробным со схемами данных, примерами кода, областями покрытия. Все отдано на откуп куратору дата продукта, а, поскольку курируют они сами, то и описано чаще хорошо чем плохо.

Главный минус такого подхода в том что доступ к данным не универсален. Каждый продукт имеет свою структуру файлов, свои примеры кода и тд. Чтобы подключиться к ним надо прочитать документацию, разобраться и тд.

Главный плюс в том что там хранятся данные большого объема, некоторые коллекции геоданных достигают сотен терабайт и в том что документацию всё равно читать надо.

Мне их каталог более всего напоминает бывший Quilt Data, а теперь Quilt.Bio которые тоже делали платформу для больших научных дата продуктов и тоже поверх S3 и с акцентом на документацию.

Тут важно, конечно, то что Source Cooperative - это инициатива Radiant Earth, НКО в области геоданных и их дата продукты ориентированы на некоммерческое использование и сама их платформа для публикации данных бесплатна. Поэтому их подход к дата продуктам скорее можно описать как то что они пытаются перенести практики создания коммерческих дата продуктов в некоммерческий сектор, пытаясь привести открытые данные в современный и более удобоваримый формат.

#opendata #datacatalogs #datasets #geodata

В рубрике [частично] доступных российских геоданных

Восемь российских геопорталов, на которые стоит обратить внимание:
• Геопортал РГО открывает доступ к историческим картам, атласам и планам из собрания Русского географического общества — более 48 тысяч уникальных материалов.
• Геопортал Мордовии объединяет тематические карты населённых пунктов, районов, охраняемых территорий, оползней, религиозных объектов и туристической инфраструктуры.
• Геопортал «Кадастрсъёмки» содержит ортофотопланы, топографические и кадастровые материалы, данные инженерных изысканий и мониторинга дорог по регионам Восточной Сибири.
• Интерактивные карты Сургута — муниципальная галерея карт городской инфраструктуры, избирательных округов и различных городских служб.
• Муниципальная ГИС Красноярска позволяет изучать генплан, территориальное зонирование, земельные торги, дороги, парки, водные объекты и кадастровую информацию.
• Инфокарта Екатеринбурга — общественный проект с данными о возрасте, высоте и состоянии зданий, объектах культурного наследия, ДТП и туристических маршрутах.
• Веб-ГИС Дагестанского заповедника публикует границы охраняемых территорий, фотопланы и материалы мониторинга природных пожаров.
• Веб-ГИС заказника «Степной» посвящена охраняемой территории в Астраханской области: здесь доступны веб-карты, снимки и данные пожарного мониторинга.

#opendata #geodata #datasets #russia

Геопорталы Казахстана: где искать карты и пространственные данные

В Казахстане действует целая экосистема геоинформационных ресурсов — от национальной инфраструктуры пространственных данных до кадастровых, отраслевых и региональных карт.

В реестре Dateno на 8 сентября 2026 года, в стране учтено 63 геопортала и геосервиса, 61 из них отмечен как действующий.

Главные ресурсы:
- Государственный геопортал НИПД — основная точка доступа к государственным пространственным данным. Здесь опубликованы картографическая основа страны, ортофотопланы, административные границы, транспортная инфраструктура и метаданные ведомственных геосервисов. Можно совмещать разные слои и создавать собственные карты. Подробнее о проекте.

- Публичная кадастровая карта — сведения о земельных участках, кадастровых границах, зонах ограничений и объектах недвижимости. Особенно полезна собственникам, застройщикам и специалистам по землепользованию.

- Единая платформа недропользования Minerals — интерактивная карта участков недр, лицензий, геологической изученности и территорий, доступных для недропользования.

- Геопортал Госградкадастра — градостроительная и территориальная информация.

- SmartForest — специализированная веб-ГИС с данными лесного хозяйства.

Есть и региональные платформы:
- Алматы
- Астана
- Шымкент
- Карагандинская область
- Восточно-Казахстанская область
- Мангистауская область
- Туркестанская область
- Костанайская область

Региональные геопорталы обычно содержат генеральные планы, земельные участки, инженерные сети, социальные объекты, инвестиционные площадки и другую информацию о развитии территорий.

При этом доступность данных неоднородна: часть систем представляет собой полноценные каталоги, часть — только интерактивные карты или технические сервисы ArcGIS, GeoServer и WMS. Возможности скачивания и повторного использования данных также различаются.

Тем не менее Казахстан уже располагает заметной сетью государственных и отраслевых георесурсов. Следующий важный шаг — единые правила публикации, открытые API, машиночитаемые метаданные и стабильный доступ к наборам данных.

#data #geodata #kazakhstan #datacatalogs

🇺🇿Геопорталы Республики Узбекистан

Кадастр и национальная ГИС

Публичный геопортал Агентства кадастра
 https://open.ngis.uz
 Национальная витрина госреестра прав на недвижимость. Можно узнать кадастровый номер участка, адрес и вид использования, получить список объектов и выписку. Часть сервисов — через OneID (id.egov.uz); расширенные сведения для частных пользователей могут быть платными. С внешней сети портал часто не открывается.

ArcGIS Server Национальной ГИС (NGIS)
 https://db.ngis.uz/db/rest/services
 Машинный контур того же кадастра: REST-слои, которыми питается open.ngis.uz. Отдельная запись в реестре, потому что это не веб-карта, а каталог сервисов. Хост с внешних сетей таймаутится.

Сельское хозяйство
 ArcGIS Server Министерства сельского хозяйства
 https://gis.agro.uz/server/rest/services
 Самый «живой» открытый GIS API страны (ArcGIS Server 10.9). В дереве сервисов — размещение основных и повторных культур 2023–2026, контуры полей, дехканские хозяйства, виноградники и лесные земли, геоботаника, гумус / фосфор / калий / засоление почв, реки, каналы, коллекторы и водохранилища, водоохранные зоны, NDVI/NDMI, слои Uzbekcosmos и данные Кадастрового агентства. Есть и веб-геопортал: https://gis.agro.uz
Градостроительство

 ГИС Государственного градостроительного кадастра (DSHK)
 https://dshk.uz
 Геопортал «УзГАШКЛИТИ»: градостроительные слои, кадастровые карты, границы и застройка. Публичные слои без логина, полный доступ — по учёткам администратора. Автоматическим клиентам сайт отвечает 403.
────────

Научный репозиторий
 Uzbekistan IPT (GBIF)
 https://cloud.gbif.org/uz
 Узел Института ботаники АН РУз. Сейчас 88 наборов (~52 тыс. записей): 85 occurrence и 3 чеклиста. Флора Ферганы, Нуратау, Западного Тянь-Шаня, гербарии вузов, гидробионты Зеравшана и Сырдарьи, эндемики Allium, Iris, Gagea. Есть DCAT и RSS.
────────

Каталоги индикаторов
Это уже не геослои, а ряды и публикации Нацстаткомитета и ЦБ.

SIAT — https://siat.stat.uz
 Интегрированный статистический портал: SDMX, Excel/CSV/JSON/XML и REST. В API — 3 000+ рядов по экономике, населению, АПК и окружающей среде.
stat.uz — https://stat.uz

Официальный сайт комитета: публикации и отраслевые отчёты. Машиночитаемые ряды — в SIAT.
ЦУР — https://nsdg.stat.uz
 190 национальных индикаторов Целей устойчивого развития, выгрузки XLSX/CSV/JSON.

Гендерная статистика — https://gender.stat.uz
 180+ показателей с разбивкой по полу: демография, образование, здоровье, труд, соцзащита.
Центральный банк — https://cbu.uz/en/statistics/
 Денежно-кредитная, банковская и макроэкономическая статистика.
NSDP / МВФ — http://nsdp.stat.uz/
 Страница e-GDDS: сводные макроиндикаторы и SDMX для Dissemination Standards Bulletin Board.
────────

Коротко
• Открытый машинный доступ к геоданным реально есть у Минсельхоза.
 • Кадастр и DSHK — витрины с идентификацией, не bulk-каталоги.
 • Рядом с гео — сильный статистический контур (SIAT, ЦУР, гендер) и узкий, но живой GBIF-узел.

Региональный бонус, не национальный: Central Asia and Caucasus GeoPortal (Esri ArcGIS Hub) — учебные и обзорные слои по Центральной Азии, включая Узбекистан.

#uzbekistan #geodata #datacatalogs

В реестре каталогов данных Dateno, с которым я вожусь вот уже долгое время, больше всего порталов с геоданными. Что, в общем-то, только подтверждает тезис о том что геоданные в мире повсюду, что их больше всего количественно, хотя объёмно среди них велики только данные спутниковых снимков.

К этому можно добавить и огромное разнообразие продуктов на которых геопорталы создаются. Некоторые из них, созданные на базе Geonetwork, GeoNode, ArcGIS Hub - это полноценные каталоги данных имеющие все необходимые характеристики такого каталога: наличие возможности выгрузки, документиированное API, определенные лицензии на использование и поддержку стандартов DCAT, Schema.org и других.

Другие геопорталы - это множество продуктов большого числа вендоров, часто охватывающих от нескольких до сотен геопорталов местного значения. Например, e-mapa.net в Польше, охватывающий более сотни муниципалитетов.

Сейчас в реестре 248 программных продуктов используемых для геопорталов, значительная часть из которых - это SaaS продукты, особенно для муниципалитетов у которых мало ресурсов на развертывание собственных инсталляций.

Надо сказать что всё это на фоне того что в мире геоданных безусловным лидером является Esri с их облачными продуктами ArcGIS, как корпоративными, так и ArcGIS Hub, который позиционируется не совсем как только про геоданные, но и про любые данные в принципе (хотя для остальных типов данных используется он нечасто).

Параллельно существует очень много ПО с открытым кодом для геопорталов, обычно реализующее OGC интерфейсы. Если Вы выбираете ПО для геопортала то в реестре есть отдельный раздел с описанием каждого и файл выгрузки software.jsonl в котором все они собраны. По моим наблюдениям, в 99% случаев можно воспользоваться GeoNode и Geonetwork, но есть и другие варианты.

Скорее всего число видов ПО для каталогов данных будет расти, потому что чем дальше тем больше находится самых разных продуктов.

#opendata #geodata #datacatalogs #dateno

Распределение геопорталов по популярности по странам

Одна картинка лучше тысячи слов ()

Больше всего в мире геопорталов на базе ArcGIS Server и ArcGIS Hub, но если смотреть по конкретным странам то картина меняется и в большинстве стран лидируют собственные вендоры ГИС систем, в некоторых странах SaaS платформы охватывает все [или почти все] муниципальные образования.

Заодно это о том что существующие поисковики вроде GeoSeer или Spatineo охватывающие только OGC и ArcGIS эндпоинты полной картины не дают потому что большая часть геокаталогов и геопорталов не поддерживают, и то, и то. В лучшем случае они покрывают 50% всех геоданных. Dateno пока тоже охватывает далеко не всё, но есть к чему стремиться.

#opendata #geodata #datasets #datacatalogs #dateno

В рубрике как это устроено у них во многих странах данные большого объёма публикуют официально через файловые обменники или хранилища файлов. Самый классический способ, особенно для научных данных и давно написанных систем - это FTP сервера, но используют не только их. Например, часто большие датасеты доступны через сервера на базе Nextcloud. Наглядный пример, data.geo.sg.ch каталог геоданных кантона St. Gallen в Швейцарии. В общей сложности более 157GB доступны через открытый Nextcloud сервер в виде большого числа ZIP архивов с файлами внутри.

Можно сказать что один из наиболее простых способов публикации файлов большого объёма, но практически без каких-либо метаданных, что существенный минус.

#opendata #geodata #switzerland