Ivan Begtin
8.07K subscribers
1.49K photos
3 videos
99 files
4.24K links
I write about Open Data, Data Engineering, Government, Privacy and Data Preservation and other gov and tech stuff
Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech

Contact @NMBabina for ads proposals
Download Telegram
В рубрике неизвестных каталогов открытых данных в России подборка ссылок на доступные геоданные:
- https://fires.dvinaland.ru/geoserver/web/ геосервер по ГИС по пожарам в Ростовской области
- http://geo3d.scanex.ru:8090 WMS сервер компании Scanex на базе MapProxy
- https://geoanswer.ru/geoserver/web/ геосервер компании Geoanswer
- https://geo.uriit.ru - геосервер ХМАО на базе NextGIS
- https://geo.uriit.ru/mp/mapproxy WMS сервер ХМАО на базе MapProxy как часть геопортала на базе NextGIS
- http://gisa.aari.ru:8080/geoserver/web/ геосервер ААНИИ
- https://gis.dornadzor-sz.ru/drn/rest/services ArcGIS REST API сервера компании Дорнадзор
- http://gis.esimo.ru/eko/web/ геосервер ЕСИМО
- http://gis-vo.volganet.ru/arcgis/rest/services ArcGIS сервер Волгоградской области
- http://mapserver.cepl.rssi.ru:8080/geoserver геосервер Центра по проблемам экологии и продуктивности лесов РАН.
- https://portal.kgilc.ru:6443/arcgis/rest/services ArcGIS сервер Мурманской области

#opendata #datasets #geodata #russia
В рубрике интересных каталогов данных Sentinel Hub Public Collections [1] каталог 46 наборов данных снимков земной поверхности опубликованных в рамках проекта Sentinel Hub, компании Scorpius Labs из Словении.

Особенность в том что каталог основан на коде Amazon Open Data Registry [2] и все описания наборов данных хранятся в репозитории на Github в виде YAML файлов. Сами данные доступны под лицензией CC-BY 4.0 и являются данными из проекта Copernic, агентства ESA и других источников обработанные в Sentinel Hub.

Ссылки:
[1] https://collections.sentinel-hub.com
[2] https://registry.opendata.aws

#opendata #datacatalogs #geodata
Я регулярно пишу про доступные в России/о России открытые данные [1] и можно много чего найти по тегу #datasets здесь в телеграм канале. К этой рубрике не могу не добавить что главная сложность в поиске данных не в том что их нет, а в том что они фрагментированы до невозможности, не систематизированы и рассеяны по множеству внешних сервисов. Часть региональных властей создают собственные ГИС системы, другие используют корпоративные инсталляции ArcGIS Server, а довольно многие используют облачные услуги ArcGIS, а то есть если не покопаться в коде сайта или если не знать то данные и не найти.

Вот наглядный пример, карта экотуризма Татарстана [2], внутри ArcGIS сервер в облачной версии [3]. Не знаю как они находят способ оплачивать его, но факт остаётся фактом, загружают данные и в 2023 году и загружали ранее и я лично их никоим образом не осуждаю.

Ссылки:
[1] https://t.me/begtin/5078
[2] https://ecotourism-map.tatar
[3] https://services-eu1.arcgis.com/g4SaReSjB9tCbuDt/ArcGIS/rest/services

#datasets #opendata #geodata #tatarstan
Ещё один интересный каталог с глобальными данными Awesome GEE Community catalog [1] создаваемый сообществом пользователей Google Earth Engine, я писал о нём год назад [2] и с тех пор каталог обрёл новый сайт и много больше данных.

Теперь он включает более 322 терабайт данных, около 1 миллиарда объектов и чуть менее 1 миллиона изображений.

Особенность этого каталога в том что это, по сути, коллекция страниц где могут быть или не быть ссылки на выгрузку данных, но всегда есть код для подключения выбранного слоя/данных к Google Earth Engine.

Ссылки:
[1] https://gee-community-catalog.org
[2] https://t.me/begtin/4287

#datacatalogs #opendata #datasets #geodata #google
В рубрике как это работает у них Национальная платформа общественных геопространственных сервисов Китая [1] включает:
- онлайн карты на сайте
- API для данных и геокодирования
- API по стандартам OGC: WMTS и другие
- API для встраивания в сайты
- каталог слоёв карт и данных
- подпорталы и каталоги геоданных для каждой из провинций Китая

Портал поддерживается National Geomatics Center of China находящемся в подчинении у Министерства природных ресурсов КНР.

Непонятно на каком движке сайт работает, скорее этой какой-то самописный/самостоятельный продукт.

В Китае довольно мало открытых стандартизированных API для геоданных, но есть общедоступный ArcGIS сервер компании Geoq [2] который упоминают китайские геоаналитики в своих обзорах.

Ссылки:
[1] https://www.tianditu.gov.cn
[2] https://map.geoq.cn/arcgis/rest/services

#opendata #geodata #china #datasets
Открытые данные в России о которых многие не знают,

- Открытые данные ГУАП [1] ГУАП - это Санкт-Петербургский государственный университет аэрокосмического приборостроения, а на сайте у них есть раздел с API с информацией о ВУЗе. Есть внятное API, для полной открытости нехватает условий использования.
- Открытые API для сервисов Санкт-Петербурга [2] категорически малоизвестный портал Санкт-Петербурга с их официальными API к городским информационным системам. Развивают они его, почему-то, параллельно порталу открытых данных, а не совместно. Как и во многих других случаях, "забывают" написать про условия использования, но сами данные есть.
- Геопортал СВКНИИ ДВО РАН [3] и другие их ГИС сервисы [4] с картами и слоями карт по Дальнему востоку. Включает доступ к данным через открытое API сервера ArcGIS

Ссылки:
[1] https://api.guap.ru/data/
[2] https://api.petersburg.ru
[3] http://hags.north-east.ru:8080/geoportal/catalog/main/home.page
[4] http://www2.neisri.ru/index.php/ru/%D0%B3%D0%B8%D1%81-%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B.html

#opendata #datasets #api #russia #geodata
В рубрике интересных наборов данных CloudDrift, a platform for accelerating research with Lagrangian climate data [1] - это программная библиотека для доступа к данным собираемым с 25 тысяч дрейфующих буев в рамках программы Global Drifter Program (GDP) [2] реализуемой Национальным управлением океанических и атмосферных исследований США. Сами данные размещены на серверах Amazon и доступны в их сервисе S3 [3].

Особенность Clouddrift в том к конкретным датасетам публикуется ещё и полноценная библиотека для доступа к ним и анализа с учётом специфики данных и контекста. Авторы не первые и не единственные кто так делает, для Python есть какое-то количество программных библиотек реализованных на том же принципе, когда данные доступны не только как файлы и API, но и сразу в виде DataFrame для Pandas или как XArray в данном случае.

Что характерно, этот проект один из десятков проектов данных и инструментов о Земле финансируемый Национальным научным фондом США в рамках сообщества и программы EarthCube [4]

Ссылки:
[1] https://cloud-drift.github.io/clouddrift/
[2] https://www.aoml.noaa.gov/phod/gdp/
[3] https://registry.opendata.aws/noaa-oar-hourly-gdp/
[4] https://www.earthcube.org/funded-projects

#opendata #opensource #science #usa #earthsciences #geodata
Наглядная визуализация датасетов Google и Microsoft с распознанными зданиями [1], а также открытый код библиотеки Leafmap[2] с помощью которой идет визуализация. Автор утверждает что для отображения всего набора данных в 165 ГБ потребовалось всего несколько строчек кода [3]

Ссылки:
[1] https://apps.opengeos.org/buildings.html
[2] https://github.com/opengeos/leafmap
[3] https://twitter.com/giswqs/status/1706800470290051548

#opendata #dataviz #geodata
Совершенно незаслуженно упущенный мной и ранее не упомянутый вызов/challenge по созданию 30 дневных карт, 30DayMapChallenge [1]. Он организован специально для самых упоротых упорных дизайнеров, проходит 30 дней с 1 по 30 ноября в течение которых необходимо каждый день публиковать карту на заданную тему: точки, линии, полигоны и так далее. Каждый день надо публиковать результат в социальных медиа с хэштегом #30DayMapChallenge

Весь проект - это частная инициатива Topi Tjukanov который проводит эти конкурсы с 2019 года. Можно посмотреть, например, на работы 2022 года [2].

Никаких призов нет, только фан и репутации в сообществе. Это крутой челлендж, с оценкой результатов по "лайкам" и "ретвитам". Потому что это вызов (challenge), а не конкурс

Правил там немного, главное из которых я бы выделил Don’t be an asshole. Для тех кто хочет самому(-ой) себе бросить вызов - это будет прекрасная возможность, попробовать свои навыки, а потом ещё и рассказать об этом по завершению.

Ссылки:
[1] https://30daymapchallenge.com
[2] https://30daymapchallenge.com/2022/

#gis #contests #challenges #geodata #opendata
This media is not supported in your browser
VIEW IN TELEGRAM
Вышел новый релиз датасета Overture Buildings от Overture Maps [1], туда добавили данные из датасета Google и теперь единый набор данных составляет 2.3 миллиарда зданий против 1.4 в предыдущих релизах. Особенно много зданий добавлено в Азии.

Набор данных доступен в формате GeoParquet [2] и с примерами работы с ним на нескольких облачных хранилищах [3]

Данные доступны под лицензиями Odbl и CDLA Permissive 2.0.

Ссылки։
[1] https://overturemaps.org/overture-buildings-theme-hits-2-3b-buildings-with-addition-of-google-open-buildings-data/
[2] https://overturemaps.org/overture-december-2023-release-notes/
[3] https://github.com/OvertureMaps/data#data-release-feedback

#opendata #data #datasets #geodata