В рубрике как это устроено у них портал открытых геномных данных JGI DataPortal департамента энергетики США. Включает данные и метаданные с геномной информацией. Общий объём более 13ПБ, поддерживается Университетом Калифорнии.

Это специализированный портал научных данных, один из многих общедоступных порталов с геномной информацией, заточенный под исследователей в этой области.

Включает возможность выгрузки данных через систему Globus, получение метаданных через API и т.д.

#opendata #USA #genomic #datasets

Кстати пример портала с именно с дата продуктами - это Source Cooperative портал нового поколения с акцентом на данные машинного обучения и геоданные. Там много данных большого объёма, в сотни гигабайт, преимущественно в форматах Parquet.

При этому внутри он устроен достаточно просто, это файловый навигатор по S3 хранилищу и описание в виде Markdown файла README.md которое и отображает как карточка продукта. Описание может быть как очень коротким так и весьма подробным со схемами данных, примерами кода, областями покрытия. Все отдано на откуп куратору дата продукта, а, поскольку курируют они сами, то и описано чаще хорошо чем плохо.

Главный минус такого подхода в том что доступ к данным не универсален. Каждый продукт имеет свою структуру файлов, свои примеры кода и тд. Чтобы подключиться к ним надо прочитать документацию, разобраться и тд.

Главный плюс в том что там хранятся данные большого объема, некоторые коллекции геоданных достигают сотен терабайт и в том что документацию всё равно читать надо.

Мне их каталог более всего напоминает бывший Quilt Data, а теперь Quilt.Bio которые тоже делали платформу для больших научных дата продуктов и тоже поверх S3 и с акцентом на документацию.

Тут важно, конечно, то что Source Cooperative - это инициатива Radiant Earth, НКО в области геоданных и их дата продукты ориентированы на некоммерческое использование и сама их платформа для публикации данных бесплатна. Поэтому их подход к дата продуктам скорее можно описать как то что они пытаются перенести практики создания коммерческих дата продуктов в некоммерческий сектор, пытаясь привести открытые данные в современный и более удобоваримый формат.

#opendata #datacatalogs #datasets #geodata

Ещё одно наблюдение, то что с развитием ИИ агентов появилось множество порталов показывающих национальную и международную статистику наглядно, вот, например, такой по Монголии data.mn. Они все используют официальную статистику с сайтов нац. стат. служб и из баз данных межгосударственных структур. И вот таких порталов я видел уже штук 7 за неделю и несколько глобальных, охватывающих все страны.

В чем их особенности:
- как правило это one-man-project, делаются они одним человеком с помощью Claude / Cursor / Copilot / ChatGPT и далее по списку
- большая часть делается просто для портфолио, без бизнес модели. Исключения в тех что пытаются "засрать поисковую выдачу" с акцентом на SEO. В их бизнес модель я не верю.
- всегда акцент на визуализации, то что национальные статслужбы не умеют
- но про пользователей их создатели понимают редко, частотные (часто обновляемые) показатели у них есть редко.

Когда-то много таких проектов делала команда DataWheel (DataUSA, DataSaudi и др.), но там был явно не один человек, больше акцент на визуализации и работа всегда под клиентов.

Вот эти новые проекты пока до их уровня не дотягивают, но это скорее вопрос понимания природы данных и пользователей у их создателей, чем техническая невозможность.

#opendata #datasets #datacatalogs #datavis #statistics

Научные данные России: с чего начинать

Земля, океан, климат

ЕСИМО — http://esimo.ru
 Тема: океан, метеорология, гидрология.
 Ценность: единая государственная система Росгидромета об обстановке в Мировом океане — официальный контур морских и гидрометеоданных, а не институтский архив.

Всемирный центр данных по метеорологии (Обнинск) — http://meteo.ru/mcd/ewdcmet.html
 Тема: метеорология.
 Ценность: российский узел сети World Data Centres: сбор и распространение метеоданных внутри страны и в международном обмене (ВНИИГМИ–МЦД).

Всемирный центр радиационных данных (WRDC) — http://wrdc.mgo.rssi.ru/
 Тема: климат, солнечная радиация.
 Ценность: один из шести мировых центров программы GAW ВМО; архив актинометрических наблюдений ГГО им. Воейкова.

Всемирный центр данных по солнечно-земной физике (Москва) — http://www.wdcb.ru/stp/index.en.html
 Тема: геофизика, космос.
 Ценность: архив наблюдений солнечно-земной физики Геофизического центра РАН.

Геомагнитный центр ГЦ РАН — https://geomag.gcras.ru/
 Тема: геомагнетизм.
 Ценность: данные обсерваторий INTERMAGNET по России и ближнему зарубежью, плюс спутниковые продукты (система MAGNUS).

Астрономия и физика

Центр астрономических данных ИНАСАН — https://www.inasan.ru/en/divisions/dpss/cad/
 Тема: астрономия.
 Ценность: с 1980 года российский филиал CDS Strasbourg; каталоги звёзд, переменных и двойных систем для отечественной астрономии.

SPECTR-W3 — http://spectr-w3.snz.ru/index.phtml
 Тема: атомная спектроскопия, физика плазмы.
 Ценность: одна из крупнейших баз по спектрам атомов и высокозарядных ионов (РФЯЦ–ВНИИТФ): уровни, линии, вероятности переходов, сечения.

Биоразнообразие и коллекции

Российский GBIF IPT — http://gbif.ru:8080/ipt/
 Тема: биоразнообразие.
 Ценность: национальный узел публикации occurrence-данных в GBIF (ИМПБ РАН / ИПМ им. Келдыша).

«Ноев ковчег», МГУ — https://depo.msu.ru/ipt/
 Тема: живые системы, биоматериалы.
 Ценность: депозитарий МГУ — от молекул до организмов; наборы публикуются в GBIF.

IPT ЗИН РАН и БИН РАН — https://ipt.zin.ru
 Тема: зоология и ботаника.
 Ценность: данные крупнейших академических коллекций — Зоологического и Ботанического институтов РАН.

IPT Института океанологии им. Ширшова — https://gbif.ocean.ru/ipt/
 Тема: морская биология.
 Ценность: встречи, плотность и биомасса видов с экспедиций ИО РАН.

Молекулярная биология (российские базы мирового уровня)

CSDB — https://csdb.glycoscience.ru/database/
 Тема: гликомика.
 Ценность: курируемая база природных углеводных структур с таксономией, литературой и ЯМР (ИОХ РАН).

GTRD — https://gtrd.biouml.org/
 Тема: регуляция транскрипции.
 Ценность: сайты связывания транскрипционных факторов по ChIP-seq для человека и мыши.

HOCOMOCO — https://hocomoco11.autosome.org/
 Тема: геномика, мотивы ДНК.
 Ценность: модели связывания 680 человеческих и 453 мышиных транскрипционных факторов (PWM по ChIP-seq из GTRD).

VDJdb — https://vdjdb.com/
 Тема: иммунология, TCR.
 Ценность: курируемая база Т-клеточных рецепторов с известной антигенной специфичностью (ИБХ РАН).

EpiFactors — https://epifactors.autosome.org/
 Тема: эпигенетика.
 Ценность: белки и комплексы эпигенетической регуляции плюс экспрессия в клетках, раковых линиях и тканях (МФТИ).

Медицина и ML

MosMedData — https://mosmed.ai/datasets
 Тема: медицинская визуализация.
 Ценность: открытые КТ-наборы (в т.ч. COVID-19) Центра диагностики и телемедицины ДЗМ — готовые датасеты для обучения моделей.

Medical Data Hub — https://medicaldatahub.ru/datasets/
 Тема: медицинские датасеты для ML.
 Ценность: каталог медицинских наборов под машинное обучение.

Гуманитаристика, соцнауки, вузы

Dataverse Пушкинского Дома — https://dataverse.pushdom.ru
 Тема: русская литература и фольклор.
 Ценность: открытые исследовательские данные ИРЛИ РАН с DOI.

Репозиторий психологических данных — https://ruspsydata.figshare.com
 Тема: психология.
 Ценность: данные и инструменты исследований МГППУ.

DSpace СПбГУ — https://dspace.spbu.ru
 Тема: университетский репозиторий.
 Ценность: публикации, диссертации и датасеты сообщества СПбГУ (есть API DSpace 7).

#opendata #datasets #russia #researchdata

Я сегодня доделал очередной большой апдейт реестра каталогов данных Dateno, там теперь 29 816 каталогов данных. Это уже больше чем вдвое того что было месяц назад - 14 436.

Подавляющее число новых каталогов данных за этот месяц и в последней сборке тоже - это геопорталы, научные репозитории данных и порталы статистики и индикаторов.

Причем теперь уже с весьма широким охватом региональных и муниципальных источников данных.

На эту тему у меня, как всегда, накопилось множество наблюдений, часть которых стоит записать.

Геоданные:
1. Геопорталов в мире сильно больше чем порталов открытых данных. Они бывают более данные-ориентированные вроде Geonetwork или Geonode, бывают более про API - ArcGIS Server, а бывает большое разнообразие интерфейсов где если и есть API то недокументированное.
2. Количественно геоданных в мире более всего, качественно (по объему) только если учитывать спутниковые снимки.
3. Esri - это абсолютная доминанта внедрений геопроектов в мире, повсеместно, либо ArcGIS Server, либо ArcGIS Hub. Open source стек вроде Geoserver и др. встречается существенно реже.
4. Много региональных/локальных геовендоров с внедрениями в 5-6 муниципалитетах. Наверное во всех странах высокого и среднего достатка такие есть.

Статистика:
5. Стандартизация в статистике сразу заканчивается после национальных агентств и международных структур. За их пределами нет не то что SDMX, но и облегченных вроде JSON Stat (за редким исключением).
6. SDMX оказался очень тяжелым при внедрении стандартом, есть всего 3 активно внедряемых серверных продукта и много вопросов с тем можно ли их внедрять без найма консультантов.
7. Вся самая интересная статистика и индикаторы за пределами национальных статслужб, там крайне редко есть еженедельные или ежесуточные показатели. Сбор интересного статистического дашборда - это всегда трудоемкая задача по поиску данных, и чаще они не на порталах данных

#opendata #datacatalogs #datasets #thoughts

В рубрике [частично] доступных российских геоданных

Восемь российских геопорталов, на которые стоит обратить внимание:
• Геопортал РГО открывает доступ к историческим картам, атласам и планам из собрания Русского географического общества — более 48 тысяч уникальных материалов.
• Геопортал Мордовии объединяет тематические карты населённых пунктов, районов, охраняемых территорий, оползней, религиозных объектов и туристической инфраструктуры.
• Геопортал «Кадастрсъёмки» содержит ортофотопланы, топографические и кадастровые материалы, данные инженерных изысканий и мониторинга дорог по регионам Восточной Сибири.
• Интерактивные карты Сургута — муниципальная галерея карт городской инфраструктуры, избирательных округов и различных городских служб.
• Муниципальная ГИС Красноярска позволяет изучать генплан, территориальное зонирование, земельные торги, дороги, парки, водные объекты и кадастровую информацию.
• Инфокарта Екатеринбурга — общественный проект с данными о возрасте, высоте и состоянии зданий, объектах культурного наследия, ДТП и туристических маршрутах.
• Веб-ГИС Дагестанского заповедника публикует границы охраняемых территорий, фотопланы и материалы мониторинга природных пожаров.
• Веб-ГИС заказника «Степной» посвящена охраняемой территории в Астраханской области: здесь доступны веб-карты, снимки и данные пожарного мониторинга.

#opendata #geodata #datasets #russia

Для тех кто работает с данными по странам и международным блокам и организациям, новая версия 2.1.0 базы internacia-db.

В этой версии:
- добавлено 235 международных блоков, групп стран и организаций. Преимущественно были добавлены торговые соглашения FTA/PTA, географические группы и международные организации в домене .int
- обновлена документация инструкциями по обновлению перечня международных блоков
- много обновлений и исправлений карточках отдельных записей

Подробнее в CHANGELOG

В целом я пока не понимаю что качественно можно добавить в карточки стран, а карточки международных блоков можно сказать что уже готовы, все основное там есть. Добавлять дальше сведения о двухсторонних международных блоков - это превращаться в базу FTA и межстрановых соглашений, что точно не является целеполаганием.

Я напомню что internacia-db это открытая база данных и наборы данных с референсной информацией по странам и всем видам объединения стран - по соглашениям, географическому положению, акронимам, международным организациям и так далее. Используется она для многих задач, например, в Dateno для разметки наборов данных.

#opendata #datasets #data

🇬🇪 Открытые данные Грузии: где искать?

Разбираем экосистему грузинских каталогов данных — от национального портала до городских карт.

Вот главные источники:
📊 Data.gov.ge — национальный портал открытых данных Официальный портал, запущенный в рамках инициативы Open Government Partnership. Ведёт Агентство цифрового управления при Минюсте. Наборы данных госорганов, интерфейсы на грузинском и английском. 🔗 data.gov.ge
📈 GEOSTAT Data Catalog — статистика Грузии Официальная база Национального статистического управления (Geostat) на платформе PxWeb. Демография, экономика, сельское хозяйство, экология — многомерные таблицы с открытым API (PxWeb API). 🔗 https://pc-axis.geostat.ge/PXWeb/pxweb/ka/Database
🗺 NSDI.gov.ge — национальный геопортал Геопортал национальной инфраструктуры пространственных данных от Национального агентства публичного реестра (NAPR). Поиск, просмотр и скачивание геоданных, каталог метаданных. А рядом — интерактивная кадастровая карта maps.gov.ge с участками, адресами и ортофото.
🌲 Forest & Land Use Atlas — atlas.mepa.gov.ge Атлас лесов и землепользования Министерства экологии и сельского хозяйства на ArcGIS Hub.
🔬 OpenScience.ge — научный репозиторий Цифровой репозиторий грузинских научных работ (DSpace-CRIS) Национальной научной библиотеки: статьи, диссертации, научная продукция. Есть API и OAI-PMH.

💰 Тематические порталы:
▫️ opendata.spa.ge — госзакупки в формате Open Contracting Data Standard
▫️ sdg.gov.ge — мониторинг Целей устойчивого развития
▫️ budgetmonitor.ge — бюджетный монитор Счётной палаты

🏘 Городские геопорталы:
▫️ Тбилиси — архитектурная карта мэрии (mgis.tbilisi.gov.ge)
▫️ Батуми — карта аварийных зданий (maps.batumi.gov.ge)
▫️ Кутаиси — геопортал мэрии (map.kutaisi.gov.ge)

📉 Бонус:
Caucasus Barometer (caucasusbarometer.org) — ежегодные данные социологических опросов по Кавказу от CRRC.

#opendata #georgia #datacatalogs #data #datasets

🇦🇲 Каталоги данных Армении: где искать цифры, карты и микроданные

У Армении нет официального государственного open data-портала. Зато есть сильная официальная статистика, живой гражданский CKAN и довольно зрелая геоинфраструктура. Ниже — что реально работает и куда идти в первую очередь.

📊 Официальная статистика — главная опора
Ядро публикует Statistical Committee (Armstat). Это классический «скандинавский» стек, а не витрина PDF.
• ArmStatBank — национальный банк таблиц на PxWeb: население, экономика, сельское хозяйство, транспорт, экология. Есть API (EN/HY).
 https://statbank.armstat.am
• SDG Armenia — национальный OpenSDG. 306 индикаторов ЦУР, 85% уже выложены онлайн (261 из 306). Слабое место — цель 14 «жизнь под водой»: онлайн только 31%.
 https://sdg.armstat.am
• NSDP — страница макропоказателей по стандарту МВФ SDDS, с выгрузками SDMX.
 https://armstat.am/nsdp/
• ArmStat Microdata Library — 26 исследований в NADA: переписи, ILCS (условия жизни домохозяйств), DHS, сельхозперепись 2014, AGRIS. Часть файлов открыта, часть — по запросу или на внешних площадках вроде DHS Program.
 https://microdata.armstat.am
Отдельно — статистика Центрального банка: денежный рынок, финансы, макроряды. https://www.cba.am/en/statistics

📂 Открытые данные: гражданский каталог вместо госпортала
Роль национального каталога фактически играет команда Open Data Armenia.
• data.opendata.am — CKAN, 823 набора. Агрегирует госданные, науку и НКО: 8 организаций, крупнейший паблишер — сама Open Data Armenia (404 датасета), далее WorldPop, REC Caucasus, горная сеть Caucasus. Есть полноценный CKAN API.
 https://data.opendata.am

Рядом — прикладные источники, которых нет в «красивом каталоге»:
• ARMEPS — электронные закупки Минфина. В публичных отчётах — Excel по процедурам, заявкам и контрактам.
 https://armeps.am
• AirQuality.am — гражданский портал качества воздуха: PM1/PM2.5/PM10, температура и влажность, в том числе сенсоры мэрии Еревана. Есть JSON API и массовые выгрузки.
 https://airquality.am
• Armhydromet — гидрометеоцентр Минприроды: наблюдения сети станций, месячные данные, годовые сводки.
 https://meteomonitoring.am

🗺 Геоданные: кадастр, Севан, леса, недра
Здесь картина богаче, чем у многих соседей.
• Национальный геопортал (Комитет кадастра) — кадастр, адреса, ортофото, границы, рельеф, гидрография, транспорт. Это официальный NSDI-узел страны.
 https://geoportal.am
• EcoPortal Минприроды — слои по озеру Севан, гидрографии, землепокрову и климатическим рискам. Публикуется через GeoServer WMS.
 https://ecoportal.am
• Forest Atlas — интерактивный лесной атлас (MapBuilder Global Forest Watch), лицензия CC BY 4.0.
 https://forestatlas.am
• Геологический фонд — месторождения, паспорта шахт, лицензии на недра, интерактивная карта.
 https://www.geo-fund.am
• GIS Еревана — муниципальный ArcGIS Enterprise.
 https://gis.yerevan.am/portal
• Ecosystem Accounting of Armenia — NextGIS-каталог Центра сохранения биоразнообразия: землепокров, экосистемные услуги, слои InVEST.
 https://bccarmenia.nextgis.com

🔬 Наука
• ArVO / Бюракан — виртуальная обсерватория: оцифрованные пластины First Byurakan Survey и спектры, доступ через IVOA TAP.
 http://arvo-registry.sci.am/
• ArmLifeBank — биомедицина Института молекулярной биологии НАН: геномика, транскриптомика, клинические и мультиомные наборы на FAIRDOM-SEEK.
 https://armlifebank.am/
• OpenAIRE NOAD — цифровая библиотека Института проблем информатики НАН, OAI-PMH.
 https://noad.sci.am

⚠️ Что важно понимать
Госпортала открытых данных нет. Если нужен «единый вход» — это CKAN сообщества, а не data.gov.am.
Лучший официальный слой — Armstat + кадастр + Минприроды, не министерские витрины.

#opendata #armenia #datacatalogs #datasets

FAIRDOM-SEEK: каталоги научных данных, моделей и протоколов

FAIRDOM-SEEK — открытая платформа для описания, публикации и связывания научных активов: датасетов, моделей, SOP и вычислительных пайплайнов. Под капотом ISA-структура (investigation → study → assay), JSON API, DOI и форматы вроде RO-Crate. Сайт проекта: https://seek4science.org
Флагман сообщества — FAIRDOMHub: публичный хаб системной биологии, который ведут консорциум FAIRDOM и ELIXIR Germany. https://fairdomhub.org/

Рядом стоят специализированные инстансы того же стека:
• WorkflowHub — реестр вычислительных workflows (CWL и не только)
 https://workflowhub.eu/
• DataHub (ELIXIR Belgium) — метаданные экспериментов и брокеринг в репозитории EBI
 https://datahub.elixir-belgium.org/
• IBISBA Knowledge Hub — промышленная биотехнология
 https://hub.ibisba.eu/
• LiSyM SEEK — системы медицины печени
 https://seek.lisym.org/
• Leipzig Health Atlas — модели и клинические данные Лейпцига
 https://www.health-atlas.de/
• ArmLifeBank — биомедицинские данные Армении (геномика, клиника, мультиомика)
 https://armlifebank.am/

Отдельный пласт — Local Data Hub консорциума NFDI4Health: локальные SEEK-каталоги клиник и исследовательских центров Германии. Метаданные исследований можно публиковать в центральный Health Study Hub, а сами данные остаются у держателя.

Сейчас в этой сети, помимо Leipzig Health Atlas и MeDIZ.Rostock, открыты хабы:
• Stroke Unit Köln — https://ldh.stroke-koeln.imise.uni-leipzig.de/
 • UK Erlangen — https://ldh.uker.imise.uni-leipzig.de/
 • ZKS Leipzig — https://ldh.zks.uni-leipzig.de/
 • DZKJ Göttingen — https://ldh-dzkj.vm.gwdguser.de/
 • IMISE / Leipzig University — https://ldh.imise.uni-leipzig.de/
 • UK Schleswig-Holstein — https://ldh.uksh.imise.uni-leipzig.de/
 • UK Würzburg — https://ldh.uk-wuerzburg.imise.uni-leipzig.de/
 • DIZ Greifswald — https://ldh.diz-umg.imise.uni-leipzig.de/
 • LIR Mainz — https://ldh.lir-mainz.imise.uni-leipzig.de/
 • DRFZ Berlin — https://ldh.drfz.imise.uni-leipzig.de/
 • ZKS Freiburg — https://ldh.zks-freiburg.imise.uni-leipzig.de/
 • ZKS Hannover (MHH) — https://ldh.zks-mhh.imise.uni-leipzig.de/
 • ZKS Witten/Herdecke — https://ldh.zks-uwh.imise.uni-leipzig.de/
 • MeDIZ.Rostock — https://ldh.mediz-rostock.imise.uni-leipzig.de/

Итого: один общий движок и очень разные роли — от общеевропейского реестра workflows до клинических LDH, где публикуют не столько сырые персональные данные, сколько FAIR-метаданные исследований, протоколы и связанные файлы.

#opendata #researchdata #datasets #datacatalogs

Молдова: каталоги данных

В реестре 31 каталог по Молдове, 30 из них действуют. Четыре типа: открытые данные, геопорталы, статистические индикаторы и научные репозитории.

Открытые данные (6)

Правительственный портал открытых данных - https://dataset.gov.md, на CKAN. Второй CKAN ведёт Агентство электронного управления: https://dataset.live.egov.md.

Тематические витрины:
- госзакупки MTender в формате OCDS: https://mtender.gov.md
-внешняя помощь, платформа AMP: https://amp.gov.md/portal/
реестры интеллектуальной собственности AGEPI (патенты,
- товарные знаки, промышленные образцы): https://db.agepi.md
официальный монитор: https://monitorul.gov.md/

Геоданные (12)

Ядро национальной инфраструктуры пространственных данных у Агентства геодезии, картографии и кадастра:
- геопортал GEODATA (MapStore): https://www.geodata.gov.md
- каталог метаданных (GeoNetwork): https://geoportalinds.gov.md/geonetwork/
- GeoServer НИПД: https://geodata.gov.md/geoserver

ГИС местного уровня SIGSNL - https://sigsnl.gov.md, тоже MapStore и отдельный GeoServer.

Отраслевые и городские сервисы:
- интерактивная карта дорог https://harta.asd.md/ и GeoServer
- Национальной администрации дорог https://data.asd.md/geoserver
- кадастр недвижимости: https://map.cadastru.md/geoserver
- государственный водный кадастр: https://csa.gov.md/
слои архитектуры и землеустройства Кишинёва (ArcGIS): https://portal.dgaurf.md/arcgis/rest/services
- коммерческий GeoServer Royal Map: https://data.iharta.md/geoserver

Сервер Службы публичных экологических данных http://oikumena.md в реестре неактивен: хост больше не открывается.

Статистика (4)

Национальное бюро статистики ведёт банк таблиц Statbank на
PxWeb - https://statbank.statistica.md: ряды, выгрузки и API к каждой таблице. Индикаторы ЦУР выложены на

OpenSDG: https://statisticamd.github.io/sdg-site-moldova/.

Страница NSDP по стандарту распространения данных МВФ: http://www.statistica.md/SDDS/NSDP/.

Национальный банк публикует денежную, финансовую и макростатистику в генераторе отчётов: https://www.bnm.md/bdi/?lang=en

Наука (9)

Все девять записей - институциональные репозитории на DSpace.

Национальный уровень: библиотечное дело и информационные науки (Национальная библиотека, http://moldlis.bnrm.md) и экономические исследования Национального института экономических исследований (https://rses.ince.md).

Кишинёв:
- Молдавский госуниверситет - https://msuir.usm.md
- Технический университет - https://repository.utm.md
- Университет медицины и фармации им. Тестемицану - https://repository.usmf.md
- Академия экономических знаний (IREK) - https://irek.ase.md/xmlui
- Педуниверситет им. Крянгэ - https://dir.upsc.md
- Академия музыки, театра и изобразительных искусств - https://repository.amtap.md

Бельцы: архив госуниверситета им. Алеку Руссо - http://dspace.usarb.md:8080/xmlui

Коротко по ландшафту. Статистика и карты держатся на двух опорах - НБС и агентстве геодезии. Открытые данные разложены по нескольким порталам: общий CKAN, закупки, помощь доноров, интеллектуальная собственность. Научные материалы живут в вузовских DSpace: у каждого учреждения свой архив публикаций и диссертаций.

#opendata #moldova #eu #datacatalogs #datasets

Многие данные по странам сложно найти внутри страны, даже если они есть, то часто запрятаны или в таких формах что работать с ними требует дополнительных усилий, но они успешно собираются международными организациями. Например, не все знают про существование Food price monitoring and analysis (FPMA) tool специального инструмента сбора и раскрытия данных о ценах на ключевые продовольственные товары которые который предоставляет Продовольственная и сельскохозяйственная организация ООН (FAO).

Инструмент охватывает практически все страны, по развитым странам, в основном, предоставляя показатели национального покрытия. По развивающимся есть детализация до городов/регионов.

Состав продуктов тоже варьируется от страны к стране.

Данные обновляются ежемесячно, где-то с задержкой в полмесяца, где-то в 2 месяца, но для аналитики вполне достаточно. По некоторым странам мониторинг аж с начала 90 годов, по другим только за последние несколько лет.
Иначе говоря вариативность высокая, но все в едином формате, можно выгрузить напрямую и через API и использовать в некоммерческих целях под условиями CC-BY-NC-SA.

#opendata #statistics #datasets

Распределение геопорталов по популярности по странам

Одна картинка лучше тысячи слов ()

Больше всего в мире геопорталов на базе ArcGIS Server и ArcGIS Hub, но если смотреть по конкретным странам то картина меняется и в большинстве стран лидируют собственные вендоры ГИС систем, в некоторых странах SaaS платформы охватывает все [или почти все] муниципальные образования.

Заодно это о том что существующие поисковики вроде GeoSeer или Spatineo охватывающие только OGC и ArcGIS эндпоинты полной картины не дают потому что большая часть геокаталогов и геопорталов не поддерживают, и то, и то. В лучшем случае они покрывают 50% всех геоданных. Dateno пока тоже охватывает далеко не всё, но есть к чему стремиться.

#opendata #geodata #datasets #datacatalogs #dateno

🤖 Где искать датасеты для ИИ в России: обзор каталогов

Подборка российских каталогов данных для машинного обучения - от государственных реестров до исследовательских коллекций. Сохраняйте, пригодится 👇

🏛 Реестр наборов данных и моделей ИИ - registry.cit.gov.ru/datasets Официальный государственный реестр: датасеты и модели ИИ с описательными метаданными. Первый пункт, если нужны данные с госучастием.

🏙 Moscow AI Datasets - ai.mos.ru/datasets Анонимизированные данные Москвы для обучения моделей: мобильность населения, путевые листы ЖКХ, заявки на нестационарную торговлю.
Каталог открытый, есть сэмплы для скачивания.

🔬 Yandex Research Datasets - research.yandex.com/datasets Исследовательские датасеты Яндекса: бенчмарки для графового ML (GraphLand, гетерофильные графы), табличный ML с временным дрейфом (TabReD), данные для ранжирования. Золото для исследователей.

🎬 MSU Datasets Collection - videoprocessing.ai/datasets Коллекция лаборатории графики и медиа МГУ: базы качества видео с субъективными оценками (SAVAM, MSU CVQAD), артефакты JPEG AI, стерео-датасеты. Стандарт де-факто для бенчмарков видеокодеков.

🫁 MosMedData - mosmed.ai/datasets Аксиальные КТ-снимки грудной клетки (в том числе COVID-19), большинство случаев - с сериями срезов. Один из самых известных медицинских датасетов из России.

🏥 Medical Data Hub - medicaldatahub.ru/datasets Каталог медицинских данных для ML - дополнение к MosMed для тех, кто строит модели в медицине.

🔎 Бонус-трек - не совсем ML, но полезно:
▫️ OpenUrbanData (openurbandata.ru) - поисковик по источникам данных для городских исследований
▫️ DetCorpus (detcorpus.ru) - корпус русской детективной литературы для NLP-экспериментов
▫️ RusPsyData (ruspsydata.figshare.com) - данные и инструменты психологических исследований

#opendata #russia #ai #ml #datasets #datacatalogs

🌐 Национальные каталоги данных для машинного обучения

Пока все смотрят на Hugging Face, государства строят собственные платформы с датасетами для ИИ. Собрал самые значимые - все они есть в нашем реестре dataportals-registry (43 000+ каталогов данных со всего мира).

🇰🇷 Южная Корея - AI Hub
aihub.or.kr
Крупнейшая государственная платформа ИИ-данных: тысячи датасетов на корейском языке - речь, текст, компьютерное зрение. Оператор - агентство NIA при министерстве науки и ИКТ.

🇮🇳 Индия - AIKosh
aikosh.indiaai.gov.in
Репозиторий миссии IndiaAI (министерство электроники и IT): более 12 000 наборов данных, моделей и кейсов для разработки ИИ.

🇪🇺 Евросоюз - AI-on-Demand
catalogue.aiodp.eu
Единый каталог ИИ-активов Европы в рамках платформы AI4Europe: датасеты, библиотеки, инструменты и контейнеры.

🇺🇸 США - NAIRR Pilot
nairrpilot.org
Пилот Национального ресурса ИИ-исследований под руководством NSF: проверенные датасеты, предобученные модели и инструменты для исследований и образования.

🇯🇵 Япония - NICT AI Data Testbed
ai-data.nict.go.jp
Каталог национального института NICT: речь и язык, био- и нейроданные, атмосфера, космическая погода, кибербезопасность.

🇨🇳 Китай - BAAI Data Platform
data.baai.ac.cn
Платформа Пекинской академии ИИ с большими корпусами для обучения LLM. Рядом - целая экосистема: OpenDataLab, Tianchi, ModelScope.

🇷🇺 Россия - Реестр наборов данных и моделей ИИ
registry.cit.gov.ru/datasets
Публичный реестр датасетов для машинного обучения и моделей ИИ от ФГАУ «Цифровые индустриальные технологии».

Общее у всех: открытый доступ, государственная поддержка и ставка на данные для обучения моделей, а не просто «открытые данные для отчётности».

Полный список ML-каталогов (сегодня их 91) - в открытом реестре:
github.com/datenoio/dataportals-registry


#opendata #ai #ml #datacatalogs #datasets

Буквально вчера я вернулся из Астаны после участия в конференции AI&Digital Bridge. Конференция интересная, много новых знакомств и встреч с теми кого давно не видел. В том числе поучаствовал в панели про Телеком данные и их востребованность бизнесом, государством и обществом.

Я там участвовал от Open Data Armenia в ныне не такой уж частой для себя роли представителя общественного интереса.

Что хорошо, данные в Казахстане есть, их немало. Это касается в первую очередь не телеком данных, а геоданных, данных ряда государственных реестров и даже некоторых данных научных учреждений. Очень хорошо что в Казахстане прогресс в доступности данных есть и есть надежда что он будет ещё больше к следующему Digital Bridge.

А вот с данными телекома ключевая сложность в их чувствительности. Телеком операторы, не только в Казахстане, но и во многих странах предоставляют коммерческие аналитические и дата- продукты для потребителей этих данных, но гораздо реже и меньше эти данные доступны для исследователей, в задачах улучшения качества жизни.

Например, в Германии национальная статслужба DEStatis публикует данные Teralytics сопоставляющие официальные данные статистики и данные мобильных операторов.

В Эстонии доступна статистика по туризму на основе данных мобильных операторов.

В Финляндии на основе данных мобильных операторов исследователи собирают аггрегированные данные и пишут научные работы.

Для многих задач эти данные обладают высокой ценностью и в том числе той которую нельзя так просто измерить в денежном эквиваленте.

Я привожу в пример страны ЕС потому что здесь присутствует явная госполитика повышения доступности этих данных. Не обязательно в форме открытых продуктов, очень часто они стоят денег, но сам факт наличия возможности хотя бы узнать их стоимость и аттрибутивный состав уже начало открытости к этим и многим другим чувствительным данным.

Хочется надеяться что и в Казахстане будет явное движение в том чтобы телеком данные были доступны самым разным категориям пользователей.

#opendata #datasets #data #kazakhstan