Где искать данные исследователям?

- Mendeley Data - поисковик агрегатор по 26.9 миллионам наборов данных для исследователей от Elsevier, также отдают весь реестр по спецификации OAI-PMH
- DataCite Search - поиск по наборам данных публикуемых с DOI DataCite, около 8 миллионов наборов данных
- Dimensions Datasets - база Dimensions.ai, более 8 миллионов наборов данных проиндексированных CrossRef и упоминаемых в научных публикациях
- Google Dataset Search - поиск по наборам данных Google, использует поиск по объектам размеченным на страницах как Schema.org Dataset, много мусорных результатов из-за SEO оптимизаторов
- Re3Data - каталог научных репозиториев для данных по всему миру
- OpenAIRE - европейская система поиска по результатам научных исследований, включая исследовательские данные
- Dataverse - более 67 инсталляций ПО Dataverse используемых как научные репозитории для данных ведущими университетами по всему миру

Главный залог существования поиска по научным данным - это доступность данных академических центров в форматах пригодных для повторного использования и документирование метаданных, в первую очередь, в формате OAI-PHM

#opendata #researchdata

В рубрике как это устроено у них B2Find EUDAT [1] поисковик по научным данным в европейских репозиториях данных. Охватывает более 1 миллиона наборов данных, позволяет фильтровать по:
- языку
- временному промежутку
- формату
- организации
- году публикации
- ключевым словам
- научной дисциплине
и, в общей сложности, более чем 20 критериям.

Работает на базе движка с открытым кодом CKAN и использует его агрегационные механизмы.

Крупнейшие индексируемые репозитории:
- Nordic Archaeology [2]
- PANGAEA [3]
- DANS-EASY [4]
Всего репозиториев 36 на сегодняшний день.

Для агрегации используются стандарты метаданных:
- Datacite
- DublinCore
- OpenAire
- ISO 10115/19139 (INSPIRE)
- DDI 2.5
и собственная схема EUDAT Core Metadata Schema.

По формату проект нацелен на повышение находимости данных (data discovery) для научных целей.

По масштабу сравнимо с DataCite - поиск по 35 миллионам проиндексированных DOI для наборов данных и 17 миллионам наборов исследовательских данных в OpenAIRE.

Пока непонятно продолжится ли этот проект или все активности перешли/перейдут в OpenAIRE, но B2Find остаётся как пример большого поисковика по научным данным.

Ссылки:
[1] http://b2find.eudat.eu/
[2] http://b2find.eudat.eu/organization/nordicar
[3] http://b2find.eudat.eu/organization/pangaea
[4] http://b2find.eudat.eu/organization/danseasy

#opendata #researchdata #openaccess #datasets #search

В рубрике интересных продуктов на данных SemOpenAlex [1] граф знаний на 26 миллиардов RDF triples с базой из более чем 249 миллионов научных работ от 135 миллионов авторов и из 226 тысяч источников.

Проект включает открытое API и возможность скачать дамп целиком [2].

Данные и API доступны под лицензией CC0 и имеют множество возможных применений во всём что касается картирования науки и научной деятельности.

Ссылки:
[1] https://semopenalex.org
[2] https://semopenalex.org/resource/?uri=http%3A%2F%2Fdatasets.metaphacts.com%2Fsemopenalex

#opendata #datasets #researchdata #science #semanticdata

В рубрике интересных наборов данных Scans.io Stanford Internet Research Data Repository [1] коллекция больших наборов данных по инфраструктуре Интернета полученные путём сканирования всех доступных подсетей. Наборы данных там существуют, как созданные в Стенфордском университете, так и коммерческих компаний таких как Rapid7 и Censys.

Часть общедоступны, можно скачать сразу. Для доступа к данным от Rapid7 теперь уже какое-то время требуется написать им обоснование и рассказ о том для какого исследования Вам это нужно [2], а Censys уже давно большой коммерческий проект и к небольшой части своих данных они дают доступ через облако Google [3].

Применение у этих данных может быть не только в задачах инфобеза/кибербеза, но и в целях разного рода инструмента исследования инфрастурктуры. Или, например, data discovery. Многие из порталов данных мне удавалось найти через анализ базу DNS записей.

Ссылки:
[1] https://scans.io
[2] https://opendata.rapid7.com
[3] https://support.censys.io/hc/en-us/articles/360038761891-Research-Access-to-Censys-Data

#opendata #datasets #networksecurity #researchdata

В рубрике интересных наборов данных Data Citation Corpus [1] от Datacite появился в рамках проекта Make Data Count. Сами данные владельцы пока не отдают в свободный оборот, надо заполнить форму запроса на использование [2], но для исследовательских проектов это не должно быть помехой.

Также, у набора данных есть дашборд с визуализацией [3].

Проект любопытный, на нём можно построить гораздо более интересную аналитику чем то что сейчас предоставляет DataCite.

Ссылки:
[1] https://makedatacount.org/data-citation/
[2] https://docs.google.com/forms/d/e/1FAIpQLSd1l7ovTQs3EMw9mz4HFaVB2SuUQ8Z8FldoCDgvD74GV-vh0Q/viewform
[3] http://corpus.datacite.org/dashboard

#opendata #data #openaccess #researchdata

К вопросу о том где и как искать данные и что такое каталоги данных, есть отдельная категория каталогов данных в виде репозиториев результатов научной деятельности в которых чего только нет, но обычно это статьи, диссертации, магистерские работы, книги и реже медиафайлы и курсы. Но там бывают и данные, чаще всего их доля не очень велика, если это не специализированный репозиторий именно для данных.

Университеты таким образом публикующие данные, чаще всего используют продукты вроде DSpace, Eprints, Elsevier Pure и ещё ряд других, менее популярных.

Ключевой вопрос включать ли их все в реестр каталогов Dateno? Если да, то по каким критериям? По числу датасетов? По доле датасетов от общей доли публикации? По потенциальной возможности что датасеты там могут появится в будущем?

Вот живой пример Архив открытого доступа Санкт-Петербургского государственного университета [1], один из немногих и возможно крупнейший ресурс раскрытия публикаций университетов в России. Всего в нём сейчас 47619 публикаций. И это не то чтобы мало, даже много. Но из них всего 17 публикаций являются наборами данных и помечены как тип Dataset. Это 0.03% от общего числа публикаций. Можно ли его считать каталогом открытых данных или нет? Добавлю что ещё и то что инсталляции DSpace без доп настроек не дают поиска по типу ресурса и чтобы найти даже эти 17 датасетов пришлось скачать метаданных все 47+ тысяч записей.

А также добавлю что есть множество репозиториев научных публикаций где датасетов совсем нет, это почти все репозитории публикаций в Армении, в Казахстане и многие репозитории российских университетов.

Но ведь данные там появится могут, так что же регулярно проверять что там данные появились и только тогда вносить их как каталоги данных?

Ссылки:
[1] https://dspace.spbu.ru
[2] https://dspace.spbu.ru/handle/11701/17114?mode=full

#opendata #openaccess #researchdata #datasets

В рубрике как это устроено у них портал открытых научных данных Швеции Researchdata.se

Был запущен в марте 2025 года, сейчас включает 6362 наборов данных преимущественно в виде таблиц, текстов и геоданных.

Более половины данных происходят из области естественных наук, много лингвистических данных из Språkbanken Text.

Не все данные размещены на самом портале, многие ведут на оригинальные публикации в национальных и международных репозиториях данных.

Шведы не единственные кто создает национальные агрегаторы научных данных, в некоторых странах существуют агрегаторы любых результатов научной деятельности (Евросоюз, Германия), в других именно данных (Китай, Венгрия).

#opendata #data #datasets #researchdata #sweden

Научные данные России: с чего начинать

Земля, океан, климат

ЕСИМО — http://esimo.ru
 Тема: океан, метеорология, гидрология.
 Ценность: единая государственная система Росгидромета об обстановке в Мировом океане — официальный контур морских и гидрометеоданных, а не институтский архив.

Всемирный центр данных по метеорологии (Обнинск) — http://meteo.ru/mcd/ewdcmet.html
 Тема: метеорология.
 Ценность: российский узел сети World Data Centres: сбор и распространение метеоданных внутри страны и в международном обмене (ВНИИГМИ–МЦД).

Всемирный центр радиационных данных (WRDC) — http://wrdc.mgo.rssi.ru/
 Тема: климат, солнечная радиация.
 Ценность: один из шести мировых центров программы GAW ВМО; архив актинометрических наблюдений ГГО им. Воейкова.

Всемирный центр данных по солнечно-земной физике (Москва) — http://www.wdcb.ru/stp/index.en.html
 Тема: геофизика, космос.
 Ценность: архив наблюдений солнечно-земной физики Геофизического центра РАН.

Геомагнитный центр ГЦ РАН — https://geomag.gcras.ru/
 Тема: геомагнетизм.
 Ценность: данные обсерваторий INTERMAGNET по России и ближнему зарубежью, плюс спутниковые продукты (система MAGNUS).

Астрономия и физика

Центр астрономических данных ИНАСАН — https://www.inasan.ru/en/divisions/dpss/cad/
 Тема: астрономия.
 Ценность: с 1980 года российский филиал CDS Strasbourg; каталоги звёзд, переменных и двойных систем для отечественной астрономии.

SPECTR-W3 — http://spectr-w3.snz.ru/index.phtml
 Тема: атомная спектроскопия, физика плазмы.
 Ценность: одна из крупнейших баз по спектрам атомов и высокозарядных ионов (РФЯЦ–ВНИИТФ): уровни, линии, вероятности переходов, сечения.

Биоразнообразие и коллекции

Российский GBIF IPT — http://gbif.ru:8080/ipt/
 Тема: биоразнообразие.
 Ценность: национальный узел публикации occurrence-данных в GBIF (ИМПБ РАН / ИПМ им. Келдыша).

«Ноев ковчег», МГУ — https://depo.msu.ru/ipt/
 Тема: живые системы, биоматериалы.
 Ценность: депозитарий МГУ — от молекул до организмов; наборы публикуются в GBIF.

IPT ЗИН РАН и БИН РАН — https://ipt.zin.ru
 Тема: зоология и ботаника.
 Ценность: данные крупнейших академических коллекций — Зоологического и Ботанического институтов РАН.

IPT Института океанологии им. Ширшова — https://gbif.ocean.ru/ipt/
 Тема: морская биология.
 Ценность: встречи, плотность и биомасса видов с экспедиций ИО РАН.

Молекулярная биология (российские базы мирового уровня)

CSDB — https://csdb.glycoscience.ru/database/
 Тема: гликомика.
 Ценность: курируемая база природных углеводных структур с таксономией, литературой и ЯМР (ИОХ РАН).

GTRD — https://gtrd.biouml.org/
 Тема: регуляция транскрипции.
 Ценность: сайты связывания транскрипционных факторов по ChIP-seq для человека и мыши.

HOCOMOCO — https://hocomoco11.autosome.org/
 Тема: геномика, мотивы ДНК.
 Ценность: модели связывания 680 человеческих и 453 мышиных транскрипционных факторов (PWM по ChIP-seq из GTRD).

VDJdb — https://vdjdb.com/
 Тема: иммунология, TCR.
 Ценность: курируемая база Т-клеточных рецепторов с известной антигенной специфичностью (ИБХ РАН).

EpiFactors — https://epifactors.autosome.org/
 Тема: эпигенетика.
 Ценность: белки и комплексы эпигенетической регуляции плюс экспрессия в клетках, раковых линиях и тканях (МФТИ).

Медицина и ML

MosMedData — https://mosmed.ai/datasets
 Тема: медицинская визуализация.
 Ценность: открытые КТ-наборы (в т.ч. COVID-19) Центра диагностики и телемедицины ДЗМ — готовые датасеты для обучения моделей.

Medical Data Hub — https://medicaldatahub.ru/datasets/
 Тема: медицинские датасеты для ML.
 Ценность: каталог медицинских наборов под машинное обучение.

Гуманитаристика, соцнауки, вузы

Dataverse Пушкинского Дома — https://dataverse.pushdom.ru
 Тема: русская литература и фольклор.
 Ценность: открытые исследовательские данные ИРЛИ РАН с DOI.

Репозиторий психологических данных — https://ruspsydata.figshare.com
 Тема: психология.
 Ценность: данные и инструменты исследований МГППУ.

DSpace СПбГУ — https://dspace.spbu.ru
 Тема: университетский репозиторий.
 Ценность: публикации, диссертации и датасеты сообщества СПбГУ (есть API DSpace 7).

#opendata #datasets #russia #researchdata

FAIRDOM-SEEK: каталоги научных данных, моделей и протоколов

FAIRDOM-SEEK — открытая платформа для описания, публикации и связывания научных активов: датасетов, моделей, SOP и вычислительных пайплайнов. Под капотом ISA-структура (investigation → study → assay), JSON API, DOI и форматы вроде RO-Crate. Сайт проекта: https://seek4science.org
Флагман сообщества — FAIRDOMHub: публичный хаб системной биологии, который ведут консорциум FAIRDOM и ELIXIR Germany. https://fairdomhub.org/

Рядом стоят специализированные инстансы того же стека:
• WorkflowHub — реестр вычислительных workflows (CWL и не только)
 https://workflowhub.eu/
• DataHub (ELIXIR Belgium) — метаданные экспериментов и брокеринг в репозитории EBI
 https://datahub.elixir-belgium.org/
• IBISBA Knowledge Hub — промышленная биотехнология
 https://hub.ibisba.eu/
• LiSyM SEEK — системы медицины печени
 https://seek.lisym.org/
• Leipzig Health Atlas — модели и клинические данные Лейпцига
 https://www.health-atlas.de/
• ArmLifeBank — биомедицинские данные Армении (геномика, клиника, мультиомика)
 https://armlifebank.am/

Отдельный пласт — Local Data Hub консорциума NFDI4Health: локальные SEEK-каталоги клиник и исследовательских центров Германии. Метаданные исследований можно публиковать в центральный Health Study Hub, а сами данные остаются у держателя.

Сейчас в этой сети, помимо Leipzig Health Atlas и MeDIZ.Rostock, открыты хабы:
• Stroke Unit Köln — https://ldh.stroke-koeln.imise.uni-leipzig.de/
 • UK Erlangen — https://ldh.uker.imise.uni-leipzig.de/
 • ZKS Leipzig — https://ldh.zks.uni-leipzig.de/
 • DZKJ Göttingen — https://ldh-dzkj.vm.gwdguser.de/
 • IMISE / Leipzig University — https://ldh.imise.uni-leipzig.de/
 • UK Schleswig-Holstein — https://ldh.uksh.imise.uni-leipzig.de/
 • UK Würzburg — https://ldh.uk-wuerzburg.imise.uni-leipzig.de/
 • DIZ Greifswald — https://ldh.diz-umg.imise.uni-leipzig.de/
 • LIR Mainz — https://ldh.lir-mainz.imise.uni-leipzig.de/
 • DRFZ Berlin — https://ldh.drfz.imise.uni-leipzig.de/
 • ZKS Freiburg — https://ldh.zks-freiburg.imise.uni-leipzig.de/
 • ZKS Hannover (MHH) — https://ldh.zks-mhh.imise.uni-leipzig.de/
 • ZKS Witten/Herdecke — https://ldh.zks-uwh.imise.uni-leipzig.de/
 • MeDIZ.Rostock — https://ldh.mediz-rostock.imise.uni-leipzig.de/

Итого: один общий движок и очень разные роли — от общеевропейского реестра workflows до клинических LDH, где публикуют не столько сырые персональные данные, сколько FAIR-метаданные исследований, протоколы и связанные файлы.

#opendata #researchdata #datasets #datacatalogs