Сколько вообще в мире порталов с общедоступными данными? Я всё пополняю реестр каталогов данных в рамках Common Data Index [1] и статистики всё больше, понимание что ещё много осталось неохваченного тоже, но тем не мене.
Итак:
- 1508 внесенных каталогов данных и 497 найденных и ещё не систематизированных. Вместе около 2005
- 450 порталов на базе CKAN, самое популярное решение для порталов с открытыми данными
- 208 порталов Geonetwork, самый популярный каталог геоданных в мире. Не всегда там сами данные, иногда только метаданные. Размеры каталогов варьируются от 2 до 500 тысяч датасетов
- 178 порталов на базе облачного сервиса ArcGIS Hub. Это геосервис от ArcGIS позиционируемый как SaaS портал открытых данных
- 169 порталов на базе Geoserver, как правило не видных снаружи, но очень активно используемых
- 103 каталога научных данных на базе Dataverse
- 78 порталов на базе коммерческого продукта OpenDataSoft
- 63 портала на базе коммерческого продукта Socrata
- 58 порталов Geonode, упрощённого каталога геоданных. Он проще чем Geonetwork, но уже содержит ряд методанных о слоях
- 52 портала на базе опенсорсного каталога микроданных NADA
- 44 инсталляции ПО DKAN, аналог CKAN написанный на PHP и Drupal. Опенсорсный продукт
- 33 инсталляции PxWeb, ПО для публикации статистических индикаторов
- 21 научный портал данных на базе облачного сервиса Figshare
и не менее 247 порталов работающих на собственных разработках. Про Россию однозначно можно говорить про бесконечное изобретение велосипедов, типовое ПО используется крайне редко, международные стандарты метаданных почти не поддерживаются. Это касается и открытых данных и геоданных.
По числу порталов открытых данных и геокаталогов примерно поровну. По числу наборов данных геоданных многократно больше. По объёмам, наибольшего размера научные данные.
Ссылки:
[1] https://github.com/commondataio/dataportals-registry
#opendata #datasets #data #commondataindex
Итак:
- 1508 внесенных каталогов данных и 497 найденных и ещё не систематизированных. Вместе около 2005
- 450 порталов на базе CKAN, самое популярное решение для порталов с открытыми данными
- 208 порталов Geonetwork, самый популярный каталог геоданных в мире. Не всегда там сами данные, иногда только метаданные. Размеры каталогов варьируются от 2 до 500 тысяч датасетов
- 178 порталов на базе облачного сервиса ArcGIS Hub. Это геосервис от ArcGIS позиционируемый как SaaS портал открытых данных
- 169 порталов на базе Geoserver, как правило не видных снаружи, но очень активно используемых
- 103 каталога научных данных на базе Dataverse
- 78 порталов на базе коммерческого продукта OpenDataSoft
- 63 портала на базе коммерческого продукта Socrata
- 58 порталов Geonode, упрощённого каталога геоданных. Он проще чем Geonetwork, но уже содержит ряд методанных о слоях
- 52 портала на базе опенсорсного каталога микроданных NADA
- 44 инсталляции ПО DKAN, аналог CKAN написанный на PHP и Drupal. Опенсорсный продукт
- 33 инсталляции PxWeb, ПО для публикации статистических индикаторов
- 21 научный портал данных на базе облачного сервиса Figshare
и не менее 247 порталов работающих на собственных разработках. Про Россию однозначно можно говорить про бесконечное изобретение велосипедов, типовое ПО используется крайне редко, международные стандарты метаданных почти не поддерживаются. Это касается и открытых данных и геоданных.
По числу порталов открытых данных и геокаталогов примерно поровну. По числу наборов данных геоданных многократно больше. По объёмам, наибольшего размера научные данные.
Ссылки:
[1] https://github.com/commondataio/dataportals-registry
#opendata #datasets #data #commondataindex
GitHub
GitHub - commondataio/dataportals-registry: Registry of data portals, catalogs, data repositories including data catalogs dataset…
Registry of data portals, catalogs, data repositories including data catalogs dataset and catalog description standard - commondataio/dataportals-registry
Часть 2 из 2.
—
4) Во многих африканских странах нет никаких других открытых данных кроме порталов микроданных (явно созданных при поддержке Всемирного банка и других институтов развития) и порталов геоданных, многие из которых также созданы на деньги международной помощи.
5) Количественно открытых государственных данных более всего в Европейском союзе, по объёму в США. При этом стремительный рост порталов открытых данных в Азии, в Китае с акцентом на инновации и бизнес, в других странах на открытость гос-ва, подотчетность и тд.
6) Порталы данных создают даже министерства обороны некоторых стран. В Чехии есть [3] и в США [4]. Немного, но есть.
7) Есть какая-то понятная корреляция между развитием экономики стран и доступностью их данных, но это надо изучать подробнее.
8) Есть очень большая проблема с отсутствием сетевой нейтральности. Например, российские сайты с данными не открываются не из России, многие сайты с госданными США не открываются не из США (даже IP в Германии или Франции не срабатывает), аналогично с некоторыми бразильскими сайтами и тд. Реже, но так бывает когда на сайте прямо сказано что блокируется всё не из их страны. Например, такое сообщение есть на портале данных спутниковых снимков Нидерладов [5]. А также на корейском портале AI Hub [6] открытым текстом пишут что только для корейцев
--
И ещё довольно много всего, я буду рассказывать об этом время от времени
Ссылки:
[1] https://begtin.substack.com
[2] https://github.com/commondataio/dataportals-registry
[3] https://data.army.cz
[4] https://data.defense.gov
[5] https://www.satellietdataportaal.nl
[6] https://aihub.or.kr
#opendata #commondataindex #datacatalogs #dataportals #datasets
—
4) Во многих африканских странах нет никаких других открытых данных кроме порталов микроданных (явно созданных при поддержке Всемирного банка и других институтов развития) и порталов геоданных, многие из которых также созданы на деньги международной помощи.
5) Количественно открытых государственных данных более всего в Европейском союзе, по объёму в США. При этом стремительный рост порталов открытых данных в Азии, в Китае с акцентом на инновации и бизнес, в других странах на открытость гос-ва, подотчетность и тд.
6) Порталы данных создают даже министерства обороны некоторых стран. В Чехии есть [3] и в США [4]. Немного, но есть.
7) Есть какая-то понятная корреляция между развитием экономики стран и доступностью их данных, но это надо изучать подробнее.
8) Есть очень большая проблема с отсутствием сетевой нейтральности. Например, российские сайты с данными не открываются не из России, многие сайты с госданными США не открываются не из США (даже IP в Германии или Франции не срабатывает), аналогично с некоторыми бразильскими сайтами и тд. Реже, но так бывает когда на сайте прямо сказано что блокируется всё не из их страны. Например, такое сообщение есть на портале данных спутниковых снимков Нидерладов [5]. А также на корейском портале AI Hub [6] открытым текстом пишут что только для корейцев
--
И ещё довольно много всего, я буду рассказывать об этом время от времени
Ссылки:
[1] https://begtin.substack.com
[2] https://github.com/commondataio/dataportals-registry
[3] https://data.army.cz
[4] https://data.defense.gov
[5] https://www.satellietdataportaal.nl
[6] https://aihub.or.kr
#opendata #commondataindex #datacatalogs #dataportals #datasets
Substack
Ivan’s Begtin Newsletter on digital, open and preserved government | Ivan Begtin | Substack
Digital government can't be without openness, preservation, plain language and data, for sure. Click to read Ivan’s Begtin Newsletter on digital, open and preserved government, by Ivan Begtin, a Substack publication with hundreds of subscribers.
Я тут задумался о KPI которые должны/могут быть у поисковика по данным, если рассматривать его как глобальный, причём эти критерии могут существенно как пересекаться так и давать разные направления усилий.
Например, критерий разнообразности. То что данные данные должны быть разных типов: госданные, открытые геоданные, научные данные, микроданные, данные для ML, точки подключения API и тд. Максимально широкий охват данных по типам. Требует поиска каталогов с разными типами данных и их индексации
Или критерий географической полноты, так чтобы поиск позволял найти данные по условно любой страны из условно любой страны, даже маленьких тихоокеанских государств. Здесь надо обыскать порталы всех стран на предмет каталогов данных и уметь извлекать страновую принадлежность у датасетов из общемировых каталогов.
Или критерий масштаба, когда чем больше данных тем лучше. Тогда надо не гоняться за наибольшим числом порталов данных, где может быть даже по 3-5 датасетов, а целенаправленно индексировать вначале крупнейшие. Чем больше каталог тем приоритетнее он должен быть.
Или критерий количественный, когда важно не то сколько наборов данных, а то сколько источников данных. Обогнать все имеющиеся каталоги порталов данных и быть наиболее полным из них, с поиском не только по датасетам, но и просто по метаданным каталога каталогов.
Или критерий полноты возможностей, когда важно то сколько фасетов можно задать в поиске, так чтобы не только по типу каталога или лицензии, но и по стране, территории, научным дисциплинам, темам, макрорегионам, форматам, и так далее.
Или критерий глубины, когда поиск идёт не только по ключевым полям, но и создаются индексы поиска по организациям публикующим данные, по полям данных. Здесь же находится интеграция с другими источниками, например, базами научного цитирования.
Или критерий скорости, так чтобы средний поисковый запрос шёл не более 100 миллисекунд или меньшее или чуть большее время.
И таких критериев ещё немало. Эти, пожалуй, главные. Чем больше делаешь фокус на один, тем меньше времени и возможности уделить остальным. Но какие-то акценты на развитии необходимы, ключевое тут в том кто пользователи и что им нужно.
Я регулярно буду рассказывать про проект Common Data Index, реестр каталогов данных и открытый поисковик по всем доступным открытым данным в мире.
#opendata #datasets #commondataindex
Например, критерий разнообразности. То что данные данные должны быть разных типов: госданные, открытые геоданные, научные данные, микроданные, данные для ML, точки подключения API и тд. Максимально широкий охват данных по типам. Требует поиска каталогов с разными типами данных и их индексации
Или критерий географической полноты, так чтобы поиск позволял найти данные по условно любой страны из условно любой страны, даже маленьких тихоокеанских государств. Здесь надо обыскать порталы всех стран на предмет каталогов данных и уметь извлекать страновую принадлежность у датасетов из общемировых каталогов.
Или критерий масштаба, когда чем больше данных тем лучше. Тогда надо не гоняться за наибольшим числом порталов данных, где может быть даже по 3-5 датасетов, а целенаправленно индексировать вначале крупнейшие. Чем больше каталог тем приоритетнее он должен быть.
Или критерий количественный, когда важно не то сколько наборов данных, а то сколько источников данных. Обогнать все имеющиеся каталоги порталов данных и быть наиболее полным из них, с поиском не только по датасетам, но и просто по метаданным каталога каталогов.
Или критерий полноты возможностей, когда важно то сколько фасетов можно задать в поиске, так чтобы не только по типу каталога или лицензии, но и по стране, территории, научным дисциплинам, темам, макрорегионам, форматам, и так далее.
Или критерий глубины, когда поиск идёт не только по ключевым полям, но и создаются индексы поиска по организациям публикующим данные, по полям данных. Здесь же находится интеграция с другими источниками, например, базами научного цитирования.
Или критерий скорости, так чтобы средний поисковый запрос шёл не более 100 миллисекунд или меньшее или чуть большее время.
И таких критериев ещё немало. Эти, пожалуй, главные. Чем больше делаешь фокус на один, тем меньше времени и возможности уделить остальным. Но какие-то акценты на развитии необходимы, ключевое тут в том кто пользователи и что им нужно.
Я регулярно буду рассказывать про проект Common Data Index, реестр каталогов данных и открытый поисковик по всем доступным открытым данным в мире.
#opendata #datasets #commondataindex
Большое обновление порталов данных в Common Data Index. Теперь их 3692, это в 1.5. раза больше чем было ещё совсем недавно. Выбирая между качеством метаданных и широтой охвата я выбрал широту и в итоге записи в реестре разделены на две ветви: обычные записи и записи с ограниченными метаданными с временными идентификаторами. Для первых почти все метаданные заполнены и курируются, для вторых есть только те метаданные что можно получить автоматически: ссылка, тип ПО, точки подключения к API, язык и страна. По некоторым странам таких временных записей более половины и чаще всего это записи каталогов с геоданными, на базе ArcGIS server или Geoserver. Напомню что реестр доступен на registry.commondata.io
А также в реестре огромное обновление всех доступных документированных и недокументированных точек подключения к API, почти для каждой записи все возможные API. Многие каталоги данных одновременно поддерживают многие режимы доступа DCAT, CSW, OAI-PMH и другое.
Одна из целей реестра каталогов данных достигнута, охвачены каталоги данных практически всех стран мира и практически всех видов данных и типов каталогов.
#opendata #datacatalogs #commondataindex
А также в реестре огромное обновление всех доступных документированных и недокументированных точек подключения к API, почти для каждой записи все возможные API. Многие каталоги данных одновременно поддерживают многие режимы доступа DCAT, CSW, OAI-PMH и другое.
Одна из целей реестра каталогов данных достигнута, охвачены каталоги данных практически всех стран мира и практически всех видов данных и типов каталогов.
#opendata #datacatalogs #commondataindex
Про реестр каталогов данных Common Data Index и будущий поиск по ним я регулярно рассказываю и сейчас продолжу. Сейчас в реестре чуть менее 5000 каталогов с данными, количественно более всего каталогов с геоданными чаще всего представленных в виде серверов ArcGIS и Geoserver, по объему сейчас собранных данных более всего открытых данных с некоторыми оговорками.
1) Если внести все имеющиеся в листе ожидания инсталляции ArcGIS Server и ArcGIS Hub то реестр моментально превратится в каталог геокаталогов поскольку только в США у госорганов около 5 тысяч открытых инсталляций ArcGIS Server и у ещё по всему миру около 20 тысяч сайтов у SaaS сервиса ArcGIS Hub. Даже если их пофильтровать и убрать пустые и недоступные то останется не меньше 5 тысяч. Я до сих пор думаю что с этим делать поскольку превращать реестр каталогов данных в реестр каталогов геоданных совсем не было планов:) Но возможно придётся, или придётся его разделять. Не перестаю повторять что геоданных, количественно, в мире более всего, главное правильно искать
2) Для геоданных почти всё свелось к стандартам Open Geospatial Consortium (CSW, WFS, WMS, WCS, WMTS, WPS и др.). Большая часть геопорталов работает по этим стандартам и даже у ArcGIS серверов экспортируются данные по этим протоколам, хотя это и не все знают и это не вынесено в интерфейс REST API, но по факту есть.
3) Очень мало сертифицированных общедоступных каталогов данных с проверкой их качества. Только CoreTrustSeal и несколько научных сертификаций. В лучшем случае они охватывают 200-300 каталогов научных данных, а во всех остальных случаях нет ни методик, ни тех кто проверяет, ни стандартов проверки и тд. Отделить доверенные репозитории от недоверенных требует отдельно методики.
4) Более 90 видов ПО для открытых каталогов данных не считая in-house разработок. При этом не всё специализированно каталоги данных, например, реестры наборов данных часть систем раскрытия научных результатов. С одной стороны это очень много, с другой стороны больше проблем не с их разнообразием, а с очень разным качеством ведения метаданных.
5) Из всех видов каталогов данных только CKAN идентифицируется инструментами вроде BuiltWith. Буквально все остальные там не находятся и, в принципе, при том что BuiltWith лидер этого рынка данных по технологиям в вебе, видно что они сфокусировались только на быстро монетизируемых частях продукта, а альтернативы им и того хуже. В общем нехватает хороших technology discovery инструментов
6) Открытые научные данные наиболее очевидно монетизируемые как минимум гигантами вроде Elsevier с их продуктом Data Monitor. И это отдельная большая научного комплаенса который крупные игроки научной инфраструктуры сейчас продают помогая мониторить соблюдения требований научных регуляторов.
#opendata #datacatalogs #thoughts #commondataindex
1) Если внести все имеющиеся в листе ожидания инсталляции ArcGIS Server и ArcGIS Hub то реестр моментально превратится в каталог геокаталогов поскольку только в США у госорганов около 5 тысяч открытых инсталляций ArcGIS Server и у ещё по всему миру около 20 тысяч сайтов у SaaS сервиса ArcGIS Hub. Даже если их пофильтровать и убрать пустые и недоступные то останется не меньше 5 тысяч. Я до сих пор думаю что с этим делать поскольку превращать реестр каталогов данных в реестр каталогов геоданных совсем не было планов:) Но возможно придётся, или придётся его разделять. Не перестаю повторять что геоданных, количественно, в мире более всего, главное правильно искать
2) Для геоданных почти всё свелось к стандартам Open Geospatial Consortium (CSW, WFS, WMS, WCS, WMTS, WPS и др.). Большая часть геопорталов работает по этим стандартам и даже у ArcGIS серверов экспортируются данные по этим протоколам, хотя это и не все знают и это не вынесено в интерфейс REST API, но по факту есть.
3) Очень мало сертифицированных общедоступных каталогов данных с проверкой их качества. Только CoreTrustSeal и несколько научных сертификаций. В лучшем случае они охватывают 200-300 каталогов научных данных, а во всех остальных случаях нет ни методик, ни тех кто проверяет, ни стандартов проверки и тд. Отделить доверенные репозитории от недоверенных требует отдельно методики.
4) Более 90 видов ПО для открытых каталогов данных не считая in-house разработок. При этом не всё специализированно каталоги данных, например, реестры наборов данных часть систем раскрытия научных результатов. С одной стороны это очень много, с другой стороны больше проблем не с их разнообразием, а с очень разным качеством ведения метаданных.
5) Из всех видов каталогов данных только CKAN идентифицируется инструментами вроде BuiltWith. Буквально все остальные там не находятся и, в принципе, при том что BuiltWith лидер этого рынка данных по технологиям в вебе, видно что они сфокусировались только на быстро монетизируемых частях продукта, а альтернативы им и того хуже. В общем нехватает хороших technology discovery инструментов
6) Открытые научные данные наиболее очевидно монетизируемые как минимум гигантами вроде Elsevier с их продуктом Data Monitor. И это отдельная большая научного комплаенса который крупные игроки научной инфраструктуры сейчас продают помогая мониторить соблюдения требований научных регуляторов.
#opendata #datacatalogs #thoughts #commondataindex
Теперь уже 7055 каталогов данных в реестре каталогов данных registry.commondata.io из которых как минимум 5393 потенциально индексируемых в поиск. Много это или мало? Много. В dataportals.org всего 598 порталов, в Datashades.info 530 инсталляций CKAN, в re3data.org 3125 порталов научных данных.
Самое сложное - это собирать описания всех записей, а для этого нужны метрики качества. Для любого дата проекта нужны метрики качества и автоматизация их улучшения.
Вот в данном случае это референсная база данных, не транзакционная, а справочная для любых других проектов по систематизации данных. Полнота метаданных имеет значение и поэтому метрики именно про эту полноту: есть ли какое-то поле, ненулевое ли оно и так далее.
Вот чего не хватает так это простой системы метрик которую можно было бы пристыковать к базе данных в виде СУБД или в виде CSV/NDJSON файла.
Существующие движки оценки и мониторинга качества данных не подходят. Какие существуют альтернативы кроме как изобретать свой велосипед?
#opendata #datatools #metadata #datacatalogs #commondataindex
Самое сложное - это собирать описания всех записей, а для этого нужны метрики качества. Для любого дата проекта нужны метрики качества и автоматизация их улучшения.
Вот в данном случае это референсная база данных, не транзакционная, а справочная для любых других проектов по систематизации данных. Полнота метаданных имеет значение и поэтому метрики именно про эту полноту: есть ли какое-то поле, ненулевое ли оно и так далее.
Вот чего не хватает так это простой системы метрик которую можно было бы пристыковать к базе данных в виде СУБД или в виде CSV/NDJSON файла.
Существующие движки оценки и мониторинга качества данных не подходят. Какие существуют альтернативы кроме как изобретать свой велосипед?
#opendata #datatools #metadata #datacatalogs #commondataindex