В рубрике интересных наборов данных портал CanWin [1] созданный на базе системы управления данными с открытым кодом CKAN и на котором опубликовано 64 набора данных по 17 проектам относящимся к наблюдению за водными поверхностями осуществляемыми Центром наук наблюдения за Землёй Университета Манитоба, Канада.
От классического портала данных его отличает значительно более развитая система метаданных связанными с каждым набором данных, наличие ссылки для научного цитирования, включая присвоение DOI, вырузка данных единым пакетом данных и экспорт метаданных во многих форматах.
Похоже CKAN как продукт активно развивается в сторону применения его в задачах открытого доступа и научных порталов данных.
Ссылки:
[1] https://canwin-datahub.ad.umanitoba.ca/
#opendata #ckan #openaccess
От классического портала данных его отличает значительно более развитая система метаданных связанными с каждым набором данных, наличие ссылки для научного цитирования, включая присвоение DOI, вырузка данных единым пакетом данных и экспорт метаданных во многих форматах.
Похоже CKAN как продукт активно развивается в сторону применения его в задачах открытого доступа и научных порталов данных.
Ссылки:
[1] https://canwin-datahub.ad.umanitoba.ca/
#opendata #ckan #openaccess
В рубрике как это работает у них, портал открытых данных Таиланда data.go.th [1] малоизвестный за пределами англо-читающей среды поскольку, как и в большинстве азиатских стран, почти все материалы на нём и о нём на тайском языке.
Портал включает 9 732 набора данных, сделан на движке управления открытыми данными с открытым кодом CKAN и был бы в целом не очень примечателен если бы не системный подход. Вся инициатива по открытости в Таиланде чётко систематизирована, задокументирована, описана с процессной точки зрения и внедряется как полноценная государственная информационная система, а не какой-то побочный и ненужный продукт. На специальном сайте [2] описано всё что должны делать органы власти по развертыванию своих каталогов данных и публикации наборов данных, что, также, находится на контроле и мониторится.
Кроме того тайские власти разработали инструкцию по публикации метаданных the Data Description Standards or Metadata for Government Data Sets. [3] и даже разработали и опубликовали ПО нескольких расширений для CKAN ckanext-thai_gdc,
ckanext-gdc_agency и др. [4] для публикации их метаданных правильным образом, для учёта, анализа, отслеживания использования данных и так далее.
Ссылки:
[1] https://data.go.th/en/
[2] https://gdhelppage.nso.go.th
[3] https://www.dga.or.th/wp-content/uploads/2021/03/Final_GD-Catalog-Guideline-v.1.0_16032564-3.pdf
[4] https://gitlab.nectec.or.th/opend/installing-ckan/-/blob/master/README.md
#opendata #datasets #thailand #datacatalogs #ckan
Портал включает 9 732 набора данных, сделан на движке управления открытыми данными с открытым кодом CKAN и был бы в целом не очень примечателен если бы не системный подход. Вся инициатива по открытости в Таиланде чётко систематизирована, задокументирована, описана с процессной точки зрения и внедряется как полноценная государственная информационная система, а не какой-то побочный и ненужный продукт. На специальном сайте [2] описано всё что должны делать органы власти по развертыванию своих каталогов данных и публикации наборов данных, что, также, находится на контроле и мониторится.
Кроме того тайские власти разработали инструкцию по публикации метаданных the Data Description Standards or Metadata for Government Data Sets. [3] и даже разработали и опубликовали ПО нескольких расширений для CKAN ckanext-thai_gdc,
ckanext-gdc_agency и др. [4] для публикации их метаданных правильным образом, для учёта, анализа, отслеживания использования данных и так далее.
Ссылки:
[1] https://data.go.th/en/
[2] https://gdhelppage.nso.go.th
[3] https://www.dga.or.th/wp-content/uploads/2021/03/Final_GD-Catalog-Guideline-v.1.0_16032564-3.pdf
[4] https://gitlab.nectec.or.th/opend/installing-ckan/-/blob/master/README.md
#opendata #datasets #thailand #datacatalogs #ckan
Для тех кто работает с открытыми данными регулярно не могу не напомнить что у Open Knowledge Foundation есть проект Frictionless Data и, в частности, frictionless-py [1], программная библиотека и утилита командной строки для анализа данных и подготовки пакетов данных для публикации. Это инструмент совершенно далёкий для большинства тех кто занимается корпоративной дата-инженерией, но уже немного известный тем кто готовит научные данные для публикации. Инструмент сильно развился за последний год, там теперь поддерживается много разных форматов, наконец-то поддерживаются форматы вроде Parquet и JSONl/NDJSON. Если бы он был на несколько лет раньше, я бы многие свои инструменты делал на его основе. Как бы то ни было это существенная часть экосистемы вокруг ПО порталов для публикации открытых данных CKAN.
Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.
Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.
Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org
#opensource #opendata #ckan #datatools
Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.
Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.
Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org
#opensource #opendata #ckan #datatools