Мне таки удалось достучаться до команды проекта экосистемы CKAN'а и они взяли из реестра каталогов данных Dateno данные по недостающим у них каталогам на базе CKAN и сразу увеличили число охватываемых ими каталогов с 700 до 1400. Это тоже не предел, они не проверяют геоблокировки, а очень многие каталоги заблокированы за пределами своих стран, но тем не менее уже прогресс.
В чем существенные отличия их системы от реестра каталогов. Они делают акцент на мониторинге API CKAN'а на предмет версий и расширений и проверяют насколько эти порталы закрыты последними патчами. Иначе говоря мониторятсвою промысловую базу тех кто разворачивает CKAN чтобы предупреждать если их инсталляции не обновлялись и могут быть взломаны из-за отсутствия патчей безопасности, к примеру.
CKAN, действительно, большая экосистема, хотя и далеко не единственная в мире порталов открытых данных.
#opendata #datacatalogs #ckan
В чем существенные отличия их системы от реестра каталогов. Они делают акцент на мониторинге API CKAN'а на предмет версий и расширений и проверяют насколько эти порталы закрыты последними патчами. Иначе говоря мониторят
CKAN, действительно, большая экосистема, хотя и далеко не единственная в мире порталов открытых данных.
#opendata #datacatalogs #ckan
👍15🔥3✍2👏1
Полезные ссылки про данные, технологии и не только:
- Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных
- License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите".
- LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты.
- helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно.
#opendata #opensource #dataengineering #ai
- Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных
- License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите".
- LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты.
- helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно.
#opendata #opensource #dataengineering #ai
👍6✍2🔥1