Статистика использования генеративных ИИ инструментов молодежью в странах ЕС. А также датасет на котором эта визуализация построена.
Добавлю что по тому же показателю в Евростате мужчины чаще используют генеративный ИИ в работе, а женщины при получении образования. Но это вы уже сами можете найти на сайте Евростата;)
Интересно что по ЕС такие данные есть, а по многим другим странам и территориям они отсутствуют. Если ли такие измерения по РФ (включая регионы), Казахстану, Узбекистану?
Вообще стат индикаторы по цифровизации должны оперативно обновляться под развивающееся внедрение ИИ. А где они есть за пределами наиболее развитых стран?
#statistics #aiagents
Добавлю что по тому же показателю в Евростате мужчины чаще используют генеративный ИИ в работе, а женщины при получении образования. Но это вы уже сами можете найти на сайте Евростата;)
Интересно что по ЕС такие данные есть, а по многим другим странам и территориям они отсутствуют. Если ли такие измерения по РФ (включая регионы), Казахстану, Узбекистану?
Вообще стат индикаторы по цифровизации должны оперативно обновляться под развивающееся внедрение ИИ. А где они есть за пределами наиболее развитых стран?
#statistics #aiagents
👍6🔥4✍2
В рубрике как это устроено у них DataLabor португальский исследовательский портал с данными и визуализацией статистики труда в стране, основан на базе официальной статистики переведенной у удобные дашборды и графики временных рядов.
Создан в лаборатории Colabor созданной рядом академических структур для анализа рынка труда.
Лично мне нехватает явного раздела с датасетами, но и без него полезный ресурс.
#opendata #statistics #portugal
Создан в лаборатории Colabor созданной рядом академических структур для анализа рынка труда.
Лично мне нехватает явного раздела с датасетами, но и без него полезный ресурс.
#opendata #statistics #portugal
👍4
Новый портал данных Всемирного банка - Data 360 пока находится в режиме бета версии, но уже есть на что посмотреть.
Можно обратить внимание:
1. Охватывает все аудитории - программистов, аналитиков, обычных пользователей.
2. Данные доступны как в виде датасетов для массовой выгрузки так и REST API
3. Есть профили у каждой страны/территории охваченными показателями
4. Для аналитиков есть каталог индикаторов и отчетов совмещенный с каталогом данных
5. Есть тематические аналитические страницы с наборами ключевых показателей.
В целом это эволюция в публикации данных ВБ, у них до сих пор есть как минимум 4 публичных интерфейсов с данными и это еще один, может быть он остальные заменит когда-нибудь.
Из особенностей:
- данные индикаторов публикуют в SDMX формате, но SDMX совместимое API не предоставляют, вместо этого свое REST API
- метаданные хранят в СУБД и отдают как JSON или как автосгенерированный PDF
Вообще крупные международные агенства и национальные статслужбы давно придерживаются подхода по предоставлению данных в унифицированном виде. Если бы Росстат в РФ имел бы подобную систему - куда проще было бы с его данными работать. Но нет, такого не ждем. А вот статведомства других стран могут взять этот пример на заметку.
Еще наблюдение в том что ВБ каждый раз разрабатывают новую систему размещения данных а не берут имеющуюся с рынка. Как это делает ОЭСР, к примеру, с .Stat Explorer.
#opendata #statistics
Можно обратить внимание:
1. Охватывает все аудитории - программистов, аналитиков, обычных пользователей.
2. Данные доступны как в виде датасетов для массовой выгрузки так и REST API
3. Есть профили у каждой страны/территории охваченными показателями
4. Для аналитиков есть каталог индикаторов и отчетов совмещенный с каталогом данных
5. Есть тематические аналитические страницы с наборами ключевых показателей.
В целом это эволюция в публикации данных ВБ, у них до сих пор есть как минимум 4 публичных интерфейсов с данными и это еще один, может быть он остальные заменит когда-нибудь.
Из особенностей:
- данные индикаторов публикуют в SDMX формате, но SDMX совместимое API не предоставляют, вместо этого свое REST API
- метаданные хранят в СУБД и отдают как JSON или как автосгенерированный PDF
Вообще крупные международные агенства и национальные статслужбы давно придерживаются подхода по предоставлению данных в унифицированном виде. Если бы Росстат в РФ имел бы подобную систему - куда проще было бы с его данными работать. Но нет, такого не ждем. А вот статведомства других стран могут взять этот пример на заметку.
Еще наблюдение в том что ВБ каждый раз разрабатывают новую систему размещения данных а не берут имеющуюся с рынка. Как это делает ОЭСР, к примеру, с .Stat Explorer.
#opendata #statistics
👍7✍4❤2
В рубрике как это устроено у них продолжение про открытые данные Всемирного Банка.
- https://datacatalog.worldbank.org/ - каталог данных Всемирного Банка собранный из многочисленных проектов организации и проектов ей профинансированных. Более 7 тысяч наборов данных, зачастую довольно большого объема
- https://data.worldbank.org - портал статистики и индикаторов публикуемой Всемирным Банком (агрегируемой из национальных и международных источников)
- https://data360.worldbank.org/en/economies - новый портал статистики Всемирного Банка, замещает разделы и страницы портала data.worldbank.org
- https://databank.worldbank.org/ - портал статистики в виде BI системы с возможностью визуализации показателей из базы индикаторов Всемирного Банка
- https://disabilitydata.worldbank.org/en/home - данные проекта по людям. с ограниченными возможностями
- https://wbl.worldbank.org/en/data - данные проекта Women Business and the Law
- https://ssbtax.worldbank.org/ - база данных по налогам на сладкие напитки (напитки подслащенные сахаром). Выгружается через каталог данных
- https://digitalfinance.worldbank.org/country - данные проекта по цифровым финансам (можно скачать в Excel)
- https://opendatatoolkit.worldbank.org - руководство Всемирного Банка по публикации открытых данных, подробный гайдлайн
- https://wits.worldbank.org/ - база данных по международной торговле включая API
_ https://reproducibility.worldbank.org/home - портал воспроизводимости исследований включая код, документацию и данные необходимые для воспроизведени
#opendata #datasets #datacatalogs #data #statistics
- https://datacatalog.worldbank.org/ - каталог данных Всемирного Банка собранный из многочисленных проектов организации и проектов ей профинансированных. Более 7 тысяч наборов данных, зачастую довольно большого объема
- https://data.worldbank.org - портал статистики и индикаторов публикуемой Всемирным Банком (агрегируемой из национальных и международных источников)
- https://data360.worldbank.org/en/economies - новый портал статистики Всемирного Банка, замещает разделы и страницы портала data.worldbank.org
- https://databank.worldbank.org/ - портал статистики в виде BI системы с возможностью визуализации показателей из базы индикаторов Всемирного Банка
- https://disabilitydata.worldbank.org/en/home - данные проекта по людям. с ограниченными возможностями
- https://wbl.worldbank.org/en/data - данные проекта Women Business and the Law
- https://ssbtax.worldbank.org/ - база данных по налогам на сладкие напитки (напитки подслащенные сахаром). Выгружается через каталог данных
- https://digitalfinance.worldbank.org/country - данные проекта по цифровым финансам (можно скачать в Excel)
- https://opendatatoolkit.worldbank.org - руководство Всемирного Банка по публикации открытых данных, подробный гайдлайн
- https://wits.worldbank.org/ - база данных по международной торговле включая API
_ https://reproducibility.worldbank.org/home - портал воспроизводимости исследований включая код, документацию и данные необходимые для воспроизведени
#opendata #datasets #datacatalogs #data #statistics
datacatalog.worldbank.org
World Bank Data Catalog
The Data Catalog is designed to make World Bank's development data easy to find, download, use, and share. It includes data from the World Bank's microdata...
✍3👍3🔥3😁2
Интересные международные базы данных охватывающие почти все или многие страны мира:
- EDGAR - Emissions Database for Global Atmospheric Research https://edgar.jrc.ec.europa.eu/ - база по выбросам в атмосферу по всему миру, охватывает 220 стран, создается в рамках программы ЕС . Охватывает 54 года
- EMBER Energy Data https://ember-energy.org/ - портал с датасетами и показателями по энергетике, ведется одноименным британским мозговым центром, собирают данные из разных официальных источников
- OpenNetZero https://opennetzero.org - каталог данных с датасетами по теме снижения выбросов парниковых газов, данные и статистика по возобновляемой энергии и не только
- Aviation Intelligence Portal https://ansperformance.eu - портал с данными по полетам/авиации в Европейском союзе, редкий случай когда за авиационные данные и статистику не берут деньги. Позволяет, например, смотреть на статистику полетов по странам как показатель идущего кризиса роста цен на авиатопливо
#opendata #data #datasets #statistics #transport #energy #climate #aviation
- EDGAR - Emissions Database for Global Atmospheric Research https://edgar.jrc.ec.europa.eu/ - база по выбросам в атмосферу по всему миру, охватывает 220 стран, создается в рамках программы ЕС . Охватывает 54 года
- EMBER Energy Data https://ember-energy.org/ - портал с датасетами и показателями по энергетике, ведется одноименным британским мозговым центром, собирают данные из разных официальных источников
- OpenNetZero https://opennetzero.org - каталог данных с датасетами по теме снижения выбросов парниковых газов, данные и статистика по возобновляемой энергии и не только
- Aviation Intelligence Portal https://ansperformance.eu - портал с данными по полетам/авиации в Европейском союзе, редкий случай когда за авиационные данные и статистику не берут деньги. Позволяет, например, смотреть на статистику полетов по странам как показатель идущего кризиса роста цен на авиатопливо
#opendata #data #datasets #statistics #transport #energy #climate #aviation
Ember
Home | Ember
Ember is a global energy think tank that aims to accelerate the clean energy transition with data and policy.
✍5⚡3🔥3
Я как-то уже делал заметку про публикацию статистики статкомитетом СНГ и вот сейчас изучая их ресурсы обнаружил что это чуть ли не один из немногих системно организованных ресурсов статистики на постсоветском пространстве (не считая стран Балтии интегрированных в Евростат).
Например, у них есть полноценный каталог связанных данных, а также SPARQL Endpoint и OpenAPI
Это помимо того что у них есть база знаний с основными понятиями и собственно база метаданных с хабом данных.
Все это, конечно, технологически выглядит как продукты примерно 10-летней давности. Сейчас статистику ожидаешь в интерфейсах для массовой выгрузки, форматах Parquet, или в интерфейсах SDMX не самописных, а более принятых в международных организциях, но то что есть производит хорошее впечатление. Ощущение того что внутри есть команда которая понимает как делать правильно, разве что не вполне знает современные технологии (или не имеет на них бюджета).
Что характерно, Статкомитет СНГ сидит в том же здании что и Росстат, но у Росстата ни базы знаний, ни каталога связанных данных не наблюдается. Даже не буду гадать почему.
Проблема же с данными Статкомитета СНГ собственно в статусе самого СНГ и оперативности сбрра данных. Современные потребители статистики устроены так что выбирая между плохо подготовленными актуальными данными и прекрасно подготовленными неактуальными данные они выберут всегда первое. Актуальность и оперативность аналитики - это ключевой смысл современной корпоративной и публичной аналитики, данные годовых показателей нужны кратно меньше чем ежемесячных или более частотных.
Хотя, к примеру, индекс потребительских цен в их базе обновляется ежемесячно и в мае доступен за март месяц. уже неплохо и какие то другие оперативные ежеквартальные и ежемесячные данные есть.
#opendata #datasets #data #datacatalogs #statistics
Например, у них есть полноценный каталог связанных данных, а также SPARQL Endpoint и OpenAPI
Это помимо того что у них есть база знаний с основными понятиями и собственно база метаданных с хабом данных.
Все это, конечно, технологически выглядит как продукты примерно 10-летней давности. Сейчас статистику ожидаешь в интерфейсах для массовой выгрузки, форматах Parquet, или в интерфейсах SDMX не самописных, а более принятых в международных организциях, но то что есть производит хорошее впечатление. Ощущение того что внутри есть команда которая понимает как делать правильно, разве что не вполне знает современные технологии (или не имеет на них бюджета).
Что характерно, Статкомитет СНГ сидит в том же здании что и Росстат, но у Росстата ни базы знаний, ни каталога связанных данных не наблюдается. Даже не буду гадать почему.
Проблема же с данными Статкомитета СНГ собственно в статусе самого СНГ и оперативности сбрра данных. Современные потребители статистики устроены так что выбирая между плохо подготовленными актуальными данными и прекрасно подготовленными неактуальными данные они выберут всегда первое. Актуальность и оперативность аналитики - это ключевой смысл современной корпоративной и публичной аналитики, данные годовых показателей нужны кратно меньше чем ежемесячных или более частотных.
Хотя, к примеру, индекс потребительских цен в их базе обновляется ежемесячно и в мае доступен за март месяц. уже неплохо и какие то другие оперативные ежеквартальные и ежемесячные данные есть.
#opendata #datasets #data #datacatalogs #statistics
👍6❤4✍3⚡1
Свежий документ Data Systems at a Crossroads: Official Statistics for a New Era
от авторов из PARIS21 (The Partnership in Statistics for Development in the 21st Century).
Документ о том что национальные статистические службы в мире находятся в кризисе, а ещё вернее в нескольких кризисах:
- Кризис доверия и легитимности. Растёт политизация данных, а «факты» всё чаще проигрывают «чувствам» в публичной дискуссии.
- Финансовый и институциональный. Статистические службы недофинансируются, а их бюджеты несут всё большую нагрузку по сбору новых показателей (SDG, климат, цифровая экономика).
- Кадровый разрыв. Между хорошо оснащёнными НСО, которые уже экспериментируют с ML и NLP, и бюро, где данные до сих пор собираются на бумаге и обрабатываются в Excel, - пропасть.
Вывод там довольно простой, есть развилка в виде:
- продолжения медленного развития "как есть"
- глубокой трансформации статистических служб
—
Документ ценный краткостью и актуальностью и очень близок к моим собственным размышлениям. Статистические службы наиболее близки по смыслу к "дата-службам", они могли бы (должны бы?) производить оперативную качественную аналитику и поставлять данные, но за десятилетия-столетия своего существования обросли столь объемными фактическими и когнитивными ограничениями что в редких случаях выступают в этой роли.
При это цикл их развития очень медленный в сравнении со всем что творится с данными, а теперь и с ИИ в коммерческом секторе. К официальной статистике обращаются когда нет достойных альтернатив, но она почти всегда отстает в актуальности, полноте и соответствию ожиданиям рынка.
Например, Росстат можно сравнить с Почтой России. Вроде как монументальное явление, а WB и Ozon уже существенно почту потеснили. Монумент еще не рухнул, но вызывает очень много вопросов. Так и с Росстатом, вроде он есть и имеет полномочия, а реальной экспериментальной аналитикой и статистикой в РФ занимаются подведы Пр-ва и фед. органов исп. власти.
Росстат лишь как пример близкий, в похожих кризисах находятся статслужбы очень многих стран. Как они изменяться? Вот в этом документе есть некоторые размышления с примерами.
#statistics #readings
от авторов из PARIS21 (The Partnership in Statistics for Development in the 21st Century).
Документ о том что национальные статистические службы в мире находятся в кризисе, а ещё вернее в нескольких кризисах:
- Кризис доверия и легитимности. Растёт политизация данных, а «факты» всё чаще проигрывают «чувствам» в публичной дискуссии.
- Финансовый и институциональный. Статистические службы недофинансируются, а их бюджеты несут всё большую нагрузку по сбору новых показателей (SDG, климат, цифровая экономика).
- Кадровый разрыв. Между хорошо оснащёнными НСО, которые уже экспериментируют с ML и NLP, и бюро, где данные до сих пор собираются на бумаге и обрабатываются в Excel, - пропасть.
Вывод там довольно простой, есть развилка в виде:
- продолжения медленного развития "как есть"
- глубокой трансформации статистических служб
—
Документ ценный краткостью и актуальностью и очень близок к моим собственным размышлениям. Статистические службы наиболее близки по смыслу к "дата-службам", они могли бы (должны бы?) производить оперативную качественную аналитику и поставлять данные, но за десятилетия-столетия своего существования обросли столь объемными фактическими и когнитивными ограничениями что в редких случаях выступают в этой роли.
При это цикл их развития очень медленный в сравнении со всем что творится с данными, а теперь и с ИИ в коммерческом секторе. К официальной статистике обращаются когда нет достойных альтернатив, но она почти всегда отстает в актуальности, полноте и соответствию ожиданиям рынка.
Например, Росстат можно сравнить с Почтой России. Вроде как монументальное явление, а WB и Ozon уже существенно почту потеснили. Монумент еще не рухнул, но вызывает очень много вопросов. Так и с Росстатом, вроде он есть и имеет полномочия, а реальной экспериментальной аналитикой и статистикой в РФ занимаются подведы Пр-ва и фед. органов исп. власти.
Росстат лишь как пример близкий, в похожих кризисах находятся статслужбы очень многих стран. Как они изменяться? Вот в этом документе есть некоторые размышления с примерами.
#statistics #readings
✍6👍5❤4
Хороший обзор проектов с экспериментальной статистикой в США, с примерами компаний которые создают публичные дата продукты и их начинают использовать официально.
Все это про мир alternative data, актуальный для биржевого и корпоративного мира и все еще медленно проникающий в официальную статистику.
В обзоре из интересных примеров - это оценка масштабов строительства через анализ спутниковых снимков.
#opendata #statistics
Все это про мир alternative data, актуальный для биржевого и корпоративного мира и все еще медленно проникающий в официальную статистику.
В обзоре из интересных примеров - это оценка масштабов строительства через анализ спутниковых снимков.
#opendata #statistics
👍4✍2🔥2
Govviz UK government performance проект по визуализации эффективности работы Правительства Великобритании. Выглядит как красивый дашборд с большим числом графиков, внутри сбор данных из десятка источников и их наглядная визуализация
Все с открытым кодом и ничто не мешает по аналогии сделать визуализацию для какой-то другой страны с не самыми большими усилиями.
Сам проект весь на клаудекоденный, заточенный под использование с помощью ИИ, имеет MCP сервис, множество описаний процессов и так далее.
Я бы на него смотрел как на новую форму подачи официальной статистики, довольно интересную форму.
#opensource #opendata #statistics
Все с открытым кодом и ничто не мешает по аналогии сделать визуализацию для какой-то другой страны с не самыми большими усилиями.
Сам проект весь на клаудекоденный, заточенный под использование с помощью ИИ, имеет MCP сервис, множество описаний процессов и так далее.
Я бы на него смотрел как на новую форму подачи официальной статистики, довольно интересную форму.
#opensource #opendata #statistics
👍10✍1🔥1😁1🤔1
В рубрике как это устроено у них Национальный портал открытых данных Пакистана nodp.gov.pk. Называется громко, а по факту это портал со статистикой, причем не для выгрузки, а в виде дашбордов в Superset выставленных онлайн. Данные из дашбордов можно, конечно, скачать в CSV или XLS, но это не отменяет того что это портал с дашбордами и название де-факто не соответствует содержанию. Зато хорошо иллюстрирует мои рассуждения про дата продукты и про то что ими является и что нет. Вот тут дата продуктов не то чтобы нет, нет даже намека на них. Для развивающихся стран это частая история когда делают портал с небольшим числом статистических показателей и называют его порталом открытых данных.
#opendata #statistics #pakistan #datacatalogs
#opendata #statistics #pakistan #datacatalogs
👍5🔥5✍1
Ещё одно наблюдение, то что с развитием ИИ агентов появилось множество порталов показывающих национальную и международную статистику наглядно, вот, например, такой по Монголии data.mn. Они все используют официальную статистику с сайтов нац. стат. служб и из баз данных межгосударственных структур. И вот таких порталов я видел уже штук 7 за неделю и несколько глобальных, охватывающих все страны.
В чем их особенности:
- как правило это one-man-project, делаются они одним человеком с помощью Claude / Cursor / Copilot / ChatGPT и далее по списку
- большая часть делается просто для портфолио, без бизнес модели. Исключения в тех что пытаются "засрать поисковую выдачу" с акцентом на SEO. В их бизнес модель я не верю.
- всегда акцент на визуализации, то что национальные статслужбы не умеют
- но про пользователей их создатели понимают редко, частотные (часто обновляемые) показатели у них есть редко.
Когда-то много таких проектов делала команда DataWheel (DataUSA, DataSaudi и др.), но там был явно не один человек, больше акцент на визуализации и работа всегда под клиентов.
Вот эти новые проекты пока до их уровня не дотягивают, но это скорее вопрос понимания природы данных и пользователей у их создателей, чем техническая невозможность.
#opendata #datasets #datacatalogs #datavis #statistics
В чем их особенности:
- как правило это one-man-project, делаются они одним человеком с помощью Claude / Cursor / Copilot / ChatGPT и далее по списку
- большая часть делается просто для портфолио, без бизнес модели. Исключения в тех что пытаются "засрать поисковую выдачу" с акцентом на SEO. В их бизнес модель я не верю.
- всегда акцент на визуализации, то что национальные статслужбы не умеют
- но про пользователей их создатели понимают редко, частотные (часто обновляемые) показатели у них есть редко.
Когда-то много таких проектов делала команда DataWheel (DataUSA, DataSaudi и др.), но там был явно не один человек, больше акцент на визуализации и работа всегда под клиентов.
Вот эти новые проекты пока до их уровня не дотягивают, но это скорее вопрос понимания природы данных и пользователей у их создателей, чем техническая невозможность.
#opendata #datasets #datacatalogs #datavis #statistics
3❤4🔥3✍2
Накопившиеся размышления вслух по поводу доступности данных:
1. Одно из отличий экономически развитых стран в наличии региональных статистических порталов с данными, статистических обсерваторий, панелей для наблюдения и тд. Иначе говоря живой машиночитаемой региональной и муниципальной статистики. Причины логичны, в потребности региональных властей знать объективную картину экономики, демографии и тд. Это сильно контрастирует, например, с российскими регионами где есть сайты терр управлений Росстата PDF отчетами, иногда в сканах. А, в лучшем случае, некоторые показатели есть на сайтах открытых бюджетов. Для сравнения во всех землях Германии и кантонах Франции есть не только сайты/онлайн ресурсы региональных стат служб, но и, либо статистические интерактивные порталы, либо публичные BI системы, либо иные стат порталы визуализации и публикации региональной статистики.
2. Поиск Google не говоря уже о других общего типа поисковиках не дает полной картины где какие данные находятся даже на уровне просто где лежат. Многие порталы данных находятся только разными другими способами data discovery, с помощью сервисов вроде Censys (очень дорогой, хорошо документированный) или FOFA (китайский, дешевый и попроще) которые позволяют находить веб сайты по совокупности признаков. При наполнения реестра каталогов Dateno я это наблюдаю постоянно.
#thoughts #data #statistics
1. Одно из отличий экономически развитых стран в наличии региональных статистических порталов с данными, статистических обсерваторий, панелей для наблюдения и тд. Иначе говоря живой машиночитаемой региональной и муниципальной статистики. Причины логичны, в потребности региональных властей знать объективную картину экономики, демографии и тд. Это сильно контрастирует, например, с российскими регионами где есть сайты терр управлений Росстата PDF отчетами, иногда в сканах. А, в лучшем случае, некоторые показатели есть на сайтах открытых бюджетов. Для сравнения во всех землях Германии и кантонах Франции есть не только сайты/онлайн ресурсы региональных стат служб, но и, либо статистические интерактивные порталы, либо публичные BI системы, либо иные стат порталы визуализации и публикации региональной статистики.
2. Поиск Google не говоря уже о других общего типа поисковиках не дает полной картины где какие данные находятся даже на уровне просто где лежат. Многие порталы данных находятся только разными другими способами data discovery, с помощью сервисов вроде Censys (очень дорогой, хорошо документированный) или FOFA (китайский, дешевый и попроще) которые позволяют находить веб сайты по совокупности признаков. При наполнения реестра каталогов Dateno я это наблюдаю постоянно.
#thoughts #data #statistics
👍4✍1🎉1
В рубрике интересных порталов статистических данных PRIS (Power Reactor Information System) информационная система с базой и показателями по всем ядерным реакторам в мире. Включает как основные их характеристики, так и набор временных рядов по выработке энергии, энергопотерям и так далее. А также профили стран где реакторы расположены.
Визуально сделано неплохо, но для меня это скорее антипример потому что данные можно только экспортировать из их визуализаций, а внутри все сделано на PowerBI с ограничениями на получение данных, API и так далее.
Тем не менее данные временных рядов там актуализированы на 2025 год и много других полезных сведений.
Вот такого подхода когда данные на статистическом портале публикуются через виджеты PowerBI, Qlik или Tableau достаточно много. Чаще в беднейших странах именно из-за бедности ну или вот тут как IAEA которые явно не хотят сами датасеты выкладывать отдельно.
#statistics #nuclear #energy
Визуально сделано неплохо, но для меня это скорее антипример потому что данные можно только экспортировать из их визуализаций, а внутри все сделано на PowerBI с ограничениями на получение данных, API и так далее.
Тем не менее данные временных рядов там актуализированы на 2025 год и много других полезных сведений.
Вот такого подхода когда данные на статистическом портале публикуются через виджеты PowerBI, Qlik или Tableau достаточно много. Чаще в беднейших странах именно из-за бедности ну или вот тут как IAEA которые явно не хотят сами датасеты выкладывать отдельно.
#statistics #nuclear #energy
⚡5🔥1
В рубрике как это устроено у них ITStats отраслевая система статистики Республики Корея. Включает множество показателей по доходам, объёмам рынков, занятости, дефиците кадров, экспорте товаров и услуг и многое другое в привязке именно к ИТ рынку. Существует только на корейском языке (но это легко преодолевается расширениями для перевода для браузеров). Внутри работает на базе статистической платформы KOSIS на которой работает и национальная система показателей Южной Кореи.
#statistics #southkorea #datacatalogs
#statistics #southkorea #datacatalogs
👍5
HaitiDocs один из примеров проектов о которых я ранее рассказывал, в формате one-man-project, когда явно какой-то разработчик одиночка с помощью кодирующего ИИ превратил базы документов, статистики и карт в единый портал с официальными материалами по Гаити. Отображая документы для поиска, данные для визуализации и слои карт непосредственно на картографической основе. Всё это нагляднее чем официальные сайты Гаити, но, конечно же, имеет неофициальный статус.
Таких проектов я наблюдаю уже не один и не два, их реально много, благо делать их стало просто. Большая часть статистики собирается из крупных международных источников вроде WorldBank, ILO, WHO и тд. Документы с официальных сайтов госорганов, а карты из серверов официальных геопорталов.
Такое можно сделать практически по любой стране или субрегиону.
#opendata #statistics #haiti #data
Таких проектов я наблюдаю уже не один и не два, их реально много, благо делать их стало просто. Большая часть статистики собирается из крупных международных источников вроде WorldBank, ILO, WHO и тд. Документы с официальных сайтов госорганов, а карты из серверов официальных геопорталов.
Такое можно сделать практически по любой стране или субрегиону.
#opendata #statistics #haiti #data
👍7❤2
У WHO нет одного «главного открытого портала». Это целое семейство каталогов: глобальные индикаторы, микроданные обследований, региональные хабы, карты и реестр клинических исследований. Все перечисленные ниже — открытый доступ.
Глобальная статистика
📊 WHO Data — основной публичный портал индикаторов. Заменил старый интерфейс Global Health Observatory как главную точку входа: здоровье 194 стран-членов, ЦУР, эпидемии, системы здравоохранения. Есть API. https://data.who.int
📈 Global Health Observatory (GHO) — классический репозиторий: больше 1000 индикаторов по смертности, бремени болезней, питанию детей, иммунизации, ВИЧ, туберкулёзу, малярии, НИЗ, экологии и неравенству. https://www.who.int/data/gho/data/indicators
🪦 WHO Mortality Database — смертность по стране, году, полу, возрасту и причине смерти. Источник — национальные системы гражданской регистрации; это отдельный продукт, не дубль GHO. https://platform.who.int/mortality
Микроданные обследований
🏥 WHO Health Information Systems Data Catalog — каталог обследований систем здравоохранения по странам (платформа NADA): домохозяйства, индивиды, метаданные и файлы. apps.who.int/healthinfo/systems/surveydata/index.php/catalog
🚬 WHO NCD Microdata Repository — микроданные по неинфекционным заболеваниям: STEPS, GATS (табак), GSHS и GYTS (школьники) из стран по всему миру. https://extranet.who.int/ncdsmicrodata
🏨 Health Facility Assessment Archive — архив оценок медучреждений: HHFA, SARA и SAM. Метаданные опросов, отчёты, вопросники и сопутствующие материалы (десятки стран). https://data-archive.hhfa.online
Региональные хабы
🇪🇺 European Health Information Gateway — данные Европейского региона WHO: демография, состояние здоровья, факторы риска, ресурсы и расходы здравоохранения. Семейство баз Health for All, профили стран, выгрузка таблиц. https://gateway.euro.who.int/en/datasets/
🌍 Regional Health Data Hub (RDHUB) — «центр медицинской разведки» Африканского региона: 47 стран, индикаторы, датасеты и дашборды по приоритетным болезням, иммунизации, материнскому здоровью, устойчивости к антибиотикам и системам здравоохранения. Портал на CKAN, есть API. https://data.afro.who.int/
🌎 PAHO/EIH Open Data — открытые данные Панамериканской организации здравоохранения (региональный офис WHO для Америк): больше 140 базовых индикаторов здоровья, дашборды и выгрузка CSV. https://opendata.paho.org/en
🦠 PAHO COVID-19 Response Hub — эпидемиологические данные COVID-19 по странам и территориям Америк: случаи, смертность, вакцинация, COVAX, ситуационные отчёты. Карты и таблицы, обновление по мере поступления национальных данных. https://paho-covid19-response-who.hub.arcgis.com/
Карты и исследования
🗺 WHO ArcGIS Server — картографические сервисы общественного здравоохранения: слои и REST API для карт WHO. https://extranet.who.int/map/rest/services
🔬 ICTRP Search Portal — единая точка поиска по клиническим исследованиям: идущие и завершённые испытания из сети регистров WHO, с привязкой к исходным записям. https://trialsearch.who.int/
🧪 Exposome Explorer (IARC) — база МАИР, агентства WHO по изучению рака: биомаркеры воздействия факторов окружающей среды, связанных с риском заболеваний. http://exposome-explorer.iarc.fr/
Если нужен один старт — WHO Data. Если погружение в сырые обследования — три NADA-каталога. Если страна в Европе, Африке или Америках — сразу в региональный хаб.
#opendata #WHO #statistics #datacatalogs
Please open Telegram to view this post
VIEW IN TELEGRAM
datadot
WHO Data
Health data statistics and trends from the World Health Organization.
❤🔥6✍3🔥3
В рубрике как это устроено у них Rwanda Data Sharing Platform платформа обмена данными Руанды, де-факто портал открытых данных страны. Содержит 265 наборов данных, в первую очередь статистических показателей и микроданных. Имеет весьма продуманный интерфейс с документированными схемами данных, прегенрированным кодом Python, Curl, JS и тд. для выгрузки данных, возможностью их предпросмотра, подробным описанием и так далее.
Из минусов:
- сейчас данные только одного ведомства, статслужбы, видимо оно функциональный заказчик у непосредственного заказчика разработки RISA - агентства информационного общества страны
- портал адаптирован под отображение табличных данных и там сейчас только плоские таблицы.
Видно что его заказывали статистики, он построен полностью вокруг таблиц и, тоже, по модели что один набор данных = один файл = одна таблица. Архитектурно - это ошибка, но если там будет только статистика то это допустимо. И это точно удобнее чем извлекать данных с сайта их статслужбы где, конечно, есть Excel файлы, но API завсегда удобнее когда актуально и обновляется.
Справочно: Руанда быстро развивающаяся восточноафриканская страна с 14 миллионами населения и 16 миллиардами USD ВВП.
#opendata #datacatalogs #rwanda #statistics
Из минусов:
- сейчас данные только одного ведомства, статслужбы, видимо оно функциональный заказчик у непосредственного заказчика разработки RISA - агентства информационного общества страны
- портал адаптирован под отображение табличных данных и там сейчас только плоские таблицы.
Видно что его заказывали статистики, он построен полностью вокруг таблиц и, тоже, по модели что один набор данных = один файл = одна таблица. Архитектурно - это ошибка, но если там будет только статистика то это допустимо. И это точно удобнее чем извлекать данных с сайта их статслужбы где, конечно, есть Excel файлы, но API завсегда удобнее когда актуально и обновляется.
Справочно: Руанда быстро развивающаяся восточноафриканская страна с 14 миллионами населения и 16 миллиардами USD ВВП.
#opendata #datacatalogs #rwanda #statistics
👍4✍1🔥1
Какие данные по странам существуют в почти реальном времени? В Кении местное космическое агентство публикует данные погодных наблюдений через публичный экземпляр визуализации данных на базе Grafana который отображает на карте и в графиках данные с погодных станций по стране.
Тут надо отменить что Grafana - это продукт по визуализации данных с открытым кодом экземпляры которого редко публично и чаще используются для внутренних задач по отображению данных, например, ИТ инфраструктуры.
Но иногда его используют и для отображения данных публичных. Ещё один пример, это Saskatchewan Electricity Mix общественный проект собирающий ежесуточно данные с сайта компании SaskPower канадской провинции Саскачеван.
Таких примеров немного и вообще ежесуточных и более частотных данных не так много доступно, особенно по развивающимся странам.
#opendata #dataviz #statistics #data #datacatalogs
Тут надо отменить что Grafana - это продукт по визуализации данных с открытым кодом экземпляры которого редко публично и чаще используются для внутренних задач по отображению данных, например, ИТ инфраструктуры.
Но иногда его используют и для отображения данных публичных. Ещё один пример, это Saskatchewan Electricity Mix общественный проект собирающий ежесуточно данные с сайта компании SaskPower канадской провинции Саскачеван.
Таких примеров немного и вообще ежесуточных и более частотных данных не так много доступно, особенно по развивающимся странам.
#opendata #dataviz #statistics #data #datacatalogs
✍6👍1
Многие данные по странам сложно найти внутри страны, даже если они есть, то часто запрятаны или в таких формах что работать с ними требует дополнительных усилий, но они успешно собираются международными организациями. Например, не все знают про существование Food price monitoring and analysis (FPMA) tool специального инструмента сбора и раскрытия данных о ценах на ключевые продовольственные товары которые который предоставляет Продовольственная и сельскохозяйственная организация ООН (FAO).
Инструмент охватывает практически все страны, по развитым странам, в основном, предоставляя показатели национального покрытия. По развивающимся есть детализация до городов/регионов.
Состав продуктов тоже варьируется от страны к стране.
Данные обновляются ежемесячно, где-то с задержкой в полмесяца, где-то в 2 месяца, но для аналитики вполне достаточно. По некоторым странам мониторинг аж с начала 90 годов, по другим только за последние несколько лет.
Иначе говоря вариативность высокая, но все в едином формате, можно выгрузить напрямую и через API и использовать в некоммерческих целях под условиями CC-BY-NC-SA.
#opendata #statistics #datasets
Инструмент охватывает практически все страны, по развитым странам, в основном, предоставляя показатели национального покрытия. По развивающимся есть детализация до городов/регионов.
Состав продуктов тоже варьируется от страны к стране.
Данные обновляются ежемесячно, где-то с задержкой в полмесяца, где-то в 2 месяца, но для аналитики вполне достаточно. По некоторым странам мониторинг аж с начала 90 годов, по другим только за последние несколько лет.
Иначе говоря вариативность высокая, но все в едином формате, можно выгрузить напрямую и через API и использовать в некоммерческих целях под условиями CC-BY-NC-SA.
#opendata #statistics #datasets
✍7❤5
В рубрике как это устроено у них портал статистики начального и среднего образования Нигерии. Охватывает всю страну, имеет детализацию до муниципалитетов (в Нигерии они называются Local Government Area, LGA) и включают показатели по числу школ, учеников, учеников на класс, учеников на учителя, долю учеников по полу, данные в разрезах общественных и частных школ и тд.
Чего нет - так это показателей успеваемости, и данные только за 2024/2025 год, этот публичный портал совсем свежий.
Внутри все работает на базе DuckDB WASM + есть недокументированное API, а на веб интерфейсе только экспорт в PDF. Вообще технологический стек там довольно продвинутый.
Такие информационные системы называются Education Management Information System (EMIS), они есть в большинстве стран, где-то на национальном, где-то на региональном уровнях. У многих из них есть публичные контуры с общедоступной статистикой, где-то даже доходящей до конкретной школы, но и муниципальная статистика имеет ценность.
Тут можно задаться вопросом, "А почему в Нигерии такая статистика общедоступна, а в моей [XXX] стране нет?". И на этот вопрос лично у меня нет хорошего ответа.
#opendata #education #statistics #nigeria
Чего нет - так это показателей успеваемости, и данные только за 2024/2025 год, этот публичный портал совсем свежий.
Внутри все работает на базе DuckDB WASM + есть недокументированное API, а на веб интерфейсе только экспорт в PDF. Вообще технологический стек там довольно продвинутый.
Такие информационные системы называются Education Management Information System (EMIS), они есть в большинстве стран, где-то на национальном, где-то на региональном уровнях. У многих из них есть публичные контуры с общедоступной статистикой, где-то даже доходящей до конкретной школы, но и муниципальная статистика имеет ценность.
Тут можно задаться вопросом, "А почему в Нигерии такая статистика общедоступна, а в моей [XXX] стране нет?". И на этот вопрос лично у меня нет хорошего ответа.
#opendata #education #statistics #nigeria
1👍7✍2😢2😁1