Global Fishing Watch
Для тех кто любит рыбку и всё что с ней связано, то как, кто и когда её ловят проект Global Fishing Watch [1] предоставляет интерактивную карту и наборы данных по рыболовной отрасли с возможностью отслеживать какие суда и поскольку часов ловят рыбу и где они это делают.
Данные дают в динамике, предоставляют API [2]. Охватывают только океаны и моря, в том смысле что, к примеру, Каспийского моря и Великих озёр в США/Канаде там нет.
Для выгрузки датасетов нужна регистрация, а сами данные под лицензией CC BY-NC 4.0, в основном.
Ссылки:
[1] https://globalfishingwatch.org
[2] https://globalfishingwatch.org/our-apis/
#opendata #fishing #openprojects #gisdata #geodata
Для тех кто любит рыбку и всё что с ней связано, то как, кто и когда её ловят проект Global Fishing Watch [1] предоставляет интерактивную карту и наборы данных по рыболовной отрасли с возможностью отслеживать какие суда и поскольку часов ловят рыбу и где они это делают.
Данные дают в динамике, предоставляют API [2]. Охватывают только океаны и моря, в том смысле что, к примеру, Каспийского моря и Великих озёр в США/Канаде там нет.
Для выгрузки датасетов нужна регистрация, а сами данные под лицензией CC BY-NC 4.0, в основном.
Ссылки:
[1] https://globalfishingwatch.org
[2] https://globalfishingwatch.org/our-apis/
#opendata #fishing #openprojects #gisdata #geodata
В рубрике как это устроено у них Japan Search [1] поисковая система по архивам Японии охватывает десятки баз данных национальной библиографии, галерей, музеев, архивов, библиотек, каталогов научных работ, архивов фотографий и мультимедиа и многие других коллекций.
Кроме того это поисковик по данным страны поскольку в нём проиндексированы данные национального каталога data.go.jp [2] в объёме чуть менее 23 тысяч наборов данных.
Всего же через поиск доступен 31 миллион цифровых объектов.
У проекта есть открытое API [3] с интерфейсом SPARQL и REST API.
Ссылки:
[1] https://jpsearch.go.jp
[2] https://jpsearch.go.jp/csearch/jps-cross?csid=jps-cross&from=0&f-db=%2Ba12345
[3] https://jpsearch.go.jp/static/developer/en.html
#opendata #digitalheritage #datasets #japan
Кроме того это поисковик по данным страны поскольку в нём проиндексированы данные национального каталога data.go.jp [2] в объёме чуть менее 23 тысяч наборов данных.
Всего же через поиск доступен 31 миллион цифровых объектов.
У проекта есть открытое API [3] с интерфейсом SPARQL и REST API.
Ссылки:
[1] https://jpsearch.go.jp
[2] https://jpsearch.go.jp/csearch/jps-cross?csid=jps-cross&from=0&f-db=%2Ba12345
[3] https://jpsearch.go.jp/static/developer/en.html
#opendata #digitalheritage #datasets #japan
Видеозаписи прошедших семинаров:
- "Лучшие практики работы с большими научными данными: используем Parquet и DuckDB" доступен на сайте ИВ РАН или напрямую на RuTube или на YouTube
- "Дата-инженерия в цифровой гуманитаристике" доступен в сообществе в VK и в YouTube
Если кому-то будут интересны презентации с этих семинаров, напишите в комментарии, я их выложу онлайн или пришлю ссылку.
Честно говоря я давно не читал лекций и не выступал, сначала
Ближайшие мои выступления или мастер-классы будут в рамках дня открытых данных в России и в Армении, скорее и там, и там.
P.S. Ссылки на презентации:
- Дата инженерия в цифровой гуманитаристике
- Лучшие практики работы с большими научными данными. Используем Parquet и DuckDB
#opendata #digitalhumanities #lectures #parquet #duckdb #dataengineering
- "Лучшие практики работы с большими научными данными: используем Parquet и DuckDB" доступен на сайте ИВ РАН или напрямую на RuTube или на YouTube
- "Дата-инженерия в цифровой гуманитаристике" доступен в сообществе в VK и в YouTube
Если кому-то будут интересны презентации с этих семинаров, напишите в комментарии, я их выложу онлайн или пришлю ссылку.
Честно говоря я давно не читал лекций и не выступал, сначала
Ближайшие мои выступления или мастер-классы будут в рамках дня открытых данных в России и в Армении, скорее и там, и там.
P.S. Ссылки на презентации:
- Дата инженерия в цифровой гуманитаристике
- Лучшие практики работы с большими научными данными. Используем Parquet и DuckDB
#opendata #digitalhumanities #lectures #parquet #duckdb #dataengineering
Я напомню что в начале марта состоятся дни открытых данных в России и в Армении. В России он пройдёт 1 марта, в субботу, в Армении предварительно 5-6 марта, скоро напишем точную дату в @opendataam.
В Армении всё будет проходить оффлайн и есть запрос на интересные мастер-классы по работе с данными. Если Вы в Армении и хотите такой мастер-класс рассказать, очень ждём. Языки выступлений - армянский, английский или русский. Сейчас есть как минимум 2 мастер-класса в программе, далее будет больше.
В России (в Москве) день открытых данных проходит в онлайн формате уже много лет. Вы можете находится хоть в Хабаровске, хоть в Смоленске, хоть в другой стране главное иметь возможность подключиться. Сейчас у нас программа примерно на полдня выступлений, мы можем расширить её до полного дня, так чтобы с утра и до вечера.
Есть много тем о которых было бы интересно послушать, а заявившихся пока мало, всегда хочется побольше;)
- Работа с открытыми данными с помощью инструментов BI (SuperSet, Quatro, Lightdash, Datalens и др).
- Работа с большими данными культурного наследия
- Мастер-классы по работы над качеством открытых датасетов
- Практическая работа исследователя по созданию наборов данных. Особенности подготовки и оформления
- Мастер-классы по работе с инструментами дата-фреймов Pandas, Polars, Dask и др.
А также другие темы пересечения тем data science, data engineering, data analytics и open access с открытыми данными.
#opendata #events #opendataday
В Армении всё будет проходить оффлайн и есть запрос на интересные мастер-классы по работе с данными. Если Вы в Армении и хотите такой мастер-класс рассказать, очень ждём. Языки выступлений - армянский, английский или русский. Сейчас есть как минимум 2 мастер-класса в программе, далее будет больше.
В России (в Москве) день открытых данных проходит в онлайн формате уже много лет. Вы можете находится хоть в Хабаровске, хоть в Смоленске, хоть в другой стране главное иметь возможность подключиться. Сейчас у нас программа примерно на полдня выступлений, мы можем расширить её до полного дня, так чтобы с утра и до вечера.
Есть много тем о которых было бы интересно послушать, а заявившихся пока мало, всегда хочется побольше;)
- Работа с открытыми данными с помощью инструментов BI (SuperSet, Quatro, Lightdash, Datalens и др).
- Работа с большими данными культурного наследия
- Мастер-классы по работы над качеством открытых датасетов
- Практическая работа исследователя по созданию наборов данных. Особенности подготовки и оформления
- Мастер-классы по работе с инструментами дата-фреймов Pandas, Polars, Dask и др.
А также другие темы пересечения тем data science, data engineering, data analytics и open access с открытыми данными.
#opendata #events #opendataday
Есть задачи для которых LLM совсем не годятся, а есть те которые годятся очень даже. Например, есть довольно узкая, но очень частая задача автоматического документирования данных.
У меня есть набор запросов к LLM на которых я это тестирую автодокументирование наборов данных. На полях/колонках которые содержат слова позволяющие по смыслу понять что там LLM выдает очень вменяемые ответы.
Это сколько же инструментов надо теперь переделать чтобы повысить их эффективность😂
В рамках экспериментов с Dateno у меня где-то несколько сотен тысяч схем CSV файлов которые можно превратить во что-то что было бы чем-то большим чем просто схема. В документацию.
#opendata #thoughts #datadiscovery #dataengineering #dataquality #datadocumentation
У меня есть набор запросов к LLM на которых я это тестирую автодокументирование наборов данных. На полях/колонках которые содержат слова позволяющие по смыслу понять что там LLM выдает очень вменяемые ответы.
Это сколько же инструментов надо теперь переделать чтобы повысить их эффективность😂
В рамках экспериментов с Dateno у меня где-то несколько сотен тысяч схем CSV файлов которые можно превратить во что-то что было бы чем-то большим чем просто схема. В документацию.
#opendata #thoughts #datadiscovery #dataengineering #dataquality #datadocumentation
Я совсем недавно несколько раз писал лонгриды в рассылке о том как работать со статистическими данными и как их публикуют:
- Статистика как дата продукт
- Хорошие и плохие практики публикации данных. Метаданные и форматы файлов
- Российская статистика: немашиночитаемая институциональная фрагментация
А также много постов у меня тут в канале по хештегу #statistics
Однако я понял что у меня практически нет компактного тезисного текста о том что происходит со статистикой в мире и как она меняется, хотя бы в части работы с потребителями.
1. Основные направления развития статистических продуктов это:
- создание дашбордов по аналогии с корпоративными дашбордами (Dashboard Deutschland)
- создание инструментов самостоятельного построения визуализаций пользователями (visualize.admin.ch)
- превращение портала статслужбы в портал данных (ons.gov.uk)
- предоставление данных для массовой выгрузки (ECB Data Portal)
- использование форматов данных из data science таких как parquet (OpenDOSM)
- продвижение и развитие SDMX форматов и API (BIS Data Portal)
- предоставление статистики в режиме API-first (SingStat TableBuilder и многие другие)
- развитие публикации высокочастотных показателей вплоть до суток (порталы статистики центральных банков, BIS Data Portal)
- развитие экспериментальной статистики (Eurostat, IStat, Statistics Iceland)
2. Большая часть статистических порталов в мире индивидуальны. Из известного тиражируемого ПО можно выделить только:
- PxWeb - продукт разработанный статслужбой Швеции, активно используемый всеми скандинавскими странами и рядом других стран.
- .Stat Suite - теперь с открытым кодом. Используется статслужбой Австралии, ОЭСР и рядом стран.
- Fusion Metadata Registry - изначально разработан командой Банка международных расчётов, сейчас отдан на коммерциализацию. Является ядром для большей части публичных порталов данных отдающих статистику с SDMX совместимым API. Например, SDMX Registry Евростата
3. Всё большее число статистических ведомств создают и публикуют дата стратегии. Эти стратегии охватывают такие вопросы как:
- принципы работы с данными
- приоритеты
- стандарты и форматы обмена и публикации данными
- политики работы с данными
- источники получения данных
Примеры:
- ONS Data Strategy - стратегия работы с данными статслужбы Великобритании
- ABS Data Strategy 2021-22 to 2025 - стратегия работы с данными статслужбы Австралии
- Statistics Canada Data Strategy - дата-стратегия статслужбы Канады
4. В некоторых странах статслужбы отвечают за национальные порталы открытых данных:
- Новая Зеландия - глава статслужбы занимает позицию Government Chief Data Steward (GCDS) и определяет принципы развития и дорожную карту нац портала данных data.govt.nz
- Малайзия - национальный портал открытых данных data.gov.my переделан в портал статистики и дашбордов на основе портала статпоказателей open.dosm.gov.my статистического офиса страны.
5. Все коммерческие поставщики данных временных рядов активно игнорируют международные стандарты вроде SDMX и фокусируются, в первую очередь, на предоставлении данных через API (Nasdaq Data Link).
6. Всё что касается экспериментальной статистики - это то что в коммерческом секторе называется альтернативными данными. Их поставщиков много, они фокусируются на предоставлении их в тех форматах которые наиболее удобны потребителям. Чаще всего это API, датасеты или базы данных в облачных сервисах.
#opendata #statistics #sdmx #data #dataengineering
- Статистика как дата продукт
- Хорошие и плохие практики публикации данных. Метаданные и форматы файлов
- Российская статистика: немашиночитаемая институциональная фрагментация
А также много постов у меня тут в канале по хештегу #statistics
Однако я понял что у меня практически нет компактного тезисного текста о том что происходит со статистикой в мире и как она меняется, хотя бы в части работы с потребителями.
1. Основные направления развития статистических продуктов это:
- создание дашбордов по аналогии с корпоративными дашбордами (Dashboard Deutschland)
- создание инструментов самостоятельного построения визуализаций пользователями (visualize.admin.ch)
- превращение портала статслужбы в портал данных (ons.gov.uk)
- предоставление данных для массовой выгрузки (ECB Data Portal)
- использование форматов данных из data science таких как parquet (OpenDOSM)
- продвижение и развитие SDMX форматов и API (BIS Data Portal)
- предоставление статистики в режиме API-first (SingStat TableBuilder и многие другие)
- развитие публикации высокочастотных показателей вплоть до суток (порталы статистики центральных банков, BIS Data Portal)
- развитие экспериментальной статистики (Eurostat, IStat, Statistics Iceland)
2. Большая часть статистических порталов в мире индивидуальны. Из известного тиражируемого ПО можно выделить только:
- PxWeb - продукт разработанный статслужбой Швеции, активно используемый всеми скандинавскими странами и рядом других стран.
- .Stat Suite - теперь с открытым кодом. Используется статслужбой Австралии, ОЭСР и рядом стран.
- Fusion Metadata Registry - изначально разработан командой Банка международных расчётов, сейчас отдан на коммерциализацию. Является ядром для большей части публичных порталов данных отдающих статистику с SDMX совместимым API. Например, SDMX Registry Евростата
3. Всё большее число статистических ведомств создают и публикуют дата стратегии. Эти стратегии охватывают такие вопросы как:
- принципы работы с данными
- приоритеты
- стандарты и форматы обмена и публикации данными
- политики работы с данными
- источники получения данных
Примеры:
- ONS Data Strategy - стратегия работы с данными статслужбы Великобритании
- ABS Data Strategy 2021-22 to 2025 - стратегия работы с данными статслужбы Австралии
- Statistics Canada Data Strategy - дата-стратегия статслужбы Канады
4. В некоторых странах статслужбы отвечают за национальные порталы открытых данных:
- Новая Зеландия - глава статслужбы занимает позицию Government Chief Data Steward (GCDS) и определяет принципы развития и дорожную карту нац портала данных data.govt.nz
- Малайзия - национальный портал открытых данных data.gov.my переделан в портал статистики и дашбордов на основе портала статпоказателей open.dosm.gov.my статистического офиса страны.
5. Все коммерческие поставщики данных временных рядов активно игнорируют международные стандарты вроде SDMX и фокусируются, в первую очередь, на предоставлении данных через API (Nasdaq Data Link).
6. Всё что касается экспериментальной статистики - это то что в коммерческом секторе называется альтернативными данными. Их поставщиков много, они фокусируются на предоставлении их в тех форматах которые наиболее удобны потребителям. Чаще всего это API, датасеты или базы данных в облачных сервисах.
#opendata #statistics #sdmx #data #dataengineering
404 пишет про то что данные с американского портала data.gov исчезают при новой администрации [1] количественно не очень много, но вероятность что будут исчезать данные по гендерным исследованиям или изменению климата весьма велика.
Jack Cushman из Гарвардского Университета начал проект по сохранению данных государственных данных и кода в архиве Harvard Law School Library Innovation Lab. Обещают вскоре опубликовать данные и метаданные собранного [2].
А я ещё год назад активистам в OKF говорил что архивация данных - это самое главное сейчас в тематике работы с данными и ещё неизвестно сколько общественных порталов открытых данных закроются из-за приостановки финансирования и закрытия USAID.
Ссылки:
[1] https://www.404media.co/archivists-work-to-identify-and-save-the-thousands-of-datasets-disappearing-from-data-gov/
[2] https://lil.law.harvard.edu/blog/2025/01/30/preserving-public-u-s-federal-data/
#opendata #datarescue #datasets #usa
Jack Cushman из Гарвардского Университета начал проект по сохранению данных государственных данных и кода в архиве Harvard Law School Library Innovation Lab. Обещают вскоре опубликовать данные и метаданные собранного [2].
А я ещё год назад активистам в OKF говорил что архивация данных - это самое главное сейчас в тематике работы с данными и ещё неизвестно сколько общественных порталов открытых данных закроются из-за приостановки финансирования и закрытия USAID.
Ссылки:
[1] https://www.404media.co/archivists-work-to-identify-and-save-the-thousands-of-datasets-disappearing-from-data-gov/
[2] https://lil.law.harvard.edu/blog/2025/01/30/preserving-public-u-s-federal-data/
#opendata #datarescue #datasets #usa
Собственно в продолжение сохранение открытых данных США. Открытый каталог данных USAID теперь закрыт [1], а сайт организации usaid.gov отключён.
У нас в Dateno сохранено немало [2] метаданных USAID, но, в основном, с других порталов открытых данных, а с порталом открытых данных USAID всегда были проблемы с его индексированием (многое правительственные сайты США за CDN и тяжело индексируются без ручного вмешательства).
А вообще повторяется история что и во многих странах, смена политического руководства приводит к исчезновению контента и данных.
В данном случае данные USAID не то чтобы очень ценные, финансы агентств публикуются на USASpending.gov и Grants.gov, но тем не менее тенденция на потерю данных есть.
Ссылки:
[1] https://data.usaid.gov
[2] https://dateno.io/search?query=usaid&refinementList[source.owner_type][0]=Central%20government&refinementList[source.countries.name][0]=United%20States
#opendata #usa #datarescue
У нас в Dateno сохранено немало [2] метаданных USAID, но, в основном, с других порталов открытых данных, а с порталом открытых данных USAID всегда были проблемы с его индексированием (многое правительственные сайты США за CDN и тяжело индексируются без ручного вмешательства).
А вообще повторяется история что и во многих странах, смена политического руководства приводит к исчезновению контента и данных.
В данном случае данные USAID не то чтобы очень ценные, финансы агентств публикуются на USASpending.gov и Grants.gov, но тем не менее тенденция на потерю данных есть.
Ссылки:
[1] https://data.usaid.gov
[2] https://dateno.io/search?query=usaid&refinementList[source.owner_type][0]=Central%20government&refinementList[source.countries.name][0]=United%20States
#opendata #usa #datarescue
Оказывается Foursquare анонсировали недавно [1] Foursquare Geospatial Intelligence Platform, нигде кроме анонса, даже на их сайте в такой формулировке не находится, но из анонса видно что они позиционируют три продукта как составные части это платформы.
Это такие продукты как:
- FSQ Graph - база всех точек POI собранных и очищенных в виде данных привязанных к системе геокодирования H3
- FSQ Database - высокопроизводительная база с использованием GPU для SQL аналитики
- FSQ Studio - интерактивный инструмент визуализации данных, в нём же они публикуют некий каталог геоданных (доступен только после авторизации)
И похоже что эти компоненты будут объединены в некий унифицированный продукт.
А ранее команда Foursquare выкладывала огромный набор данных точек интереса по всему миру [2].
Интересно будут ли они расширять доступность их компонентов как открытого кода и будут ли публиковать ещё открытые датасеты или ограничатся объединением текущих продуктов. В любом случае, Foursquare интересный источник, и геоданных, и технологий их визуализации.
Ссылки:
[1] https://location.foursquare.com/resources/blog/products/introducing-the-foursquare-geospatial-intelligence-platform/
[2] https://t.me/begtin/6202
#geodata #dataanalytics #foursquare #opendata
Это такие продукты как:
- FSQ Graph - база всех точек POI собранных и очищенных в виде данных привязанных к системе геокодирования H3
- FSQ Database - высокопроизводительная база с использованием GPU для SQL аналитики
- FSQ Studio - интерактивный инструмент визуализации данных, в нём же они публикуют некий каталог геоданных (доступен только после авторизации)
И похоже что эти компоненты будут объединены в некий унифицированный продукт.
А ранее команда Foursquare выкладывала огромный набор данных точек интереса по всему миру [2].
Интересно будут ли они расширять доступность их компонентов как открытого кода и будут ли публиковать ещё открытые датасеты или ограничатся объединением текущих продуктов. В любом случае, Foursquare интересный источник, и геоданных, и технологий их визуализации.
Ссылки:
[1] https://location.foursquare.com/resources/blog/products/introducing-the-foursquare-geospatial-intelligence-platform/
[2] https://t.me/begtin/6202
#geodata #dataanalytics #foursquare #opendata