Вышел доклад "The State of weather data infrastructure" [1] от The Open Data Institute посвященный инфраструктуре метерологических данных в Великобритании, других странах и данных создаваемых частным сектором.

Это интересный отчет для всех кто интересуется тем как устроены метеоданные за пределами России. Главные тезисы отчета можно свести к следующим:

• бизнес активно создает новые сенсоры и платформы и создает и анализирует метеорологические данные без участия государства;
• метеорологические ведомства, с одной стороны должны регулярно обновлять парк оборудования и использовать суперкомпьютеры, а с другой от них ждут открытых данных и сами они публикуют данные открыто, а не продают их;
• необходимы дополнительные инвестиции в data инфраструктуру метеоданных для обеспечения доступности данных.

В докладе много ссылок на существующие частные инициативы. Например, проекты PlanetIQ [2] и TAMDAR [3] , а также много последних новаций в том что касается предсказания погодных явлений.

Ссылки:
[1] https://theodi.org/the-state-of-weather-data-infrastructure-white-paper?utm_source=digg
[2] http://planetiq.com/
[3] https://weather.panasonic.aero/

#opendata #data #weather

Большое обновление в данных DataCrafter'а. В каталог загружены 1514 наборов данных о климате и погоде из Единой государственной системы информации об обстановке в Мировом океане (ЕСИМО). Все данные были преобразованы в унифицированные форматы и доступны в каталоге как открытые данные через API или в виде сборок/слепков данных.

Данные загружены вместе с описанием каждого поля, сведения доступны в разделе "Документация" к каждой таблице. Например, документация к набору данных Оперативные данные о сопутствующих метеонаблюдениях, передаваемых по коду FM-18 X BUOY. Период хранения в БД.

Несмотря на то что многие данные в системе ЕСИМО являются архивными, они могут пригодиться исследователям работающим с данными о мировом океане, климатологам, специалистам по работе с погодными данными и данными экономики моря.

Для нас загрузка такого числа наборов данных оказалась вызовом по причине числа наборов данных, всё таки 1514 наборов из системы ЕСИМО - это почти в 4 раза больше 393 наборов данных которые ранее к нам были загружены и сейчас интерфейс уже недостаточно удобен для работы с таким числом наборов данных, но мы уже работаем над его доработкой.

Второй вызов был в том что данные имеют свою специфику и текущие алгоритмы распознавания типов данных определяют типы данных наборов данных из ЕСИМО достаточно ограниченно. В ближайшее время начнётся работа по классификации этих полей и доработке алгоритмов под эту задачу.

#datasets #esimo #climate #weather #datacrafter #data

В каталог APICrafter'а загружен архив экстренных оповещений Росгидромета с 2013 по 2021 год включительно, актуальные сведения на 28 октября 2021 года [1]. В архиве 7672 записи, общим объёмом 2,9 мегабайта. Поскольку в первоисточнике присутствуют только записи о точной дате и времени оповещения и краткий текст, то и здесь представлены эти же данные.

Данные можно скачать без авторизации в формате пакета данных в формате MongoDB (BSON) [2], а также через API.

Они могут быть полезны исследователям обучающих алгоритмы выявления именованных объектов, разработчикам систем оповещения с расшифровкой упоминаемых географических объектов и погодных явлений, журналистам исследующим природные катастрофы и их частоту в нашей стране.

Ссылки:
[1] https://data.apicrafter.ru/packages/meteorf-extramessage
[2] https://data.apicrafter.ru/packages/meteorf-extramessage/builds

#opendata #datasets #weather