Ivan Begtin
9.1K subscribers
2.72K photos
5 videos
116 files
5.6K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
В рубрике как это работает у них, портал открытых транспортных данных Франции transport.data.gouv.fr [1] я писал о нём несколько лет назад и за эти годы портал активно развивался.

На портале уже размещено 417 наборов данных [2] причем 112 наборов данных - это данные реального времени!

Данные публикуются в соответствии с 6 национальными стандартами описания транспортных данных.

Многие данные можно, также, увидеть на интерактивной карте [7] в реальном времени по местам публикации этих данных их владельцами.

Ссылки:
[1] https://transport.data.gouv.fr
[2] https://transport.data.gouv.fr/datasets?
[3] https://normes.transport.data.gouv.fr/
[4] https://transport.data.gouv.fr/explore

#opendata #france #transport #datasets
👎2👍1
Продолжая рубрику "закрытые данные в России", годовые отчёты государственного портового контроля РФ не публикуются Росморречфлотом начиная с 2020 года [1].

Эти отчеты не являлись открытыми данными, но они содержали статистические сведения и факты портового контроля, как правило публиковались в апреле следующего года.

Подскажу что в непубличной информационной системе ИЦГПК эти отчёты есть и их даже можно найти при желании. Хоть и система непубличная, но не настолько чтобы поисковики не индексировали некоторые файлы. Важнее что в соответствующем разделе на сайте Росморречфлота этих отчётов нет. И это при том что и без того это очень высокоуровневые агрегированные цифры, публикуемые в PDF, а даже не в машиночитаемом виде.

Ссылки։
[1] https://morflot.gov.ru/deyatelnost/napravleniya_deyatelnosti/morskoy_flot/gosudarstvennyiy_portovyiy_kontrol/godovyie_otchetyi_gpk_v_rf/

#opendata #closeddata #russia #transport
👍1
Алексей Радченко в своём канале разбирает условия использования данных в транспортном комплексе Москвы, рекомендую почитать, это полезный пример того что даже на самом старте юридического, а ещё даже не технического анализа сбора данных, всплывает много косяков. В данном случае ключевые проблемы в том что условия использования... отсутствуют. В России с этим большая проблема, при запуске многочисленных государственных и полугосударственных систем про условия использования часто забывают. Не только в области транспорта, а просто повсеместно. И ведь исправить это несложно, но видимо мало жалоб. А с другой стороны, куда жаловаться, в Роскомнадзор?

#privacy #russia #transport
🔥8
В рубрике закрытых данных в России, из открытого доступа убрали сведения о расположении кораблей в портах [1] [2], похоже во всех, поскольку мне пока не удалось найти порт в котором бы эта информация раскрывалась на официальном сайте. А также закрыли систему "Судозаходы в РФ" [3]. Ранее сведения из "Табло портов" [4] в этой системе были общедоступны, теперь доступны только для зарегистрированных пользователей. Не могу сказать когда именно эти сведения стали скрывать, но точно в последние 2 года, поскольку ещё в октябре 2021 года они были доступны.

Хотя эти данные и не были открытыми и машиночитаемыми, в машиночитаемую форму они легко превращались.

Ссылки:
[1] https://www.mapm.ru/Port/View_TrafficShip
[2] https://bsamp.ru/port-novorossiysk-vessels.php
[3] https://portcall.marinet.ru/index.php
[4] https://portcalltable.marinet.ru/

#opendata #closeddata #russia #transport #ships #ports
😢8👍2❤1
В рубрике закрытых данных в России.

1. Закрытие статистики Росавиации

С февраля 2022 года не публикуется ведомственная статистика Росавиации которая включает:
- Основные производственные показатели гражданской авиации [1]
- Перевозки пассажиров [2]
- Перевозки грузов и почты [3]

2. Закрытие статистики органов прокуратуры

Генпрокуратура не только не обновляет портал Crimestat.ru [4] с января 2023 года, но и с февраля 2023 года не размещает Статистические данные об основных показателях деятельности органов прокуратуры [5]. Ведомственная статистика осталась на сайтах региональных органов прокуратуры, например, Москвы [6]

Ссылки:
[1] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-osnovnye-proizvodstvennye-pokazateli-ga/
[2] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-passazhirov/
[3] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-gruzov-i-pochty/
[4] https://crimestat.ru
[5] https://epp.genproc.gov.ru/web/gprf/activity/statistics/office/result
[6] https://epp.genproc.gov.ru/web/proc_77/activity/statistics/result

#closeddata #russia #opendata #statistics #transport #crime
😢16❤2👍2
В рубрике как это работает у них портал transport.data.gouv.fr во Франции посвящённый открытым данным мобильности. На нём опубликованы многочисленные датасеты с данными по трафику общественного транспорта, дорогами, парковками, морском транспорте и многое другое. Причём очень много API с данными реального времени.

Используется десятками компаний большая часть из которых малые и средние предприятия. Пока покрывают 15 из 19 регионов Франции, с каждым годом наращивают покрытие.

Франция одна из немногих стран с подобным системным подходом по раскрытию данных по транспорту.

#opendata #datasets #france #transport
👍6🔥3
Свежая бесплатная полезная книга
Visualization for Public Involvement [1] про визуализацию инфраструктурных проектов для упрощения принятия решений, в том числе с вовлечением граждан. Вся книга построена вокруг транспортных проектов и примеров их визуализации департаментами транспорта в штатах США. Она в меньшей степени про работу с данными как с данными и в большей степени про визуализацию для нетехнических специалистов, но сложным образом, с 3D моделированием и тд. и про то как это позволяет вовлекать их в принятие решений.

Ссылки:
[1] https://nap.nationalacademies.org/catalog/27882/visualization-for-public-involvement

#dataviz #transport
👍6❤1
Я, кстати, искал примеры живых данных в формате Parquet которые бы публиковались целенаправленно как открытые данные и таки нашёл.

Проект Open Performance Data Initiative (OPDI) [1] создан Евроконтролем в 2022 году для публикации данных об эффективности управления воздушным трафиком.

Данные на портале публикуются в виде Parquet файлов [2], с интервалами дат и инструкцией по их автоматической загрузке. По сути симуляция API.

Причём данных там немало. Данные о событиях за 10 дней собираются в Parquet файл размером до 150МБ что с учётом сжатия формата хранения раскрывается в сотни миллионов значений за три года.


Ссылки:
[1] https://www.opdi.aero
[2] https://www.opdi.aero/flight-event-data

#opendata #europe #transport #airtraffic #datasets
👍3✍1
В рубрике как это устроено у них проект bustimes.org с расписаниями автобусов в Великобритании и картой их движения в реальном времени. Автор обрабатывает данные из примерно десятка источников, геокодировал все остановки и позволяет спланировать поезки и найти сайты и контакты перевозчиков.

Пример проект на открытых данных, преимущественно используя открытые API транспортных служб Великобритании.

Такого нехватает для многих стран, хотя бы для региональных поездок.

Неидеальный, но открытый и полезный продукт. Жаль что там только Великобритания.

#opendata #transport #uk
🔥8❤3✍2⚡1
Интересные международные базы данных охватывающие почти все или многие страны мира:
- EDGAR - Emissions Database for Global Atmospheric Research https://edgar.jrc.ec.europa.eu/ - база по выбросам в атмосферу по всему миру, охватывает 220 стран, создается в рамках программы ЕС . Охватывает 54 года
- EMBER Energy Data https://ember-energy.org/ - портал с датасетами и показателями по энергетике, ведется одноименным британским мозговым центром, собирают данные из разных официальных источников
- OpenNetZero https://opennetzero.org - каталог данных с датасетами по теме снижения выбросов парниковых газов, данные и статистика по возобновляемой энергии и не только
- Aviation Intelligence Portal https://ansperformance.eu - портал с данными по полетам/авиации в Европейском союзе, редкий случай когда за авиационные данные и статистику не берут деньги. Позволяет, например, смотреть на статистику полетов по странам как показатель идущего кризиса роста цен на авиатопливо

#opendata #data #datasets #statistics #transport #energy #climate #aviation
✍5⚡3🔥3
В рубрике как это устроено у них NeTEx стандарт Евросоюза по публикации данных о транспорте, расписании и инфраструре. Публикуется в таких каталогах данных как Open Data Portal for Belgian Public Transport наряду с данными в формате GTFS и другими. А также используемый в системах автоматизированного управления транспортом в Евросоюзе наряду со многими другими стандартами.

#opendata #eu #transport #datacatalogs #standards
✍3👍1🔥1
Каталоги данных о мобильности

В реестре dataportals-registry европейская тема Transport стоит у 2337 активных каталогов: 1537 геопорталов и 641 портал открытых данных. Большая часть - общие витрины, где дороги, остановки или ДТП оказываются одним из разделов.

Отдельный слой - специализированные каталоги mobility: национальные точки доступа, порталы операторов и глобальные сборники фидов. География темы перекошена в сторону США: 692 записи, в основном ArcGIS-хабы дорожных ведомств штатов.

Европейские точки доступа

National Access Point по директиве ITS в реестре делится на два типа данных.

Дорога и трафик, обычно DATEX II: немецкая Mobilithek, датский Dataudveksleren, финский каталог Digitraffic, испанский NAP DGT, хорватский promet-info.hr, словенский nap.si, румынский pna.cestrin.ro, бельгийский transportdata.be, кипрский traffic4cyprus.org.cy, чешский registr.dopravniinfo.cz, голландский NTM, норвежский Transportportal, шведский trafficdata.se, греческий data.nap.gov.gr.

Расписания и мультимодальные поездки, обычно NeTEx, GTFS и SIRI: французский transport.data.gouv.fr, австрийский mobilitydata.gv.at, испанский nap.transportes.gob.es (второй NAP Испании, рядом с DGT), финский FINAP, итальянский каталог CCISS, португальский nap-portugal.imt-ip.pt, латвийский transportdata.gov.lv.

Такая точка доступа публикует метаданные и адрес фида производителя. Сам файл часто лежит у оператора.

Операторы и города

Швейцария: федеральная платформа data.opentransportdata.swiss (CKAN, GTFS и realtime), отдельно SBB и женевский TPG.

Франция: Île-de-France Mobilités и API-портал PRIM, RATP, SNCF, сеть STAR в Ренне, каталог Navitia.

Германия: 10 марта 2024 Deutsche Bahn закрыла свой CKAN. Наборы переехали в Mobilithek, GovData и Open Data ÖPNV. API расписаний, станций и GBFS остались на developers.deutschebahn.com. Рядом земельная MobiData BW и портал RNV.

Дальше по карте: BKK в Будапеште (GTFS и GTFS-Realtime), японский ODPT, тайваньский TDX как национальный API-хаб, Transport for NSW и Transport Victoria, голландские данные RDW (транспортные средства и парковки), лиссабонские EMEL и геопортал TML, боготинская Secretaría de Movilidad, мадридский CRTM. Ирландский NTA вынес GTFS и realtime в портал разработчика: developer.nationaltransport.ie.

В российской части реестра отдельно стоит GeoServer «Московского транспорта»: transport.mos.ru/geoserver. Это публикация геослоёв WMS/WFS.

Мир и агрегаторы

Mobility Database — глобальный каталог GTFS, GTFS-Realtime и GBFS от MobilityData, со скачиваемым sources.csv.

Transport Data Commons — коалиционный CKAN по транспорту. Витрина OpenDataSoft: transport.opendatasoft.com. Digital Transport for Africa — GitLab-инвентарь городских GTFS для Африки и Латинской Америки. TUMI Data Hub собирает данные городской мобильности. Mobito — коммерческая витрина: каталог открыт без входа, покупка данных идёт через аккаунт.

Рядом исследовательские каталоги: немецкий FID move и Urban Mobility Observatory TU Delft. Статистика, а не фиды: корейская KTDB, американские data.transportation.gov и data.bts.gov.

Как собирать

Расписания ищите в NeTEx или GTFS у точки доступа и у оператора. Пробки и дорожные работы - в DATEX II у дорожного NAP. Шеринг - в GBFS. Один и тот же фид часто числится в национальном каталоге, у перевозчика и в агрегаторе: сверяйте канонический URL источника.

#opendata #transport #datacatalogs
⚡4❤4👍3✍2