В рубрике как это работает у них, портал открытых транспортных данных Франции transport.data.gouv.fr [1] я писал о нём несколько лет назад и за эти годы портал активно развивался.
На портале уже размещено 417 наборов данных [2] причем 112 наборов данных - это данные реального времени!
Данные публикуются в соответствии с 6 национальными стандартами описания транспортных данных.
Многие данные можно, также, увидеть на интерактивной карте [7] в реальном времени по местам публикации этих данных их владельцами.
Ссылки:
[1] https://transport.data.gouv.fr
[2] https://transport.data.gouv.fr/datasets?
[3] https://normes.transport.data.gouv.fr/
[4] https://transport.data.gouv.fr/explore
#opendata #france #transport #datasets
На портале уже размещено 417 наборов данных [2] причем 112 наборов данных - это данные реального времени!
Данные публикуются в соответствии с 6 национальными стандартами описания транспортных данных.
Многие данные можно, также, увидеть на интерактивной карте [7] в реальном времени по местам публикации этих данных их владельцами.
Ссылки:
[1] https://transport.data.gouv.fr
[2] https://transport.data.gouv.fr/datasets?
[3] https://normes.transport.data.gouv.fr/
[4] https://transport.data.gouv.fr/explore
#opendata #france #transport #datasets
👎2👍1
Продолжая рубрику "закрытые данные в России", годовые отчёты государственного портового контроля РФ не публикуются Росморречфлотом начиная с 2020 года [1].
Эти отчеты не являлись открытыми данными, но они содержали статистические сведения и факты портового контроля, как правило публиковались в апреле следующего года.
Подскажу что в непубличной информационной системе ИЦГПК эти отчёты есть и их даже можно найти при желании. Хоть и система непубличная, но не настолько чтобы поисковики не индексировали некоторые файлы. Важнее что в соответствующем разделе на сайте Росморречфлота этих отчётов нет. И это при том что и без того это очень высокоуровневые агрегированные цифры, публикуемые в PDF, а даже не в машиночитаемом виде.
Ссылки։
[1] https://morflot.gov.ru/deyatelnost/napravleniya_deyatelnosti/morskoy_flot/gosudarstvennyiy_portovyiy_kontrol/godovyie_otchetyi_gpk_v_rf/
#opendata #closeddata #russia #transport
Эти отчеты не являлись открытыми данными, но они содержали статистические сведения и факты портового контроля, как правило публиковались в апреле следующего года.
Подскажу что в непубличной информационной системе ИЦГПК эти отчёты есть и их даже можно найти при желании. Хоть и система непубличная, но не настолько чтобы поисковики не индексировали некоторые файлы. Важнее что в соответствующем разделе на сайте Росморречфлота этих отчётов нет. И это при том что и без того это очень высокоуровневые агрегированные цифры, публикуемые в PDF, а даже не в машиночитаемом виде.
Ссылки։
[1] https://morflot.gov.ru/deyatelnost/napravleniya_deyatelnosti/morskoy_flot/gosudarstvennyiy_portovyiy_kontrol/godovyie_otchetyi_gpk_v_rf/
#opendata #closeddata #russia #transport
👍1
Алексей Радченко в своём канале разбирает условия использования данных в транспортном комплексе Москвы, рекомендую почитать, это полезный пример того что даже на самом старте юридического, а ещё даже не технического анализа сбора данных, всплывает много косяков. В данном случае ключевые проблемы в том что условия использования... отсутствуют. В России с этим большая проблема, при запуске многочисленных государственных и полугосударственных систем про условия использования часто забывают. Не только в области транспорта, а просто повсеместно. И ведь исправить это несложно, но видимо мало жалоб. А с другой стороны, куда жаловаться, в Роскомнадзор?
#privacy #russia #transport
#privacy #russia #transport
Telegram
Канал Алексея Радченко
Меня тут зацепил пост Ивана Бегтина про то, какие данные собирают производители автомобилей (советую читать статью, а не пост, она более взвешенная). Общий смысл, что данных собирается очень много, включая данные про про все перемещения и даже сексуальную…
🔥8
В рубрике закрытых данных в России, из открытого доступа убрали сведения о расположении кораблей в портах [1] [2], похоже во всех, поскольку мне пока не удалось найти порт в котором бы эта информация раскрывалась на официальном сайте. А также закрыли систему "Судозаходы в РФ" [3]. Ранее сведения из "Табло портов" [4] в этой системе были общедоступны, теперь доступны только для зарегистрированных пользователей. Не могу сказать когда именно эти сведения стали скрывать, но точно в последние 2 года, поскольку ещё в октябре 2021 года они были доступны.
Хотя эти данные и не были открытыми и машиночитаемыми, в машиночитаемую форму они легко превращались.
Ссылки:
[1] https://www.mapm.ru/Port/View_TrafficShip
[2] https://bsamp.ru/port-novorossiysk-vessels.php
[3] https://portcall.marinet.ru/index.php
[4] https://portcalltable.marinet.ru/
#opendata #closeddata #russia #transport #ships #ports
Хотя эти данные и не были открытыми и машиночитаемыми, в машиночитаемую форму они легко превращались.
Ссылки:
[1] https://www.mapm.ru/Port/View_TrafficShip
[2] https://bsamp.ru/port-novorossiysk-vessels.php
[3] https://portcall.marinet.ru/index.php
[4] https://portcalltable.marinet.ru/
#opendata #closeddata #russia #transport #ships #ports
bsamp.ru
Морской порт Новороссийск - Расстановка судов в порту- Федеральное государственное бюджетное учреждение «Администрация морских…
Морской порт Новороссийск - Расстановка судов в порту - Федеральное государственное бюджетное учреждение «Администрация морских портов Черного моря».
😢8👍2❤1
В рубрике закрытых данных в России.
1. Закрытие статистики Росавиации
С февраля 2022 года не публикуется ведомственная статистика Росавиации которая включает:
- Основные производственные показатели гражданской авиации [1]
- Перевозки пассажиров [2]
- Перевозки грузов и почты [3]
2. Закрытие статистики органов прокуратуры
Генпрокуратура не только не обновляет портал Crimestat.ru [4] с января 2023 года, но и с февраля 2023 года не размещает Статистические данные об основных показателях деятельности органов прокуратуры [5]. Ведомственная статистика осталась на сайтах региональных органов прокуратуры, например, Москвы [6]
Ссылки:
[1] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-osnovnye-proizvodstvennye-pokazateli-ga/
[2] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-passazhirov/
[3] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-gruzov-i-pochty/
[4] https://crimestat.ru
[5] https://epp.genproc.gov.ru/web/gprf/activity/statistics/office/result
[6] https://epp.genproc.gov.ru/web/proc_77/activity/statistics/result
#closeddata #russia #opendata #statistics #transport #crime
1. Закрытие статистики Росавиации
С февраля 2022 года не публикуется ведомственная статистика Росавиации которая включает:
- Основные производственные показатели гражданской авиации [1]
- Перевозки пассажиров [2]
- Перевозки грузов и почты [3]
2. Закрытие статистики органов прокуратуры
Генпрокуратура не только не обновляет портал Crimestat.ru [4] с января 2023 года, но и с февраля 2023 года не размещает Статистические данные об основных показателях деятельности органов прокуратуры [5]. Ведомственная статистика осталась на сайтах региональных органов прокуратуры, например, Москвы [6]
Ссылки:
[1] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-osnovnye-proizvodstvennye-pokazateli-ga/
[2] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-passazhirov/
[3] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-gruzov-i-pochty/
[4] https://crimestat.ru
[5] https://epp.genproc.gov.ru/web/gprf/activity/statistics/office/result
[6] https://epp.genproc.gov.ru/web/proc_77/activity/statistics/result
#closeddata #russia #opendata #statistics #transport #crime
😢16❤2👍2
В рубрике как это работает у них портал transport.data.gouv.fr во Франции посвящённый открытым данным мобильности. На нём опубликованы многочисленные датасеты с данными по трафику общественного транспорта, дорогами, парковками, морском транспорте и многое другое. Причём очень много API с данными реального времени.
Используется десятками компаний большая часть из которых малые и средние предприятия. Пока покрывают 15 из 19 регионов Франции, с каждым годом наращивают покрытие.
Франция одна из немногих стран с подобным системным подходом по раскрытию данных по транспорту.
#opendata #datasets #france #transport
Используется десятками компаний большая часть из которых малые и средние предприятия. Пока покрывают 15 из 19 регионов Франции, с каждым годом наращивают покрытие.
Франция одна из немногих стран с подобным системным подходом по раскрытию данных по транспорту.
#opendata #datasets #france #transport
👍6🔥3
Свежая бесплатная полезная книга
Visualization for Public Involvement [1] про визуализацию инфраструктурных проектов для упрощения принятия решений, в том числе с вовлечением граждан. Вся книга построена вокруг транспортных проектов и примеров их визуализации департаментами транспорта в штатах США. Она в меньшей степени про работу с данными как с данными и в большей степени про визуализацию для нетехнических специалистов, но сложным образом, с 3D моделированием и тд. и про то как это позволяет вовлекать их в принятие решений.
Ссылки:
[1] https://nap.nationalacademies.org/catalog/27882/visualization-for-public-involvement
#dataviz #transport
Visualization for Public Involvement [1] про визуализацию инфраструктурных проектов для упрощения принятия решений, в том числе с вовлечением граждан. Вся книга построена вокруг транспортных проектов и примеров их визуализации департаментами транспорта в штатах США. Она в меньшей степени про работу с данными как с данными и в большей степени про визуализацию для нетехнических специалистов, но сложным образом, с 3D моделированием и тд. и про то как это позволяет вовлекать их в принятие решений.
Ссылки:
[1] https://nap.nationalacademies.org/catalog/27882/visualization-for-public-involvement
#dataviz #transport
👍6❤1
Я, кстати, искал примеры живых данных в формате Parquet которые бы публиковались целенаправленно как открытые данные и таки нашёл.
Проект Open Performance Data Initiative (OPDI) [1] создан Евроконтролем в 2022 году для публикации данных об эффективности управления воздушным трафиком.
Данные на портале публикуются в виде Parquet файлов [2], с интервалами дат и инструкцией по их автоматической загрузке. По сути симуляция API.
Причём данных там немало. Данные о событиях за 10 дней собираются в Parquet файл размером до 150МБ что с учётом сжатия формата хранения раскрывается в сотни миллионов значений за три года.
Ссылки:
[1] https://www.opdi.aero
[2] https://www.opdi.aero/flight-event-data
#opendata #europe #transport #airtraffic #datasets
Проект Open Performance Data Initiative (OPDI) [1] создан Евроконтролем в 2022 году для публикации данных об эффективности управления воздушным трафиком.
Данные на портале публикуются в виде Parquet файлов [2], с интервалами дат и инструкцией по их автоматической загрузке. По сути симуляция API.
Причём данных там немало. Данные о событиях за 10 дней собираются в Parquet файл размером до 150МБ что с учётом сжатия формата хранения раскрывается в сотни миллионов значений за три года.
Ссылки:
[1] https://www.opdi.aero
[2] https://www.opdi.aero/flight-event-data
#opendata #europe #transport #airtraffic #datasets
👍3✍1
В рубрике как это устроено у них проект bustimes.org с расписаниями автобусов в Великобритании и картой их движения в реальном времени. Автор обрабатывает данные из примерно десятка источников, геокодировал все остановки и позволяет спланировать поезки и найти сайты и контакты перевозчиков.
Пример проект на открытых данных, преимущественно используя открытые API транспортных служб Великобритании.
Такого нехватает для многих стран, хотя бы для региональных поездок.
Неидеальный, но открытый и полезный продукт. Жаль что там только Великобритания.
#opendata #transport #uk
Пример проект на открытых данных, преимущественно используя открытые API транспортных служб Великобритании.
Такого нехватает для многих стран, хотя бы для региональных поездок.
Неидеальный, но открытый и полезный продукт. Жаль что там только Великобритания.
#opendata #transport #uk
🔥8❤3✍2⚡1
Интересные международные базы данных охватывающие почти все или многие страны мира:
- EDGAR - Emissions Database for Global Atmospheric Research https://edgar.jrc.ec.europa.eu/ - база по выбросам в атмосферу по всему миру, охватывает 220 стран, создается в рамках программы ЕС . Охватывает 54 года
- EMBER Energy Data https://ember-energy.org/ - портал с датасетами и показателями по энергетике, ведется одноименным британским мозговым центром, собирают данные из разных официальных источников
- OpenNetZero https://opennetzero.org - каталог данных с датасетами по теме снижения выбросов парниковых газов, данные и статистика по возобновляемой энергии и не только
- Aviation Intelligence Portal https://ansperformance.eu - портал с данными по полетам/авиации в Европейском союзе, редкий случай когда за авиационные данные и статистику не берут деньги. Позволяет, например, смотреть на статистику полетов по странам как показатель идущего кризиса роста цен на авиатопливо
#opendata #data #datasets #statistics #transport #energy #climate #aviation
- EDGAR - Emissions Database for Global Atmospheric Research https://edgar.jrc.ec.europa.eu/ - база по выбросам в атмосферу по всему миру, охватывает 220 стран, создается в рамках программы ЕС . Охватывает 54 года
- EMBER Energy Data https://ember-energy.org/ - портал с датасетами и показателями по энергетике, ведется одноименным британским мозговым центром, собирают данные из разных официальных источников
- OpenNetZero https://opennetzero.org - каталог данных с датасетами по теме снижения выбросов парниковых газов, данные и статистика по возобновляемой энергии и не только
- Aviation Intelligence Portal https://ansperformance.eu - портал с данными по полетам/авиации в Европейском союзе, редкий случай когда за авиационные данные и статистику не берут деньги. Позволяет, например, смотреть на статистику полетов по странам как показатель идущего кризиса роста цен на авиатопливо
#opendata #data #datasets #statistics #transport #energy #climate #aviation
Ember
Home | Ember
Ember is a global energy think tank that aims to accelerate the clean energy transition with data and policy.
✍5⚡3🔥3
В рубрике как это устроено у них NeTEx стандарт Евросоюза по публикации данных о транспорте, расписании и инфраструре. Публикуется в таких каталогах данных как Open Data Portal for Belgian Public Transport наряду с данными в формате GTFS и другими. А также используемый в системах автоматизированного управления транспортом в Евросоюзе наряду со многими другими стандартами.
#opendata #eu #transport #datacatalogs #standards
#opendata #eu #transport #datacatalogs #standards
GitHub
GitHub - TransmodelEcosystem/NeTEx: NeTEx (Network Timetable Exchange) - CEN/TS 16614 series dedicated to the exchange of Public…
NeTEx (Network Timetable Exchange) - CEN/TS 16614 series dedicated to the exchange of Public transport static data - TransmodelEcosystem/NeTEx
✍3👍1🔥1
Каталоги данных о мобильности
В реестре dataportals-registry европейская тема Transport стоит у 2337 активных каталогов: 1537 геопорталов и 641 портал открытых данных. Большая часть - общие витрины, где дороги, остановки или ДТП оказываются одним из разделов.
Отдельный слой - специализированные каталоги mobility: национальные точки доступа, порталы операторов и глобальные сборники фидов. География темы перекошена в сторону США: 692 записи, в основном ArcGIS-хабы дорожных ведомств штатов.
Европейские точки доступа
National Access Point по директиве ITS в реестре делится на два типа данных.
Дорога и трафик, обычно DATEX II: немецкая Mobilithek, датский Dataudveksleren, финский каталог Digitraffic, испанский NAP DGT, хорватский promet-info.hr, словенский nap.si, румынский pna.cestrin.ro, бельгийский transportdata.be, кипрский traffic4cyprus.org.cy, чешский registr.dopravniinfo.cz, голландский NTM, норвежский Transportportal, шведский trafficdata.se, греческий data.nap.gov.gr.
Расписания и мультимодальные поездки, обычно NeTEx, GTFS и SIRI: французский transport.data.gouv.fr, австрийский mobilitydata.gv.at, испанский nap.transportes.gob.es (второй NAP Испании, рядом с DGT), финский FINAP, итальянский каталог CCISS, португальский nap-portugal.imt-ip.pt, латвийский transportdata.gov.lv.
Такая точка доступа публикует метаданные и адрес фида производителя. Сам файл часто лежит у оператора.
Операторы и города
Швейцария: федеральная платформа data.opentransportdata.swiss (CKAN, GTFS и realtime), отдельно SBB и женевский TPG.
Франция: Île-de-France Mobilités и API-портал PRIM, RATP, SNCF, сеть STAR в Ренне, каталог Navitia.
Германия: 10 марта 2024 Deutsche Bahn закрыла свой CKAN. Наборы переехали в Mobilithek, GovData и Open Data ÖPNV. API расписаний, станций и GBFS остались на developers.deutschebahn.com. Рядом земельная MobiData BW и портал RNV.
Дальше по карте: BKK в Будапеште (GTFS и GTFS-Realtime), японский ODPT, тайваньский TDX как национальный API-хаб, Transport for NSW и Transport Victoria, голландские данные RDW (транспортные средства и парковки), лиссабонские EMEL и геопортал TML, боготинская Secretaría de Movilidad, мадридский CRTM. Ирландский NTA вынес GTFS и realtime в портал разработчика: developer.nationaltransport.ie.
В российской части реестра отдельно стоит GeoServer «Московского транспорта»: transport.mos.ru/geoserver. Это публикация геослоёв WMS/WFS.
Мир и агрегаторы
Mobility Database — глобальный каталог GTFS, GTFS-Realtime и GBFS от MobilityData, со скачиваемым sources.csv.
Transport Data Commons — коалиционный CKAN по транспорту. Витрина OpenDataSoft: transport.opendatasoft.com. Digital Transport for Africa — GitLab-инвентарь городских GTFS для Африки и Латинской Америки. TUMI Data Hub собирает данные городской мобильности. Mobito — коммерческая витрина: каталог открыт без входа, покупка данных идёт через аккаунт.
Рядом исследовательские каталоги: немецкий FID move и Urban Mobility Observatory TU Delft. Статистика, а не фиды: корейская KTDB, американские data.transportation.gov и data.bts.gov.
Как собирать
Расписания ищите в NeTEx или GTFS у точки доступа и у оператора. Пробки и дорожные работы - в DATEX II у дорожного NAP. Шеринг - в GBFS. Один и тот же фид часто числится в национальном каталоге, у перевозчика и в агрегаторе: сверяйте канонический URL источника.
#opendata #transport #datacatalogs
В реестре dataportals-registry европейская тема Transport стоит у 2337 активных каталогов: 1537 геопорталов и 641 портал открытых данных. Большая часть - общие витрины, где дороги, остановки или ДТП оказываются одним из разделов.
Отдельный слой - специализированные каталоги mobility: национальные точки доступа, порталы операторов и глобальные сборники фидов. География темы перекошена в сторону США: 692 записи, в основном ArcGIS-хабы дорожных ведомств штатов.
Европейские точки доступа
National Access Point по директиве ITS в реестре делится на два типа данных.
Дорога и трафик, обычно DATEX II: немецкая Mobilithek, датский Dataudveksleren, финский каталог Digitraffic, испанский NAP DGT, хорватский promet-info.hr, словенский nap.si, румынский pna.cestrin.ro, бельгийский transportdata.be, кипрский traffic4cyprus.org.cy, чешский registr.dopravniinfo.cz, голландский NTM, норвежский Transportportal, шведский trafficdata.se, греческий data.nap.gov.gr.
Расписания и мультимодальные поездки, обычно NeTEx, GTFS и SIRI: французский transport.data.gouv.fr, австрийский mobilitydata.gv.at, испанский nap.transportes.gob.es (второй NAP Испании, рядом с DGT), финский FINAP, итальянский каталог CCISS, португальский nap-portugal.imt-ip.pt, латвийский transportdata.gov.lv.
Такая точка доступа публикует метаданные и адрес фида производителя. Сам файл часто лежит у оператора.
Операторы и города
Швейцария: федеральная платформа data.opentransportdata.swiss (CKAN, GTFS и realtime), отдельно SBB и женевский TPG.
Франция: Île-de-France Mobilités и API-портал PRIM, RATP, SNCF, сеть STAR в Ренне, каталог Navitia.
Германия: 10 марта 2024 Deutsche Bahn закрыла свой CKAN. Наборы переехали в Mobilithek, GovData и Open Data ÖPNV. API расписаний, станций и GBFS остались на developers.deutschebahn.com. Рядом земельная MobiData BW и портал RNV.
Дальше по карте: BKK в Будапеште (GTFS и GTFS-Realtime), японский ODPT, тайваньский TDX как национальный API-хаб, Transport for NSW и Transport Victoria, голландские данные RDW (транспортные средства и парковки), лиссабонские EMEL и геопортал TML, боготинская Secretaría de Movilidad, мадридский CRTM. Ирландский NTA вынес GTFS и realtime в портал разработчика: developer.nationaltransport.ie.
В российской части реестра отдельно стоит GeoServer «Московского транспорта»: transport.mos.ru/geoserver. Это публикация геослоёв WMS/WFS.
Мир и агрегаторы
Mobility Database — глобальный каталог GTFS, GTFS-Realtime и GBFS от MobilityData, со скачиваемым sources.csv.
Transport Data Commons — коалиционный CKAN по транспорту. Витрина OpenDataSoft: transport.opendatasoft.com. Digital Transport for Africa — GitLab-инвентарь городских GTFS для Африки и Латинской Америки. TUMI Data Hub собирает данные городской мобильности. Mobito — коммерческая витрина: каталог открыт без входа, покупка данных идёт через аккаунт.
Рядом исследовательские каталоги: немецкий FID move и Urban Mobility Observatory TU Delft. Статистика, а не фиды: корейская KTDB, американские data.transportation.gov и data.bts.gov.
Как собирать
Расписания ищите в NeTEx или GTFS у точки доступа и у оператора. Пробки и дорожные работы - в DATEX II у дорожного NAP. Шеринг - в GBFS. Один и тот же фид часто числится в национальном каталоге, у перевозчика и в агрегаторе: сверяйте канонический URL источника.
#opendata #transport #datacatalogs
⚡4❤4👍3✍2