Продолжаю обзоры открытых данных создаваемых не-государством. На сей раз данные о инфраструктуре Интернета.

M-Lab (Measurement Lab) [1] - это консорциум посвящённый измерению Интернета. Он включает:
- New America’s Open Technology Institute (OTI)
- PlanetLab Consortium
- Google Inc.
- и множество академических инститов.

Проект создан для непрерывного мониторинга за качеством связи в Интернете, публикации данных о текущем состоянии этой связи и визуализации этих данных наглядно.

В рамках проекта раскрываются огромные объёмы данных [2] хранящиеся на Google Storage [3]. Это по несколько гигабайт архивных данных ежедневно.

В M-Lab уже накоплены данные созданы такими инструментами как:
- Glasnost [4] - определение приоритизации или цензуры сетевого трафика
- NDT [5] - инструмент измерения трафика TCP под большой нагрузкой
- Neurobot [6] - инструмент сбора информации о скорости каналов, сетевом нейтралитете и цензуре
- NPAD [7] - инструмент измеряющий проблемы в сетевом пути влияющие на производительность
- OONI [8] - инструмент измерения цензуры, прослушки и манипуляции трафиком
- Paris Traceroute [9] - инструмент картирующий топологию сети
- pathload2 [10] - инструмент для измерения ширины каналов
- ShaperProbe [11] - инструмент определения приоритизации трафика
- SlideStream [12] - инструмент измеряющий состояние TCP трафика и информацию о завершенных TCP соединениях
- mlab-collectd [13] - инструмент накопления статистики с серверов M-Lab

Все материалы публикуются под лицензией CC Zero. Практически весь код M-Lab раскрывается н Github [x]

Ссылки:
[1] https://www.measurementlab.net/about/
[2] https://www.measurementlab.net/data/
[3] https://www.measurementlab.net/data/gcs/
[4] https://console.developers.google.com/storage/browser/m-lab/glasnost/
[5] https://console.developers.google.com/storage/browser/m-lab/ndt/
[6] https://console.developers.google.com/storage/browser/m-lab/neubot/
[7] https://console.developers.google.com/storage/browser/m-lab/npad/
[8] https://console.cloud.google.com/storage/browser/m-lab/ooni/
[9] https://console.cloud.google.com/storage/browser/m-lab/paris-traceroute/
[10] https://console.developers.google.com/storage/browser/m-lab/pathload2/
[11] https://console.cloud.google.com/storage/browser/m-lab/shaperprobe/
[12] https://console.developers.google.com/storage/browser/m-lab/sidestream/
[13] https://console.developers.google.com/storage/browser/m-lab/utilization/
[14] https://github.com/m-lab

#opendata #opengov #internet

На днях произошла интереснейшая утечка большого объёма данных - структуры доменной зоны сайтов Северной Кореи [1] включающей множество ссылок на существующие веб-сайты в этой стране, включая сайты корпораций, госорганов и университетов.

Удалось это из-за некорректно настроенных доменных серверов что удалось узнать автору утечки во время своего проекта TLDR [2] (A Continuously Updated Historical TLD Records Archive).

Чем это закончится внутри самой кореи - кто знает, а вот посмотреть на некоторые их интернет ресурсы - очень интересно.


Ссылки:
[1] https://github.com/mandatoryprogrammer/NorthKoreaDNSLeak
[2] https://github.com/mandatoryprogrammer/TLDR

#opendata #internet #northkorea