Ivan Begtin
9.09K subscribers
2.5K photos
4 videos
113 files
5.26K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
В рубрике "как это работает у них" о том как устроены открытые данные во Франции.
Во Франции действует портал data.gouv.fr [1] где, в общей сложности, на апрель 2018 года опубликовано 33978 наборов данных [2] от 1418 [3] организаций и 1722 примеров использования данных [4].

Кроме того на портале зарегистрировано 25 537 пользователей, 144 тысячи ресурсов к данным опубликованных пользователями и идёт 2 015 дискуссий [5]. В количестве пользователей и есть ключевая особенность портала. В отличие от многих других проектов порталов открытых данных в мире, он основан на французском движке udata [6] который с самого начала ориентирован на социальное взаимодействие и реализован как социальная платформа.

Платформа позволяет очень удобно добавлять примеры использования наборов данных прямо на карточке набора данных. Например, один из наиболее востребованных наборов данных это результаты выборов 2012 года используется в 13 работах [7], а самый востребованный - это данные по демографии с детализацией до муниципального района (департамента) [8].

Отдельно обратите внимание что на государственном портале публикуются не только открытые данные государства, но и OpenStreetMap [9] и других сообществ работающих с открытыми данными во Франции, таких как Open Food Facts [10]. Государство выступает не только как публикатор данных и регулятор, но и как лидер.

Ссылки:
[1] http://data.gouv.fr
[2] https://www.data.gouv.fr/en/datasets/
[3] https://www.data.gouv.fr/en/organizations/
[4] https://www.data.gouv.fr/en/reuses/
[5] https://www.data.gouv.fr/en/dashboard/
[6] http://udata.readthedocs.io/en/stable/
[7] https://www.data.gouv.fr/en/datasets/election-presidentielle-2012-resultats-572126/
[8] https://www.data.gouv.fr/en/datasets/population/
[9] https://www.data.gouv.fr/fr/organizations/openstreetmap/
[10] https://www.data.gouv.fr/en/organizations/open-food-facts/

#opendata #opengov #france
За последние 13 лет в России появились значительные объёмы данных в открытом доступе и на их фоне гораздо меньше разговоров о том что же из открытого доступа исчезло. А такие данные есть и их немало, один из ключевых исчезнувших и ограниченных источников информации - это реестр государственного имущества на сайте Росимущества. [1]

В 2008 году Эльвира Набиуллина подписала приказ о раскрытии на сайте Росимущества информации о государственном имуществе в довольно подробной форме [1]. Например, только по космическим объектам эти данные включали:
—-
78. Реестровый номер федерального имущества (РНФИ).
79. Место запуска (космодром).
80. Дата запуска.
81. Центр управления полетом.
82. Дата посадки.
83. Наименование.
84. Назначение.
85. Правообладатель.
86. Документы - основания возникновения (основные реквизиты
правоудостоверяющих документов) права собственности Российской
Федерации, иного вещного права.
87. Стоимость (тыс. руб.): первоначальная; остаточная или
наименование иного вида стоимости.
88. Документы - основания изъятия из оборота, ограничения
оборота.

Ограничение (обременение)
89. Наименование части.
90. Вид ограничения (обременения).
91. Дата возникновения.
92. Дата прекращения.
93. Лицо, в пользу которого установлено ограничение
(обременение).
—-

Но, в 2016 году, Алексей Улюкаев подписал другой приказ [3], заменивший предыдущий и убравший из публичного доступа всю информацию о качественных характеристиках имущества и привязку к реквизитам правообладателя.
На примере того же космического объекта осталось лишь два поля:
16. Реестровый номер федерального имущества (РНФИ).
17. Наименование.

То же самое касается и всех остальных объектов государственного имущества. Объём публикуемых данных сократился многократно.

Ссылки:
[1] http://rosim.ru
[2] http://pravo.gov.ru/proxy/ips/?docbody=&nd=102127487&rdk=&backlink=1
[3] http://pravo.gov.ru/proxy/ips/?docbody=&prevDoc=102127487&backlink=1&nd=102401022&rdk=

#opendata #opengov #rosim
Я давно не делал обзор каналов про данные в телеграме. Кроме моего канала, который я стараюсь вести в очень субъективном формате есть многие кто пишут о данных и открытых данных.

Каналы о данных и их визуализации
@urbandata - Андрей Кармацкий, о данных в применении к городу
@data_publication - Андрей Дорожный, о визуальной журналистике
@ahminfin - Ольга Пархимович пишет о данных Минфина, Федерального Казначейства и других финансовых данных
@dataplace - Ирина Радченко, пишет о инструментах
@mapporn - визуализации на картах
@Persdata - в целом новостной канал по персональным данным

А также несколько дополнительных каналов работающих на базе @FeedRetranslatorBot который ретранслирует RSS ленты и новости с сайтов где нет RSS лент в каналы:
@infoculture - канал Инфокультуры, собирает новости со всех наших проектов. Обновляется нечасто
@opengovdigest - канал с новостями по Открытости Государства

Если Вы знаете интересные каналы про данные и всёс ними связанное - пишите мне в @begtinchat и я добавлю их в регулярные обзоры

#opendata #opengov
Переподтверждение открытости, то чего нехватает нынешнему (и приходящему) Правительству. В декабре 2017 года в Великобритании премьер-министр направил специальное письмо [1] подтверждающее приверженность к принципам открытости данных и продолжение публиковать их на постоянной основе.

Ссылки:
[1] https://www.gov.uk/government/publications/letter-from-the-prime-minister-on-government-transparency-and-open-data

#opendata #opengov
А вот это, пожалуй, именно то что меня лично более всего раздражает в блокировках сайтов. Это этический вопрос - я считаю что пропаганда криминальной субкультуры должна быть остановлена, но депутаты, сложно представить, но против.
Forwarded from Roskomsvoboda
Криминальную субкультуру «АУЕ» не хотят запрещать в Госдуме

➡️ https://roskomsvoboda.org/37699

Комитет Госдумы по безопасности и противодействию коррупции рекомендовал отклонить проект о запрете пропаганды криминальной субкультуры. Это уже второй парламентский комитет, выступивший против цензурирование криминального контента в Сети. Ранее инициативу сенатора Антона Белякова не поддержал комитет Госдумы по вопросам семьи, женщин и детей. Также отрицательный отзыв законопроект получил от Правового управления ГД, и даже одиозный депутат Ирина Яровая высказалась против, назвав законопроект Белякова избыточным.

о_О
Вышло постановление Правительства от 31 марта 2018 года №390 [1] [2] об изменениях в порядке раскрытия информации в сфере теплоснабжения, водоснабжения, водоотведения, обращения с твёрдыми коммунальными отходами.

В этот раз ничего не скрывается и, наоборот, много новых данных будет публиковаться и федеральным регулятором и регулируемыми субъектами на их сайтах и в системе ФГИС ЕИАС [3]

Из того на что стоит обратить внимание:
- регламент доступа к общедоступным данным ФГИС ЕИАС не описан как и процедура раскрытия информации из этой государственной информационной системы;
- прописаны процедуры публикации информации из ФГИС ЕАИС на сайты органов местного самоуправления
- в документе активно используется новый термин "унифицированные структурированные открытые форматы", а также вводится термин "Стандарт раскрытия"
- как и во многих других механизмах интеграции ФГИСов - ничего нет про СМЭВ.
- нигде и никак не упоминаются открытые данные (привет "Открытому правительству" которое, по ходу, забило нормативно-правовую работу);

Итого хорошего: больше данных будет публиковаться
Итого плохого: тема открытых данных "Открытым правительством" была потеряна и продолжается теряться

Глобально идея открытости государства и открытых данных в России требует полного перезапуска. И с данными куда больше понятно как это сделать.

Ссылки:
[1] http://government.ru/docs/31941/
[2] http://static.government.ru/media/files/PVLkzxIKEzyrRGh4faQsmnY4CePE9AI5.pdf
[3] http://www.eias.ru/

#opendata #opengov
Для тех кто любит работать с данными которые ближе к людям и бизнесу

Статистика отказов жёстких дисков от Backblaze много данных по каждому работающему у них диску и методика их сбора в разделе "The Raw Hard Drive Test Data" [1].

Common Voice Data [2] большой и открытый датасет голосовых данных для обучения алгоритмов распознавания от Mozilla.

Mozilla Location Services публикуют огромный датасет [3] идентификации местонахождения пользователей через Wifi, Bluetooth, GSM, CDMA, LTE и тд.

Ссылки:
[1] https://www.backblaze.com/b2/hard-drive-test-data.html
[2] https://voice.mozilla.org/en/data
[3] https://location.services.mozilla.com/downloads

#opendata #datasets
Jetbrains и Python Software Foundation опубликовали результаты опроса разработчиков на языке Python [1] в котором получили множество ответов и сформировали картину-образ сообщества.

Из интересного и ожидаемого - Python наиболее активно используется для веб-разработки и анализа данных.

В задачах Data Analysis и Machine Learning наиболее заметный рост. На сегодняшний день Python - это язык с невысоким порогом входа для обучения и огромным числом готовых пакетов для обработки данных.

И, конечно же, первичные анонимизированные данные опроса также опубликованы [2].

Если Вы хотите поучиться программировать, но не знаете чему, то попробуйте начать с Python. Это очень хороший стартовый язык, после него несложно учить более тяжелые языки вроде Java и C++, а для задач в обработке данных он годится сразу же.

Ссылки:
[1] https://www.jetbrains.com/research/python-developers-survey-2017/
[2] http://jb.gg/pythondevsurvey2017raw

#python #polls #data
ЦСР опубликовал сегодня Экспертный доклад «12 решений для нового образования» [1] [2], доклад интересный, в нём есть один важный аспект. Чтобы в области образования появились частные инвесторы, должно появиться право регистрации образовательной организации не как НКО. А сейчас этого права нет, все организации имеющие образовательную лицензию являются НКО.
Если удасться сдвинуть этот барьер - то да, это серьёзное изменение всей отрасли образования в России.


Ссылки:
[1] https://www.csr.ru/news/ekspertnyj-doklad-12-reshenij-dlya-novogo-obrazovaniya/
[2] https://www.csr.ru/wp-content/uploads/2018/04/Doklad_obrazovanie_Web.pdf

#csr #research
Роскомнадзор подал исковое заявление в суд об ограничении доступа к информационным ресурсам Telegram Messenger Limited Liability Partnership http://rkn.gov.ru/news/rsoc/news56642.htm

Ждем и готовимся. В итоге всё будет зависеть от позиции Google и Apple по удалению приложений из их магазинов для iPhone и Android. Если не удалят, то и все что делает Роскомнадзор не сработает.
В ФАС России опубликовали обновлённую дорожную карту в сфере информационных технологий [1] [2]

Там многое касается ИТ и телекоммуникаций, всячески рекомендую посмотреть всем кто интересуется что планирует государство делать с отраслью.

А раскрытия информации там касается только одно мероприятие:
—-
Установление требований по опубликованию информации, существенной для организации присоединения к сети связи оператора связи, осуществляющего трансляцию обязательных общедоступных телеканалов и (или) радиоканалов (организованных точках присоединения РТРС). Закрепление безусловного права операторов обязательных общедоступных телеканалов и (или) радиоканалов по присоединению к сети РТРС как напрямую, так и через другого оператора обязательных общедоступных телеканалов и (или) радиоканалов
—-

Ссылки:
[1] http://fas.gov.ru/news/24721
[2] http://fas.gov.ru/attachment/162837/download?1523023270

#it
Моя личная оценка что телеграм будет активно сопротивляться блокировкам, но у ряда пользователей могут возникнуть проблемы с доступом. Так что только в целях перестраховки.

Резервный план:
- почти всё что я пишу тут, я дублирую в Facebook'е https://facebook.com/ibegtin
- скорее всего основной поток сообщений я перенесу на Medium https://medium.com/@ibegtin и на Яндекс.Дзен https://zen.yandex.ru/id/5a315e1300b3dd77beb64261
- Чат про данные у нас продублирован в Slack'е и присоединится к нему можно по ссылке: https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE

#telegram
К жанру регулярных публикаций, хочу добавить жанр риторических вопросов.

Давно меня мучает вопрос, а что такое Рунет? Вот регуляторы же регулярно упоминают российский сегмент сети - так вот где границы Рунета?

Варианты:
1. Все сервера и оборудование в пределах границ Российской Федерации? Но это не охватывает огромного числа русскоязычных и ориентированных на Россию общедоступных ресурсов.

2. Все сайты в зонах .ru, .su, .рф и др? Но они могут хостится где угодно и регистрироваться не только российскими регистраторами.

3. Все сайты, сервера и оборудование российских юридических и физических лиц имеющих российское происхождение? Но у многих двойное гражданство, а российские компании могут держать оборудование за рубежом или, что чаще, арендовать его.

4. Все подсети зарегистрированные на российских физических и юридических лиц? Но они не обязательно развёрнуты в России и не обязательно на серверах в России есть IP адреса только этих подсетей.

Где границы нашей виртуальной родины? И надо ли вообще пытаться их искать?
Чуть было не пропущенный мной документ о котором надо рассказать подробнее.
Распоряжение Правительства от 24 марта 2018 года №500-р. О дополнении перечней общедоступной информации, размещаемой в интернете в форме открытых данных. [1] [2]

Казалось бы благое дело, федеральное правительство обязало власти субъектов федерации раскрытивать довольно подробный список открытых данных связанный с экологией, но, увы, качество этого списка оставляет желать лучшего.

Требования к публикации данных в России не содержат требований не содержат конкретных требований по детализации, частоте, форматам публикации и так далее.

Ничто буквально не помешает властям субъектов федерации публиковать данные агргегированно до субъекта, где-то изображениями, где-то записями в одну строчку, где-то ещё как-то, но не давая объективной картины.

Напомню что в распоряжении ничего нет про разработку стандартов или форматов публикации, нет ничего про формирование групп по разработке таких стандартов, нет ничего про мониторинг исполнения.

Но самое главное - это фундаментальная проблема отказа от "открытости по умолчанию". Это главное отличие движения за открытые данные в мире и международных соглашений в которых Россия не участвует. Открытость данных по умолчанию - это норма, но в России реализуется открытость по принципу "белых списков".

Ссылки:
[1] http://government.ru/docs/31928/
[2] http://static.government.ru/media/files/BK7g66vpKbmWLa7ZUofAKE9W5SfXfWGt.pdf

#opendata #opengov
Появилась краткая версия проекта стратегии от ЦСР на 2018-2024.
Тем, кто любит бродить по страницам:
https://strategy.csr.ru

Тем, кто предпочтет все в одном pdf:
https://strategy.csr.ru/files/strategy2024.pdf

Обсудить можем в https://t.me/begtinchat
Вышел отчёт Правительства о деятельности за 2012-2017 годы [1] [2] помимо общих красивых слов там ещё и 3 слайда - 18, 20, 27 напрямую касаются Интернета.

Я воздержусь от подробных комментариев, скажу лишь что в любом отчёте важно не то что там есть, а то чего там нет.

Ссылки:
[1] http://government.ru/news/32246/
[2] http://static.government.ru/media/files/cNe663ge3X6ILtWakxSav3iAbDHKU7y5.pdf

#government #internet