Ivan Begtin
9.09K subscribers
2.5K photos
4 videos
113 files
5.26K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
На программу деятельности федерального государственного бюджетного учреждения "Национальный исследовательский центр "Курчатовский институт" на 2018 - 2022 годы, правительство определило 172,9 миллиардов рублей [1] что утверждено распоряжением Правительства Российской Федерации от 24 марта 2018 г. № 502-р

Программа включает,в том числе, такие пункты как:
...
Будут созданы технологические решения системообразующего характера для формирования цифровой экономики в Российской Федерации.
...
и многие другие.

Объём программы сопоставим с федеральными целевыми программами за прошлые годы [2]. К сожалению, новый портал госпрограмм Programs.gov.ru [3] не работает, не открывает карточки отдельной программы и поэтому сложно сравнить с новыми госпрограмами, но и по сравнению со старыми - объём финансирования более чем значительный. Его детализация в тексте распоряжения правительства [4]


Ссылки:
[1] http://government.ru/docs/31892/
[2] http://fcp.economy.gov.ru/cgi-bin/cis/fcp.cgi/Fcp/FcpList/Full/2018
[3] http://programs.gov.ru/
[4] http://static.government.ru/media/files/D0Cd1k4VUcLZp4PB9TGmtNuCOy9I54gv.pdf

#government #finances #курчатовский
Открытые данные не помогают в том что государства и крупные коммерческие компании следят за гражданами, но помогают гражданам следить за государством и крупным бизнесом.

Из набора данных о поездках такси в Нью Йорке, ранее опубликованном дептрансом города, активисты выяснили [1] заметный поток такси в период заседания ФРС и банками.


Ссылки:
[1] https://news.uchicago.edu/article/2018/03/06/nyc-taxi-ride-data-suggest-cozy-relationship-between-big-banks-and-fed

#opendata #opengov #taxi
Cloudflare запустили универсальный DNS [1] публичный сервис с API и, по некоторым замерам [2], быстрее аналогов, Google / Quad9 / OpenDNS.
Обещают заботиться о приватности и всячески её обеспечивать.

Хорошая новость в том что к публичным сервисам добавился ещё один. К тому же Cloudflare это одна из немногих публичных IT компаний публикующих Transparency Report [3].

Не столь хорошая новость в том что Cloudflare, наряду с Amazon'ом и ещё рядом компаний становятся одним из ключевых инфраструктурных игроков Интернет'а.

Падение их инфраструктуры, утечка информации или взлом приведут к катастрофическим последствиям.

А в качестве дополнения напомню что не вредно свои DNS запросы обрабатывать самостоятельно на локальном сервере. Рекомендую сервера unbound [4] и Technitium DNS [5].

Они, как и другие, self hosted [6] решения - это разумная альтернатива облачным сервисам для тех кто озабочен личной приватностью.

И, конечно же, важно не забывать что государство стоит последним в списке тех кто следит за людьми. На первом месте всегда те кто умеет монетизировать эту информацию.

Об этом же, с хорошими иллюстарациями, свежая статья в India Today "The end of privacy" [7] о том как это устроено у них.

Отдельно отмечу, что в России тема приватности граждан выпадает из повестки. Коллеги из Роскомсвободы [8] [9] ведут неравный бой с Роскомнадзором и , а Общество защиты интернета [10] имеет изначально политическую природу, вернее, будет классифицироваться как политическое органами власти в виду организаторов в лице руководителя штаба А. Навального. При том что надо отдать им должное, их исследование сотовых операторов [11] довольно интересно.

В то же время классические общества защиты прав потребителей в России не обрели цифровой повестки и защитой цифровых прав не занимаются.

И здесь есть неприятная развилка в том что чтобы защищать цифровые права граждан в сети нужно иметь рычаг давления на корпорации в лице государства и наоборот, для давления на государство, нужен рычаг давления, в том числе через корпорации, объясняющие все проблемы кривого регулирования.

Эта не единственная, но не последняя развилка являющаяся следствием проблемности регулирования Интернета в России на сегодняшний день.

Ссылки:
[1] https://blog.cloudflare.com/announcing-1111/
[2] https://medium.com/@nykolas.z/dns-resolvers-performance-compared-cloudflare-x-google-x-quad9-x-opendns-149e803734e5
[3] https://www.cloudflare.com/transparency/
[4] https://unbound.net/
[5] https://technitium.com/dns/
[6] https://github.com/Kickball/awesome-selfhosted
[7] https://www.indiatoday.in/magazine/cover-story/story/20180409-indian-user-personal-data-leak-bjp-congress-data-leak-aadhaar-facebook-1201189-2018-03-29
[8] https://roskomsvoboda.org
[9] https://t.me/roskomsvoboda
[10] http://ozi-ru.org/
[11] https://roskomsvoboda.org/36953/

#opendata #privacy
Вышло распоряжение правительства от 23 марта 2018 года №481-р. "Об утверждении плана реализации Стратегии государственной политики в области защиты прав потребителей " [1]
Обратите внимание на пункт 21:
—-
Разработка и утверждение концепции поэтапного создания и развития новой цифровой платформы для потребителей на
базе государственного информационного ресурса в области защиты прав потребителей, качества и безопасности товаров, работ и услуг(далее - концепция создания цифровой платформы для потребителей), предусматривающей создание в том числе
информационных сервисов для потребителей, направленных на решение типичных жизненных ситуаций, получение полной информации из государственных и иных ресурсов о лицензиях, разрешениях, документах о подтверждении соответствия продукции (работ, услуг), о воздействии товаров на здоровье человека и иной потребительской информации с учетом исключения дублирования функций существующих коммерческих сервисов
—-
и на другие пункты в разделе "III. Развитие информационных ресурсов в сфере защиты прав потребителей и альтернативных механизмовразрешения споров, содействие просвещению и образованию потребителей".

Полный текст по ссылке [2]

Ссылки:
[1] http://government.ru/docs/31808/
[2] http://static.government.ru/media/files/b8LZ4vj5dxMOZjj8v43H6bXaqABaw5nG.pdf

#opendata #opengov #digitalgov
В рубрике "как это работает у них" о том как устроены открытые данные во Франции.
Во Франции действует портал data.gouv.fr [1] где, в общей сложности, на апрель 2018 года опубликовано 33978 наборов данных [2] от 1418 [3] организаций и 1722 примеров использования данных [4].

Кроме того на портале зарегистрировано 25 537 пользователей, 144 тысячи ресурсов к данным опубликованных пользователями и идёт 2 015 дискуссий [5]. В количестве пользователей и есть ключевая особенность портала. В отличие от многих других проектов порталов открытых данных в мире, он основан на французском движке udata [6] который с самого начала ориентирован на социальное взаимодействие и реализован как социальная платформа.

Платформа позволяет очень удобно добавлять примеры использования наборов данных прямо на карточке набора данных. Например, один из наиболее востребованных наборов данных это результаты выборов 2012 года используется в 13 работах [7], а самый востребованный - это данные по демографии с детализацией до муниципального района (департамента) [8].

Отдельно обратите внимание что на государственном портале публикуются не только открытые данные государства, но и OpenStreetMap [9] и других сообществ работающих с открытыми данными во Франции, таких как Open Food Facts [10]. Государство выступает не только как публикатор данных и регулятор, но и как лидер.

Ссылки:
[1] http://data.gouv.fr
[2] https://www.data.gouv.fr/en/datasets/
[3] https://www.data.gouv.fr/en/organizations/
[4] https://www.data.gouv.fr/en/reuses/
[5] https://www.data.gouv.fr/en/dashboard/
[6] http://udata.readthedocs.io/en/stable/
[7] https://www.data.gouv.fr/en/datasets/election-presidentielle-2012-resultats-572126/
[8] https://www.data.gouv.fr/en/datasets/population/
[9] https://www.data.gouv.fr/fr/organizations/openstreetmap/
[10] https://www.data.gouv.fr/en/organizations/open-food-facts/

#opendata #opengov #france
За последние 13 лет в России появились значительные объёмы данных в открытом доступе и на их фоне гораздо меньше разговоров о том что же из открытого доступа исчезло. А такие данные есть и их немало, один из ключевых исчезнувших и ограниченных источников информации - это реестр государственного имущества на сайте Росимущества. [1]

В 2008 году Эльвира Набиуллина подписала приказ о раскрытии на сайте Росимущества информации о государственном имуществе в довольно подробной форме [1]. Например, только по космическим объектам эти данные включали:
—-
78. Реестровый номер федерального имущества (РНФИ).
79. Место запуска (космодром).
80. Дата запуска.
81. Центр управления полетом.
82. Дата посадки.
83. Наименование.
84. Назначение.
85. Правообладатель.
86. Документы - основания возникновения (основные реквизиты
правоудостоверяющих документов) права собственности Российской
Федерации, иного вещного права.
87. Стоимость (тыс. руб.): первоначальная; остаточная или
наименование иного вида стоимости.
88. Документы - основания изъятия из оборота, ограничения
оборота.

Ограничение (обременение)
89. Наименование части.
90. Вид ограничения (обременения).
91. Дата возникновения.
92. Дата прекращения.
93. Лицо, в пользу которого установлено ограничение
(обременение).
—-

Но, в 2016 году, Алексей Улюкаев подписал другой приказ [3], заменивший предыдущий и убравший из публичного доступа всю информацию о качественных характеристиках имущества и привязку к реквизитам правообладателя.
На примере того же космического объекта осталось лишь два поля:
16. Реестровый номер федерального имущества (РНФИ).
17. Наименование.

То же самое касается и всех остальных объектов государственного имущества. Объём публикуемых данных сократился многократно.

Ссылки:
[1] http://rosim.ru
[2] http://pravo.gov.ru/proxy/ips/?docbody=&nd=102127487&rdk=&backlink=1
[3] http://pravo.gov.ru/proxy/ips/?docbody=&prevDoc=102127487&backlink=1&nd=102401022&rdk=

#opendata #opengov #rosim
Я давно не делал обзор каналов про данные в телеграме. Кроме моего канала, который я стараюсь вести в очень субъективном формате есть многие кто пишут о данных и открытых данных.

Каналы о данных и их визуализации
@urbandata - Андрей Кармацкий, о данных в применении к городу
@data_publication - Андрей Дорожный, о визуальной журналистике
@ahminfin - Ольга Пархимович пишет о данных Минфина, Федерального Казначейства и других финансовых данных
@dataplace - Ирина Радченко, пишет о инструментах
@mapporn - визуализации на картах
@Persdata - в целом новостной канал по персональным данным

А также несколько дополнительных каналов работающих на базе @FeedRetranslatorBot который ретранслирует RSS ленты и новости с сайтов где нет RSS лент в каналы:
@infoculture - канал Инфокультуры, собирает новости со всех наших проектов. Обновляется нечасто
@opengovdigest - канал с новостями по Открытости Государства

Если Вы знаете интересные каналы про данные и всёс ними связанное - пишите мне в @begtinchat и я добавлю их в регулярные обзоры

#opendata #opengov
Переподтверждение открытости, то чего нехватает нынешнему (и приходящему) Правительству. В декабре 2017 года в Великобритании премьер-министр направил специальное письмо [1] подтверждающее приверженность к принципам открытости данных и продолжение публиковать их на постоянной основе.

Ссылки:
[1] https://www.gov.uk/government/publications/letter-from-the-prime-minister-on-government-transparency-and-open-data

#opendata #opengov
А вот это, пожалуй, именно то что меня лично более всего раздражает в блокировках сайтов. Это этический вопрос - я считаю что пропаганда криминальной субкультуры должна быть остановлена, но депутаты, сложно представить, но против.
Forwarded from Roskomsvoboda
Криминальную субкультуру «АУЕ» не хотят запрещать в Госдуме

➡️ https://roskomsvoboda.org/37699

Комитет Госдумы по безопасности и противодействию коррупции рекомендовал отклонить проект о запрете пропаганды криминальной субкультуры. Это уже второй парламентский комитет, выступивший против цензурирование криминального контента в Сети. Ранее инициативу сенатора Антона Белякова не поддержал комитет Госдумы по вопросам семьи, женщин и детей. Также отрицательный отзыв законопроект получил от Правового управления ГД, и даже одиозный депутат Ирина Яровая высказалась против, назвав законопроект Белякова избыточным.

о_О
Вышло постановление Правительства от 31 марта 2018 года №390 [1] [2] об изменениях в порядке раскрытия информации в сфере теплоснабжения, водоснабжения, водоотведения, обращения с твёрдыми коммунальными отходами.

В этот раз ничего не скрывается и, наоборот, много новых данных будет публиковаться и федеральным регулятором и регулируемыми субъектами на их сайтах и в системе ФГИС ЕИАС [3]

Из того на что стоит обратить внимание:
- регламент доступа к общедоступным данным ФГИС ЕИАС не описан как и процедура раскрытия информации из этой государственной информационной системы;
- прописаны процедуры публикации информации из ФГИС ЕАИС на сайты органов местного самоуправления
- в документе активно используется новый термин "унифицированные структурированные открытые форматы", а также вводится термин "Стандарт раскрытия"
- как и во многих других механизмах интеграции ФГИСов - ничего нет про СМЭВ.
- нигде и никак не упоминаются открытые данные (привет "Открытому правительству" которое, по ходу, забило нормативно-правовую работу);

Итого хорошего: больше данных будет публиковаться
Итого плохого: тема открытых данных "Открытым правительством" была потеряна и продолжается теряться

Глобально идея открытости государства и открытых данных в России требует полного перезапуска. И с данными куда больше понятно как это сделать.

Ссылки:
[1] http://government.ru/docs/31941/
[2] http://static.government.ru/media/files/PVLkzxIKEzyrRGh4faQsmnY4CePE9AI5.pdf
[3] http://www.eias.ru/

#opendata #opengov
Для тех кто любит работать с данными которые ближе к людям и бизнесу

Статистика отказов жёстких дисков от Backblaze много данных по каждому работающему у них диску и методика их сбора в разделе "The Raw Hard Drive Test Data" [1].

Common Voice Data [2] большой и открытый датасет голосовых данных для обучения алгоритмов распознавания от Mozilla.

Mozilla Location Services публикуют огромный датасет [3] идентификации местонахождения пользователей через Wifi, Bluetooth, GSM, CDMA, LTE и тд.

Ссылки:
[1] https://www.backblaze.com/b2/hard-drive-test-data.html
[2] https://voice.mozilla.org/en/data
[3] https://location.services.mozilla.com/downloads

#opendata #datasets
Jetbrains и Python Software Foundation опубликовали результаты опроса разработчиков на языке Python [1] в котором получили множество ответов и сформировали картину-образ сообщества.

Из интересного и ожидаемого - Python наиболее активно используется для веб-разработки и анализа данных.

В задачах Data Analysis и Machine Learning наиболее заметный рост. На сегодняшний день Python - это язык с невысоким порогом входа для обучения и огромным числом готовых пакетов для обработки данных.

И, конечно же, первичные анонимизированные данные опроса также опубликованы [2].

Если Вы хотите поучиться программировать, но не знаете чему, то попробуйте начать с Python. Это очень хороший стартовый язык, после него несложно учить более тяжелые языки вроде Java и C++, а для задач в обработке данных он годится сразу же.

Ссылки:
[1] https://www.jetbrains.com/research/python-developers-survey-2017/
[2] http://jb.gg/pythondevsurvey2017raw

#python #polls #data
ЦСР опубликовал сегодня Экспертный доклад «12 решений для нового образования» [1] [2], доклад интересный, в нём есть один важный аспект. Чтобы в области образования появились частные инвесторы, должно появиться право регистрации образовательной организации не как НКО. А сейчас этого права нет, все организации имеющие образовательную лицензию являются НКО.
Если удасться сдвинуть этот барьер - то да, это серьёзное изменение всей отрасли образования в России.


Ссылки:
[1] https://www.csr.ru/news/ekspertnyj-doklad-12-reshenij-dlya-novogo-obrazovaniya/
[2] https://www.csr.ru/wp-content/uploads/2018/04/Doklad_obrazovanie_Web.pdf

#csr #research
Роскомнадзор подал исковое заявление в суд об ограничении доступа к информационным ресурсам Telegram Messenger Limited Liability Partnership http://rkn.gov.ru/news/rsoc/news56642.htm

Ждем и готовимся. В итоге всё будет зависеть от позиции Google и Apple по удалению приложений из их магазинов для iPhone и Android. Если не удалят, то и все что делает Роскомнадзор не сработает.
В ФАС России опубликовали обновлённую дорожную карту в сфере информационных технологий [1] [2]

Там многое касается ИТ и телекоммуникаций, всячески рекомендую посмотреть всем кто интересуется что планирует государство делать с отраслью.

А раскрытия информации там касается только одно мероприятие:
—-
Установление требований по опубликованию информации, существенной для организации присоединения к сети связи оператора связи, осуществляющего трансляцию обязательных общедоступных телеканалов и (или) радиоканалов (организованных точках присоединения РТРС). Закрепление безусловного права операторов обязательных общедоступных телеканалов и (или) радиоканалов по присоединению к сети РТРС как напрямую, так и через другого оператора обязательных общедоступных телеканалов и (или) радиоканалов
—-

Ссылки:
[1] http://fas.gov.ru/news/24721
[2] http://fas.gov.ru/attachment/162837/download?1523023270

#it
Моя личная оценка что телеграм будет активно сопротивляться блокировкам, но у ряда пользователей могут возникнуть проблемы с доступом. Так что только в целях перестраховки.

Резервный план:
- почти всё что я пишу тут, я дублирую в Facebook'е https://facebook.com/ibegtin
- скорее всего основной поток сообщений я перенесу на Medium https://medium.com/@ibegtin и на Яндекс.Дзен https://zen.yandex.ru/id/5a315e1300b3dd77beb64261
- Чат про данные у нас продублирован в Slack'е и присоединится к нему можно по ссылке: https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE

#telegram
К жанру регулярных публикаций, хочу добавить жанр риторических вопросов.

Давно меня мучает вопрос, а что такое Рунет? Вот регуляторы же регулярно упоминают российский сегмент сети - так вот где границы Рунета?

Варианты:
1. Все сервера и оборудование в пределах границ Российской Федерации? Но это не охватывает огромного числа русскоязычных и ориентированных на Россию общедоступных ресурсов.

2. Все сайты в зонах .ru, .su, .рф и др? Но они могут хостится где угодно и регистрироваться не только российскими регистраторами.

3. Все сайты, сервера и оборудование российских юридических и физических лиц имеющих российское происхождение? Но у многих двойное гражданство, а российские компании могут держать оборудование за рубежом или, что чаще, арендовать его.

4. Все подсети зарегистрированные на российских физических и юридических лиц? Но они не обязательно развёрнуты в России и не обязательно на серверах в России есть IP адреса только этих подсетей.

Где границы нашей виртуальной родины? И надо ли вообще пытаться их искать?
Чуть было не пропущенный мной документ о котором надо рассказать подробнее.
Распоряжение Правительства от 24 марта 2018 года №500-р. О дополнении перечней общедоступной информации, размещаемой в интернете в форме открытых данных. [1] [2]

Казалось бы благое дело, федеральное правительство обязало власти субъектов федерации раскрытивать довольно подробный список открытых данных связанный с экологией, но, увы, качество этого списка оставляет желать лучшего.

Требования к публикации данных в России не содержат требований не содержат конкретных требований по детализации, частоте, форматам публикации и так далее.

Ничто буквально не помешает властям субъектов федерации публиковать данные агргегированно до субъекта, где-то изображениями, где-то записями в одну строчку, где-то ещё как-то, но не давая объективной картины.

Напомню что в распоряжении ничего нет про разработку стандартов или форматов публикации, нет ничего про формирование групп по разработке таких стандартов, нет ничего про мониторинг исполнения.

Но самое главное - это фундаментальная проблема отказа от "открытости по умолчанию". Это главное отличие движения за открытые данные в мире и международных соглашений в которых Россия не участвует. Открытость данных по умолчанию - это норма, но в России реализуется открытость по принципу "белых списков".

Ссылки:
[1] http://government.ru/docs/31928/
[2] http://static.government.ru/media/files/BK7g66vpKbmWLa7ZUofAKE9W5SfXfWGt.pdf

#opendata #opengov
Появилась краткая версия проекта стратегии от ЦСР на 2018-2024.
Тем, кто любит бродить по страницам:
https://strategy.csr.ru

Тем, кто предпочтет все в одном pdf:
https://strategy.csr.ru/files/strategy2024.pdf

Обсудить можем в https://t.me/begtinchat