Наблюдаю аналогичное во всех более-менее крупных социальных платформах. Корпоративная цензура активно набирает обороты

Ютуб давно начал банить видео и каналы за контент, в этот раз новое правило - нельзя публиковать видео, рассказывающие о “техниках взлома”. Чтобы вы понимали, не обязательно что-то взламывать или делать что-то противоправное, рассказ о джейлбрейке айфона вполне попадает под то, что делать на ютубе нельзя.

Много лет мы пытались сбежать от цензуры государств, в результате получили цензуру корпораций. И неизвестно что хуже, потому что государства хотябы номиннально управляются общееством https://boingboing.net/2019/07/03/nobus-r-us.html

Как устроены расходы на ИТ в современном мире и в госуправлении? Вернее как они могут быть устроены.
Open Mobility Foundation [1] - это альянс городов которые скидываются и софинансируют открытый код необходимый для решений по управлению мобильностью жителей в городах.

В членах альянса 16 городов (15 в США и Богота в Колумбии), а также множество партнёров, корпораций активно инвестирующих в открытый код и Фонд Рокфеллера вместе с пулом других НКО.

Выглядит уже интересно, даже при том что OMF существует всего несколько месяцев. Некоторые города, Лос Анжелес, уже начали предоставлять открытый код для дальнейшего совместного использования другими городами [2] и под то что это станет частью OMF

Ссылки:
[1] https://www.openmobilityfoundation.org/
[2] https://github.com/CityOfLosAngeles/mds-core

#opendata #opengov #opencities

Сегодня в Государственной думе парламентские слушания о цифровой экономике. Я там тоже буду говорить про персональные и про открытые данные.

В США в рамках Федеральной стратегии данных [1] вышел черновик плана действий [2] с подробным описанием задач на 2019-2020 годы.

План этот очень отличается от всего что мы видим в России, прежде всего тем что это план не про деньги, там деньги не упоминаются вообще, это план про совместные действия органов власти.

Я перевёл основные мероприятия плана на русский язык.

Совместные действия: Всегосударственные дата сервисы
- Мероприятие 1: Создать совет по данным при офисе управления и бюджета (струтура внутри агентства GSA)
- Мероприятие 2: Разработка каталога курируемых курсов по Data Science
- Мероприятие 3: Разработка фреймворка по этике работы с данными
- Мероприятие 4: Разработка инструментария по защите данных
- Мероприятие 5: Разработка репозитория ресурсов и инструментов Федеральной дата стратегии
- Мероприятие 6: Пилот - Разработка стандартного исследователького приложения
- Мероприятие 7: Пилот - разработка инструмента автоматической инвентаризации data.gov
- Мероприятие 8: Пилот - стандартные дата каталоги для data.gov

Действия сообщества: Межведомственное взаимодействие
- Мероприятие 9: Улучшение дата ресурсов для исследования и разработки AI
- Мероприятие 10: Улучшение стандарта данных в финансовом управлении
- Мероприятие 11: Улучшение стандарта геопространственных данных

Действия отдельных агентств: Мероприятия агентств
- Мероприятие 12: Утверждение органов управления данными
- Мероприятие 13: Достижение зрелости в доступе к данным и доступе к инфраструктуре
- Мероприятие 14: Идентификация возможностей в повышение навыков работы с данными у сотрудников
- Мероприятие 15: Идентификация потребности в данных для решения ключевых задач агентств
- Мероприятие 16: Идентификация приоритетных наборов данных для планов открытых данных агентств

Можно обратить внимание что многие мероприятия сфокусированы на открытых данных. Это и мероприятие 16 про планы открытости и все мероприятия задействующие портал data.gov.

Подробнее про сроки, детализацию задач и остальное можно прочитать в плане действий [3]

Ссылки:
[1] https://strategy.data.gov
[2] https://strategy.data.gov/action-plan/
[3] https://strategy.data.gov/assets/docs/draft-2019-2020-federal-data-strategy-action-plan.pdf

#opendata #data #usa

Вышел доклад ООН World Public Sector Report of 2019 (Отчёт о госсекторе в мире за 2019 год) [1] сфокусированый на цели устойчивого развития N16: Фокус на государственных институтах.

Отчёт не содержит рейтингов, скорее он наполнен примерами по разным странам. Россия упоминается очень вскользь как пример страны где свобода прессы влияет на коррупцию. Далее эта тема там не развёрнута, так что даже непонятно что комментировать.

С другой стороны там много примером именно про открытые данные и открытость государства и есть, как полезные примеры, так и ссылки где можно узнать больше. В целом доклад средней бесполезности, но взглянуть на него стоит. В PDF его можно скачать тут [2]

Ссылки:
[1] http://fiscaltransparency.net/newsletters/GIFT_newsletter_JUN_19.html
[2] http://workspace.unpan.org/sites/Internet/Documents/UNPAN99332.pdf

#opendata #un #opengov

Институт открытых данных (The ODI) [1] выпустил обновлённую карту доступа к данным (data access map) [2] по тому как устроен механизм доступа к данным. Как и любая подобная инфографика - она скорее для красоты.

Ссылки:
[1] https://theodi.org
[2] https://theodi.org/article/updating-the-data-access-map

#opendata #data

Не секрет что привлечь талантливую молодежь к работе с государством непросто, а в ИТ так вдвое сложнее.

В Германии федеральное правительство запустило проект стажировок Tech4Germany [1] где они набирают до 25 юношей и девушек помогающих в переделке государственных систем. Проекты которые они делали в 2018 году - это переработка/обновление портала электронных аукционов и германский аналог gov.uk, портал сводящий вместе информацию для граждан и услуги которые они могут получить.

По каждому проекту стажёры пишут исследование пользовательского интерфейса, пользовательского пути и готовят предложения по его переделке. Они пишут код который, конечно же, публикуется в открытом доступе [2].

Здесь сложно не вспомнить программа президентских стажировок в инновациях в США [3]. В рамках которой было сделано очень много цифровых проектов для практически всех федеральных органов власти.

По такой же модели работает в США Civic Digital Fellowship, стажировки в 6 федеральных агентствах [4], аналогично программы стажировок по Data Science объявляются Канадским правительством [5]

Похожая программа Smart Nation Fellowship действует в Сингапуре [6] и во многих других странах.

Ссылки:
[1] https://www.tech4germany.org/en/
[2] https://github.com/tech4germany
[3] https://presidentialinnovationfellows.gov/
[4] https://www.codingitforward.com/
[5] https://impact.canada.ca/en/stream-5
[6] https://www.tech.gov.sg/careers/students-and-graduates/


#opengov #fellowship

Национальные проекты в России не являются чем-то новым, первый раз их инициировали 13 лет назад в 2006 году. Информация о них публиковалась на сайте rost.ru, просуществовавшем до 2012 года, после чего там появился сайт Партии Роста, я даже не догадываюсь как оказалось так что сайт президентской комиссии по нац проектам внезапно стал сайтом партии.

Но вернемся к тому что было тогда. Было 4 приоритетных национальных проекта: Жильё, Образование, Здоровье и Развитие АПК.

В чём-это эти нац проекты были похожие на те что были объявлены в 2018 году, в чём-то нет. Я сравнение сделаю позже. Пока же для пытливых умов предоставляю архив сайта сведений о приоритетных национальных проектах сделанный в 2011 году.

Это файл в 234 мегабайта http://files.begtin.tech/f/3c3c9b94ebb24a528172/ в архиве 7z - распаковать можно с помощью утилиты 7zip https://www.7-zip.org/

В архиве все материалы что были на сайте, включая все опубликованные документы, отчёты и так далее

Этот файл хранится у нас в цифровом архиве России, ruarxive.org и это лишь один из примеров того зачем нужна цифровая архивация в России

Немного и верхнеуровнево описал сравнение нац проектов от 2018 года с фцп, приоритетными нац. проектами 2006 года и госпрограммами с точки зрения открытости и доступности информации. https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/

Возможно ли применение искусственного интеллекта или, хотя бы, умных алгоритмов предсказания в геополитике? Вполне возможно.

Уже второе онлайн соревнование Geopolitical Forecasting Challenge 2 [1] для специалистов по работе с данными организует The Intelligence Advanced Research Projects Activity [2], исследовательское подразделение при руководители национальной разведки [3] США.

Вопросы на которые ищут ответы участники выглядят так:
- Сколько событий с тестированием ракет в Северной Корее будет в августе 2019 года?
- Появится ли случай, локально-передающийся вирус Зика в Бразилии в июле 2019 года?
- Какой будет ежедневная цена закрытия на золото в июне 2019 года в USA ?
- Какая политическая партия выиграет большую часть мест во время Польских Парламентских выборов?

И это только примеры вопросов, на практике их гораздо больше и ответы на них должны находится автоматически на основе данных которые предоставляют организаторы по прогнозам аналитиков и на основе тех данных что участники найдут/соберут сами. Данные которые IARPA предоставляет, также из весьма интересного источника. Cultivate Labs [4] собирают огромное число предсказаний от людей в режиме краудсорсинга, и они предоставляют своё API участникам.

Этот конкурс не единственный организуемый государством. В США помимо портала challenge.gov [5], конкурсы публикуются на платформах HeroX [6], Kaggle и многих других.

Лично я считаю что потенциал таких технологических конкурсов сильно недооценён в России.

Ссылки:
[1] https://www.herox.com/IARPAGFChallenge2
[2] http://www.iarpa.gov
[3] https://www.dni.gov/
[4] https://www.cultivatelabs.com/
[5] http://www.challenge.gov
[6] https://www.herox.com/crowdsourcing-projects/government

#challenges #data #osint #opendata

Новость незаслуженно упущенная в России, но важная. В октябре 2018 года Google обновили их политику использования рекламной сети и запретили, в том числе, размещать рекламу того что называется "Сторонние службы технической поддержки потребителей" [1].
А конкретнее:
Запрещено Техническая поддержка от сторонних поставщиков, связанная с технологиями и онлайн-услугами

Примеры: поддержка по устранению неполадок, безопасности, удалению вирусов, интернет-подключению, онлайн-аккаунтам (помощь со сменой пароля или логина и т. п.), установке программного обеспечения.
—
Под этот критерий попадают все неавторизованные центры починки ноутбуков, телефонов и иных устройств и ПО. Об этом Google писали в своём блоге ещё в августе 2018 года [2]. При этом в Google обещали запустить программу верификации сервисов починки, но не сделали этого и по этой причине не могли размещать рекламу даже авторизованные центры [3].

А теперь под их бан попал и сайт iFixIt [4] который предоставляет бесплатные руководства по починке устройств и продаёт инструмент их починки. Им не дали размещать рекламу поскольку на их сайте есть ссылки на третьесторонние сервисы починки.

Всё это к вопросу о том насколько механизмы подтверждения и сертификации от крупных корпораций монополий информационного риска могут заменить разного рода государственные реестры. Вопрос не праздный, с каждым годом влияние государств (правительств) снижается, а влияние цифровых/data корпораций растёт. Помимо дискриминационных форм влияния на рынки, они получают возможность устанавливать собственные правила и приоритеты в защите прав потребителей.

Ссылки:
[1] https://support.google.com/adspolicy/answer/6368711
[2] https://www.blog.google/products/ads/restricting-ads-third-party-tech-support-services/
[3] https://www.searchenginejournal.com/google-ads-restrictions-are-impacting-third-party-tech-support-providers/310549/
[4] https://ru.ifixit.com/News/an-open-letter-to-the-ftc-on-googles-banning-of-repair-business-ads

Пока анонимные телеграм каналы активно вспоминают все грехи Открытого правительства и Абызова лично, я напомню об одном важном - это карта российской науки. Если год назад она была в каком-то мимифицированном, полуистлевшем виде, то сейчас сайт карты исчез совсем. О ней писали многие, с разной степенью злорадства [1] [2] и только Новая газета "внезапно" публикует текст в её защиту [3].

Но ситуации это не меняет. Карта российской науки оказалась мертва. Какое отношение к ней имело открытое правительство? Самое непосредственное. Кто знает, может мы ещё застанем окончание этой истории.

Ссылки:
[1] http://phdru.com/stipend/mapofscience/
[2] https://pikabu.ru/story/zagublena_informatsionnaya_sistema_karta_rossiyskoy_nauki_stoimostyu_450_millionov_6088601
[3] https://www.novayagazeta.ru/articles/2019/07/19/81294-kto-sdal-kartu-rossiyskoy-nauki

Московский комсомолец с большим запозданием пишет о результатах аудиторской проверки "Карты Российской науки" [1], я писал об этом 29 июня [2] сразу после публикации сведений о результатах аудиторской проверки [3].

Самое странное что кто-то ещё и поднял страничку сайта mapofscience.ru [4] где ничего кроме главной страницы нет, а самое характерное - полное молчание со стороны руководства ГПНПБ и Прайсвотерхаус Куперс.

А вся эта история - она про чувство меры. В России есть много ИТ систем которые существуют только на бумаге и не только из-за коррупции, а ещё из-за смены законодательства или, реже, реальных проблем с внедрением. Но негласное правило в том что если стоимость системы превосходит некую планку - она должна существовать и быть в открытом доступе.

Попытаться делать систему с огромными расходами, в изначально конфликтной среде, изначально с сильным медийным вниманием и изначально со спорной архитектурой и идеей и думать что это сойдёт с рук - это в высшей степени авантюризм, в России заканчивающийся, как правило, уголовными делами.

Ссылки:
[1] https://www.mk.ru/politics/2018/08/02/na-skandalnuyu-kartu-rossiyskoy-nauki-potratili-450-millionov-rubley.html
[2] https://t.me/begtin/994
[3] http://audit.gov.ru/press_center/news/33645
[4] http://mapofscience.ru/

#opendata #opengov

Должен ли весь код создаваемый на бюджетные средства быть открытым кодом?
public poll

Да – 225
👍👍👍👍👍👍👍 84%

Нет – 43
👍 16%

👥 268 people voted so far.

Должен ли весь код создаваемый на бюджетные средства быть открытым кодом? Из 210 проголосовавших в телеграм более 80% согласны с этим. Среди тех кто комментировал вчера этот вопрос в чате и в Facebook - практически все говорили что да, за исключением вопросов обороны и нац безопасности.

Это хорошая новость. Лично я считаю что всё что разрабатывается за бюджетные средства, за редким исключением, должно быть открытым. Открытый код, открытые данные да и многое другое, включая открытые патенты и тд. и тп.

Европейский фонд открытого кода прямо сейчас проводит кампанию по сбору подписей [1] за то чтобы код создаваемый за средства государственных и муниципальных бюджетов раскрывался. Это хорошая, правильная кампания и её подписало уже более 25 тысяч человек и 170 организаций.

Обратите внимание - это не про использование продуктов на базе открытого кода, не про про Open Source как коммерческую отрасль, это про раскрытие кода заказываемых государством разработок.

Год назад я анализировал данные с Github и сравнивал то сколько кода в объёмах, активности, числу репозиториев и проектов публикуют органы власти разных стран. Полный набор данных лежит на data.world [2].

Важно то что открытый код публикуют органы власти очень разных стран. Это и США и Эквадор, и Перу и Малайзия. Не во всех странах пока ещё, но очень во многих.


Ссылки:
[1] https://publiccode.eu/ru/
[2] https://data.world/ibegtin/open-source-government-project

#opendata #opensource

Для тех кто интересуется данными не только с точки зрения Data Science, но и в более прикладных задачах работы с данными относящимися к дата инженерии.

Несколько полезных ресурсов:
- Data Engineering Cookbook [1] - поваренная книга по инженерии данных, много о том как системы работы с данными разворачиваются и используются
- Awesome Data Engineering - неплохой список ссылок на проекты по инженерии данных на Github
- Data Engineering How-to [3] - подборка ссылок на курсы и иные ресурсы по инжинерии данных
- What is Data Engineer [4] - ответ на вопрос кто такой инженер данных (для тех кто ещё об этом не знает)
- Who Is a Data Engineer & How to Become a Data Engineer? - подробно о том кто такие инженеры данных

В России вот уже много лет ажиотажный спрос на data science, но подготовка дата инженеров ушла на 2-й и 3-й план и это особенно чувствуется когда вопросы о том где взять данные и как настроить инфраструктуру звучат всё чаще.

То чем занимаюсь я лично - это чистая дата инженерия, с очень и очень небольшой долей науки о данных. Найти данные, создать инфраструктуру их обработки и очистки - всё это должен уметь дата инженер. Если Вы знаете хорошие курсы по этой теме на русском языке, поделитесь ими, например в чате.

Ссылки:
[1] https://github.com/andkret/Cookbook
[2] https://github.com/igorbarinov/awesome-data-engineering
[3] https://github.com/adilkhash/Data-Engineering-HowTo
[4] https://towardsdatascience.com/who-is-a-data-engineer-how-to-become-a-data-engineer-1167ddc12811

#data #opendata #dataengineering #dataengineer