Ivan Begtin
8.07K subscribers
1.47K photos
3 videos
99 files
4.21K links
I write about Open Data, Data Engineering, Government, Privacy and Data Preservation and other gov and tech stuff
Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech

Contact @NMBabina for ads proposals
Download Telegram
Счетная палата открывает исходный код своих новых программ
http://audit.gov.ru/press_center/news/37677

Счетная палата открывает исходный код своих новых программ
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Счетная палата - первый федеральный госорган, открывший исходный код своих проектов.

В репозитории кода (code.ach.gov.ru/public) есть блок «Образовательные ресурсы», исторические архивные данные (например, архив бюллетеня Счетной палаты с 1999 по 2010 год, которого нет на официальном сайте СП РФ), код сбора и обработки данных из государственных информационных систем. В дальнейшем планируется опубликовать дизайн-макет, код аналитических инструментов и многое другое. Информация будет обновляться не реже, чем раз в месяц, а далее на постоянной основе.

Также, согласно официального пресс-релиза, в Счетной палате РФ создается «озеро данных» и аналитические системы на основе Open Source продуктов.

Еще один шаг на пути к открытости Счетной палаты и, надеюсь, к получению полномочий по развитию и контролю над открытостью.

Официальный пресс-релиз доступен по ссылке: http://audit.gov.ru/press_center/news/37677
К тому о чём я писал ранее про открытый код Счётной палаты [1], важно дополнить что это действительно большой шаг. Открывать код для органов власти страшно потому что каждый из них под пристальным вниманием СМИ и страх облажаться неслабый. Для корпораций он тоже есть, хотя и не так остро стоит.

А я напомню что я и моя команда в Инфокультуре давно открываем исходный код наших проектов. На Github'е в 3-х репозиториях:
- Infoculture [2] - репозитории Инфокультуры
- DataCoon [3] - репозитории нашей группы Data Raccoon которая занималась аналитикой на заказ
- ivbeg [4] - мои личные репозитории кода

Почти весь код так или иначе связан с данными, поэтому часто данными же сопровождается. На вопрос о том зачем это нужно? С какой бы стати вообще это делать? Причин несколько
1. Привлечение разработчиков понимающих с чем они столкнуться в работе заранее.
2. Исправление кода, многие пишут о неточностях и ошибках и за что им большое спасибо
3. Обучение. В счётной палате идёт обучение сотрудников работе с данными, в Инфокультуре мы регулярно проводим мероприятия, встречи и хакатоны.


Ссылки:
[1] https://code.ach.gov.ru/public
[2] https://github.com/infoculture
[3] https://github.com/datacoon
[4] https://github.com/ivbeg

#opendata #opensource
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Если раньше данные в России были открытыми, то теперь они становятся платными.

За предоставление информации из государственного информационного ресурса бухгалтерской отчетности нужно будет с 1 января 2020 года платить 200 тыс. руб.

Продажа ЕГРЮЛ и ЕГРИП всегда вызывала вопросы, а продажа статистики бух. отчётности - тем более.

https://www.garant.ru/news/1279606/
Forwarded from Чартомойка
Новый КОНКУРС по визуализации данных!

Слово Алексею Кнорре:
Я работаю в Институте проблем правоприменения при ЕУСПб. В прошлом году мы провели первый в России репрезентативный виктимизационный опрос. Он показал, что почти 7/8 всех преступлений в стране не регистрируется правоохранительными органами. Мы выложили опросные данные в открытый доступ и объявляем конкурс по их визуализации.

‣ открытые данные для визуализации находятся тут
‣ призовой фонд — 50, 25 и 12 тыс. руб. за три первых места, соответственно
‣ в жюри дата-визуализаторы, представители МВД, Генпрокуратуры и академического сообщества
‣ мы понимаем термин «визуализация» максимально широко: от статичной картинки до интерактивной игры или теста
‣ дедлайн подачи — 31 июля 2019 г.

Подробнее о конкурсе здесь.
Будем рады видеть ваши конкурсные работы.
Кстати, хорошая статья на хабре о том что в Италии государство переходит на открытый код [1].

Я постоянно пишу о таких новостях в своём канале в Телеграм https://t.me/begtin и в Facebook'е, а развернуто в своём блоге http://begtin.tech

Приятно что теперь не я один об этом пишу.

А открытие кода органов власти - это важный тренд. И я напомню что открытый код - это первый шаг к открытой разработке. Пока органы власти в России не могут открывать репозитории для pull requests, не могут использовать Github (потому что хостинг в юрисдикции США) и тд. Но насколько возможно, всё необходимое делается и должно делаться чтобы максимально разработка госпроектов велась в открытую.

Это не только этически правильно, это формирует сообщество практиков.

Пишите Ваши идеи по коду Счётной палаты [2] и того чего нехватает в нём и другие идеи мне лично.

Ссылки:
[1] https://habr.com/ru/post/457734/
[2] https://code.ach.gov.ru/public

#opendata #opensource
Наблюдаю аналогичное во всех более-менее крупных социальных платформах. Корпоративная цензура активно набирает обороты
Forwarded from addmeto
Ютуб давно начал банить видео и каналы за контент, в этот раз новое правило - нельзя публиковать видео, рассказывающие о “техниках взлома”. Чтобы вы понимали, не обязательно что-то взламывать или делать что-то противоправное, рассказ о джейлбрейке айфона вполне попадает под то, что делать на ютубе нельзя.

Много лет мы пытались сбежать от цензуры государств, в результате получили цензуру корпораций. И неизвестно что хуже, потому что государства хотябы номиннально управляются общееством https://boingboing.net/2019/07/03/nobus-r-us.html
Как устроены расходы на ИТ в современном мире и в госуправлении? Вернее как они могут быть устроены.
Open Mobility Foundation [1] - это альянс городов которые скидываются и софинансируют открытый код необходимый для решений по управлению мобильностью жителей в городах.

В членах альянса 16 городов (15 в США и Богота в Колумбии), а также множество партнёров, корпораций активно инвестирующих в открытый код и Фонд Рокфеллера вместе с пулом других НКО.

Выглядит уже интересно, даже при том что OMF существует всего несколько месяцев. Некоторые города, Лос Анжелес, уже начали предоставлять открытый код для дальнейшего совместного использования другими городами [2] и под то что это станет частью OMF

Ссылки:
[1] https://www.openmobilityfoundation.org/
[2] https://github.com/CityOfLosAngeles/mds-core

#opendata #opengov #opencities
Сегодня в Государственной думе парламентские слушания о цифровой экономике. Я там тоже буду говорить про персональные и про открытые данные.
В США в рамках Федеральной стратегии данных [1] вышел черновик плана действий [2] с подробным описанием задач на 2019-2020 годы.

План этот очень отличается от всего что мы видим в России, прежде всего тем что это план не про деньги, там деньги не упоминаются вообще, это план про совместные действия органов власти.

Я перевёл основные мероприятия плана на русский язык.

Совместные действия: Всегосударственные дата сервисы
- Мероприятие 1: Создать совет по данным при офисе управления и бюджета (струтура внутри агентства GSA)
- Мероприятие 2: Разработка каталога курируемых курсов по Data Science
- Мероприятие 3: Разработка фреймворка по этике работы с данными
- Мероприятие 4: Разработка инструментария по защите данных
- Мероприятие 5: Разработка репозитория ресурсов и инструментов Федеральной дата стратегии
- Мероприятие 6: Пилот - Разработка стандартного исследователького приложения
- Мероприятие 7: Пилот - разработка инструмента автоматической инвентаризации data.gov
- Мероприятие 8: Пилот - стандартные дата каталоги для data.gov

Действия сообщества: Межведомственное взаимодействие
- Мероприятие 9: Улучшение дата ресурсов для исследования и разработки AI
- Мероприятие 10: Улучшение стандарта данных в финансовом управлении
- Мероприятие 11: Улучшение стандарта геопространственных данных

Действия отдельных агентств: Мероприятия агентств
- Мероприятие 12: Утверждение органов управления данными
- Мероприятие 13: Достижение зрелости в доступе к данным и доступе к инфраструктуре
- Мероприятие 14: Идентификация возможностей в повышение навыков работы с данными у сотрудников
- Мероприятие 15: Идентификация потребности в данных для решения ключевых задач агентств
- Мероприятие 16: Идентификация приоритетных наборов данных для планов открытых данных агентств

Можно обратить внимание что многие мероприятия сфокусированы на открытых данных. Это и мероприятие 16 про планы открытости и все мероприятия задействующие портал data.gov.

Подробнее про сроки, детализацию задач и остальное можно прочитать в плане действий [3]

Ссылки:
[1] https://strategy.data.gov
[2] https://strategy.data.gov/action-plan/
[3] https://strategy.data.gov/assets/docs/draft-2019-2020-federal-data-strategy-action-plan.pdf

#opendata #data #usa
Вышел доклад ООН World Public Sector Report of 2019 (Отчёт о госсекторе в мире за 2019 год) [1] сфокусированый на цели устойчивого развития N16: Фокус на государственных институтах.

Отчёт не содержит рейтингов, скорее он наполнен примерами по разным странам. Россия упоминается очень вскользь как пример страны где свобода прессы влияет на коррупцию. Далее эта тема там не развёрнута, так что даже непонятно что комментировать.

С другой стороны там много примером именно про открытые данные и открытость государства и есть, как полезные примеры, так и ссылки где можно узнать больше. В целом доклад средней бесполезности, но взглянуть на него стоит. В PDF его можно скачать тут [2]

Ссылки:
[1] http://fiscaltransparency.net/newsletters/GIFT_newsletter_JUN_19.html
[2] http://workspace.unpan.org/sites/Internet/Documents/UNPAN99332.pdf

#opendata #un #opengov
Институт открытых данных (The ODI) [1] выпустил обновлённую карту доступа к данным (data access map) [2] по тому как устроен механизм доступа к данным. Как и любая подобная инфографика - она скорее для красоты.

Ссылки:
[1] https://theodi.org
[2] https://theodi.org/article/updating-the-data-access-map

#opendata #data
Не секрет что привлечь талантливую молодежь к работе с государством непросто, а в ИТ так вдвое сложнее.

В Германии федеральное правительство запустило проект стажировок Tech4Germany [1] где они набирают до 25 юношей и девушек помогающих в переделке государственных систем. Проекты которые они делали в 2018 году - это переработка/обновление портала электронных аукционов и германский аналог gov.uk, портал сводящий вместе информацию для граждан и услуги которые они могут получить.

По каждому проекту стажёры пишут исследование пользовательского интерфейса, пользовательского пути и готовят предложения по его переделке. Они пишут код который, конечно же, публикуется в открытом доступе [2].

Здесь сложно не вспомнить программа президентских стажировок в инновациях в США [3]. В рамках которой было сделано очень много цифровых проектов для практически всех федеральных органов власти.

По такой же модели работает в США Civic Digital Fellowship, стажировки в 6 федеральных агентствах [4], аналогично программы стажировок по Data Science объявляются Канадским правительством [5]

Похожая программа Smart Nation Fellowship действует в Сингапуре [6] и во многих других странах.

Ссылки:
[1] https://www.tech4germany.org/en/
[2] https://github.com/tech4germany
[3] https://presidentialinnovationfellows.gov/
[4] https://www.codingitforward.com/
[5] https://impact.canada.ca/en/stream-5
[6] https://www.tech.gov.sg/careers/students-and-graduates/


#opengov #fellowship
Национальные проекты в России не являются чем-то новым, первый раз их инициировали 13 лет назад в 2006 году. Информация о них публиковалась на сайте rost.ru, просуществовавшем до 2012 года, после чего там появился сайт Партии Роста, я даже не догадываюсь как оказалось так что сайт президентской комиссии по нац проектам внезапно стал сайтом партии.

Но вернемся к тому что было тогда. Было 4 приоритетных национальных проекта: Жильё, Образование, Здоровье и Развитие АПК.

В чём-это эти нац проекты были похожие на те что были объявлены в 2018 году, в чём-то нет. Я сравнение сделаю позже. Пока же для пытливых умов предоставляю архив сайта сведений о приоритетных национальных проектах сделанный в 2011 году.

Это файл в 234 мегабайта http://files.begtin.tech/f/3c3c9b94ebb24a528172/ в архиве 7z - распаковать можно с помощью утилиты 7zip https://www.7-zip.org/

В архиве все материалы что были на сайте, включая все опубликованные документы, отчёты и так далее

Этот файл хранится у нас в цифровом архиве России, ruarxive.org и это лишь один из примеров того зачем нужна цифровая архивация в России
Немного и верхнеуровнево описал сравнение нац проектов от 2018 года с фцп, приоритетными нац. проектами 2006 года и госпрограммами с точки зрения открытости и доступности информации. https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/
Возможно ли применение искусственного интеллекта или, хотя бы, умных алгоритмов предсказания в геополитике? Вполне возможно.

Уже второе онлайн соревнование Geopolitical Forecasting Challenge 2 [1] для специалистов по работе с данными организует The Intelligence Advanced Research Projects Activity [2], исследовательское подразделение при руководители национальной разведки [3] США.

Вопросы на которые ищут ответы участники выглядят так:
- Сколько событий с тестированием ракет в Северной Корее будет в августе 2019 года?
- Появится ли случай, локально-передающийся вирус Зика в Бразилии в июле 2019 года?
- Какой будет ежедневная цена закрытия на золото в июне 2019 года в USA ?
- Какая политическая партия выиграет большую часть мест во время Польских Парламентских выборов?

И это только примеры вопросов, на практике их гораздо больше и ответы на них должны находится автоматически на основе данных которые предоставляют организаторы по прогнозам аналитиков и на основе тех данных что участники найдут/соберут сами. Данные которые IARPA предоставляет, также из весьма интересного источника. Cultivate Labs [4] собирают огромное число предсказаний от людей в режиме краудсорсинга, и они предоставляют своё API участникам.

Этот конкурс не единственный организуемый государством. В США помимо портала challenge.gov [5], конкурсы публикуются на платформах HeroX [6], Kaggle и многих других.

Лично я считаю что потенциал таких технологических конкурсов сильно недооценён в России.

Ссылки:
[1] https://www.herox.com/IARPAGFChallenge2
[2] http://www.iarpa.gov
[3] https://www.dni.gov/
[4] https://www.cultivatelabs.com/
[5] http://www.challenge.gov
[6] https://www.herox.com/crowdsourcing-projects/government

#challenges #data #osint #opendata