Ivan Begtin
8.08K subscribers
1.46K photos
3 videos
98 files
4.19K links
I write about Open Data, Data Engineering, Government, Privacy and Data Preservation and other gov and tech stuff
Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech

Contact @NMBabina for ads proposals
Download Telegram
Много вопросов к нам приходит про то как будет развиваться проект Счетной палаты Российской Федерации Госрасходы [1], чем он отличается от уже существующих государственных проектов ЕИС [2] и ЕПБС [3].

Ответ в этой картинке, карта данных по госфинансам в вопросах и ответах.

Что мы будем делать? Отвечать на эти вопросы. А вот то в какой последовательности я пока не расскажу.

Потому что "Хочешь рассмешить Бога - расскажи ему о своих планах" (c).

А вот я напомню что в рамках проекта у нас предусмотрена "Дата лаборатория" [4] и мы не только сами будем публиковать результаты подготовки данных и исследований в виде материалов и кода в Jupyter Notebook, но и предполагаем партнерство со всеми научными центрами работающими с данными по госфинансам.

Пишите если хотите начать работать с этими данными, ведете исследования, пишите научную статью и так далее.

Ссылки:
[1] https://spending.gov.ru
[2] http://zakupki.gov.ru
[3] http://budget.gov.ru
[4] https://spending.gov.ru/datalab/

#opendata #spending #data
Для тех кто ищет инструменты цифровой трансформации, работы с данными, открытый код готовых проектов и тд. в мире, специальная подборка примеров:

- Observatory of Public sector innovation [1] проект ОЭСР по истематизации лучших практик организации проектирования госуслуг, государственных систем, организации форсайтов, мозговых штурмов и так далее.
Всего более 300 инструментов включая 9 игр [2]

- мобильное приложение цифрового гражданства Италии [3] и его открытый код с подробным описанием компонентов, организации процесса разработки и дорожной карты

- лучшие практики разработки исходного кода команды 18fF [5] в США. Охватывает языки Python/Ruby/Node, принципы выбора языка и разные стадии разработки

- австралийская система дизайна компонентов государственных сайтов [6], весьма детально проработанная с охватом всех возможных элементов работы приложений и сайтов

Ссылки:
[1] https://oecd-opsi.org/search-toolkits/
[2] https://oecd-opsi.org/search-toolkits/
[3] https://io.italia.it/
[4] https://github.com/teamdigitale/io-app
[5] https://github.com/18F/development-guide
[6] https://github.com/govau/design-system-components

#opendata #opensource #tools
Гриша Бобук @addmeto пишет про recreation.gov и о том что это хороший неполитический пример того что государство может делать хорошо. На самом деле таких примеров в мире немало и в России тоже есть, но в другой области. Лучший пример в России культура.рф [1].

Но как бы сказать поточнее, конечно это всё политика, не макро политика возможно, но качество госуправления и концентрация компетенций. Например, американская система закупок мягко говоря далека от идеала. Запуск healthcare.gov в США - это мыльная опера с элементами трагикомедии, а 18F - наоборот мирового уровня группа разработчиков с открытым кодом. Везде есть хорошее и плохое и та часть политики которая называется качеством государственной политики и госуправления. Не politics, но policy

[1] https://культура.рф
Forwarded from addmeto
А вот еще одно, и опять не про политику: recreation.gov это только что запущенный сайт о туризме в штатах, сделанный государством. И это что-то невероятное, действительно человечный и полезный ресурс с информацией о том, где что посмотреть и как туда добраться. А можно нам такой же по России? Хотя сначала придется дороги построить, конечно https://www.recreation.gov/
О разнице в восприятии, языковых особенностях и о том во что вырождается открытость

Когда переводишь на русский язык слова явлений, определений и многое другое с других языков то часто возникает если не недопонимание то неточные трактовки. Например, устойчивые выражения "по данным открытых источников" или по "открытым данным" много лет мешало русскому переводу термина "open data", тоже открытые данные. Потому что в трактовке журналиста пишущего статью открытые данные - это любая общедоступная информация, но в трактовке open data - это вполне конкретная форма представления информации в машиночитаемом виде и под свободными лицензиями.

Когда появилось "Открытое правительство" и вообще декларируемая открытость органов власти мы пришли к другому искажению, отчасти искусственному. В мире под открытостью государства всегда подразумевается транспарентность как её основа, остальное - это важное обрамление. А вот открытость может иметь много черт, от дней открытых дверей до совершенно нерелевантных к прозрачности органа власти действий.

Во что вырождаются идеи по открытости в России и в каких формах они ещё существуют? Посмотрим на эволюцию open проектов.

1. Для многих городов открытость свелась исключительно к жалобам. Порталы вроде Открытый город Тольяти open.tgl.ru [1] и множество аналогичных - более десятков сайтов городов.
2. Кое где в регионах остались Открытые правительства субъектов федерации. Иркутская область [2], Краснодарский край [3], всего около десятка регионов
3. Очень много проектов под брендами "Открытое образование" [4]
4. Много медийных проектов в стиле "Открытой Россию с РЖД" [5]
5. Сайт федерального "Открытого пр-ва" выродился [6] в ленту новостей и, по хорошему, его надо полностью перезапускать. Потому что превращать сайт про открытость в сайт бездействующего экспертного совета, прямо скажем, некрасиво

Какие ещё формы когнитивных искажений открытости Вам встречались? Как правильно разграничивать термины?

Ссылки:
[1] http://open.tgl.ru
[2] http://open.irkobl.ru/
[3] http://open.krasnodar.ru/
[4] http://open.kbsu.ru/
[5] https://www.open.fpc.ru/
[6] https://open.gov.ru/

#open #opengov
Forwarded from Госзатраты
Дата-среда: “Открытые данные международных организаций: когда лучшее не враг хорошего”

4 декабря Алина Владимирова, научный сотрудник Института востоковедения РАН и вице-председатель Исследовательского комитета по политической власти Международной ассоциации политической науки, проведет лекцию об открытых данных международных организаций и подробнее расскажет о базе данных внешней торговли «Комтрейд ООН».

В плане лекции:
- основные вехи создания базы данных «Комтрейд ООН»;
- проблемы, с которыми столкнулись специалисты, собирая торговую статистику;
- особенности открытых данных международных организаций и оценка их качества.

Дата-среда пройдет в рамках проекта КГИ «Госзатраты».

Подробности и регистрация: http://amp.gs/sK9G.
Обратили ли Вы внимание что...

У Министерства просвещения РФ нет раздела "Документы" и публикации нормативно-правовых актов на их сайте [1] которые требуются по 8-ФЗ.

Значит ли это что?
1. 8-ФЗ перестал соблюдаться (закон "помер")
2. Не осталось НКО и активистов кто напоминает госорганов о его существовании.
3. Главный контролёр 8-ФЗ забил на свои полномочия и функции (кстати вспомните что за орган власти)
4. Минпросвещения даже не планировали его соблюдать

Или всё вместе? Но факт остаётся фактом - сайт Минпросвещения мало чем отличается от сайта визитки.

Ссылки:
[1] https://edu.gov.ru/

#opengov #open #website #ministryofsomething
А нет, всё прояснилось. Некоторые баннерорезки, в моём случае Privacy Budger, режет Госбар через который у Минпросвещения, зачем то, дана ссылка на их банк документов [1]

Что, впрочем, не отменяет вопроса почему его нет ни на карте сайта [2] ни на самом сайте в его содержании

Ссылки:
[1] https://docs.edu.gov.ru
[2] https://edu.gov.ru/sitemap/

#opengov
Я регулярно ссылаюсь на пример Австралийской цифровой стратегии как образец понятности и вот они обновили её ещё раз и можно увидеть, и содержательно, и наглядно, как там устроена их цифровая статегия [1]

Это всего 3 приоритета:
- Государство с которым легко взаимодействовать (госуслуги)
- Государство информированное гражданами (обратная связь)
- Государство которое соответствует цифровой эпохе (соответствие ожиданиям граждан)

Сам документ стратегии - это образец понятности [2] и более чем понятная дорожная карта [3] того как эта стратегия будет внедрятся.

Также 3 приоритета расписаны в 13 целей по 4, 4 и 5 целей на приоритет [4]. Каждая из этих целей расписывается ещё подробнее. Например, цель номер 8 - Earn your trust through being strong custodians of your data [5]
У цели всего 3 ключевых показателя:
- 48% доверие граждан правительству через Edelman Trust Barometer [6] с ростом в 8% относительно 2018 года
- публикация стратегии единого хостинга для государства
- публикация модели доверенной цифровой идентификации

И у каждой цели приведены примеры созданных проектов, для цели 8 это:
- Сервис myTax получения налоговых вычетов [7] через мобильное приложение
- Принципы обмена данными [8]
- Стратегия единого хостинга для государства [9]
- Модель доверенной цифровой идентификации [10]

Похожим образом описаны и все остальные цели и примеры проектов.

Ссылки:
[1] https://www.dta.gov.au/digital-transformation-strategy
[2] https://dta-www-drupal-20180130215411153400000001.s3.ap-southeast-2.amazonaws.com/s3fs-public/files/digital-transformation-strategy/digital-transformation-strategy.pdf
[3] https://www.dta.gov.au/dts-roadmap
[4] https://www.dta.gov.au/digital-transformation-strategy/digital-transformation-strategy-dashboard
[5] https://www.dta.gov.au/digital-transformation-strategy/digital-transformation-strategy-dashboard/objective-8-earn-your-trust-through-being-strong-custodians-your-data
[6] https://www.edelman.com/trust-barometer
[7] https://www.ato.gov.au/Individuals/myTax/2019/
[8] https://www.datacommissioner.gov.au/resources/sharing-data-safely-package
[9] https://www.dta.gov.au/our-projects/whole-government-hosting-strategy#:~:targetText=It%20is%20supported%20by%20a,the%20delivery%20of%20government%20services.
[10] https://www.dta.gov.au/our-projects/digital-identity/trusted-digital-identity-framework

#data #opengov #digital #digitalgov
В MIT Technology report пишут [1] о том что в Facebook в своём обновлённом отчёте о прозрачности [2] рассказывают что автоматически отсекают 98% видео и фотографий террористов. Происходит это благодаря технологиям распознавания образов, в том в реальном времени. Во многом причины этого в росте публикаций подобных материалов, также не последней причиной активизации исследований и разработки технологий является живая трансляция террориста из Новой Зеландии в Facebook'е после убийства 49 челове в двух мечетях города Christchurch.

Общественная безопасность это один из, не единственный, драйвер инвестиций в ИИ. Инновации создаваемые технологическими гигантами сейчас уже через несколько лет могут стать частью локальных и глобальных решений "умных" городов, территорий, защищённых пространств.


Ссылки:
[1] https://www.technologyreview.com/f/614774/this-is-how-facebooks-ai-looks-for-bad-stuff/
[2] https://transparency.facebook.com/community-standards-enforcement

#privacy #digital #ai
Откуда в мире столько открытого кода? Почему он необходим? В чём важность проектов открытости? А самое главное где найти финансирование на проекты с открытым кодом. В мире существуют десятки фондов и компаний поддерживающих открытый код. Вот лишь несколько из них:

- Mozilla Open Source Support (MOSS) [1] дают большие гранты на развитие проектов с открытым кодом полезных для продуктов Mozilla Foundation
- Google Open Source [2] поддерживают проекты в которых Google нужна доп функциональность, проекты в жизнестойкости которых Google заинтересован и стратегические проекты
- Samsung Next Stack [3] проекты децентрализованных технологией поддерживаются грантами от компании Samsung
- Digital Impact Allience [4] дают гранты на проекты помогающие обществу
- Sloan Foundation даёт гранты на разработку программного кода [5]
- Python Software Foundation [6] даёт гранты, в том числе на конференции.
- Knights Foundation [7] выдаёт гранты на технологическую журналистику, дата журналистику и прочие ИТ проекты для журналистов
- PrototypeFund [8] государственная грантовая программа Министерства образования и исследований Германии. Поддерживается Open Knowledge Foundation Germany

О том как искать финансирование для проектов на базе открытого кода есть специальное руководство с большим количеством примеров из жизни [8]

Ссылки:
[1] https://www.mozilla.org/en-US/moss/
[2] https://opensource.google/docs/growing/funding/
[3] https://samsungnext.com/whats-next/introducing-the-samsung-next-stack-zero-grant/
[4] https://www.osc.dial.community/grants.html
[5] https://sloan.org/programs/digital-technology/data-and-computational-research
[6] https://www.python.org/psf/grants/
[7] https://knightfoundation.org/programs/
[8] https://prototypefund.de/
[9] https://github.com/nayafia/lemonade-stand

#opensource #open
Ведомости пишут о том из Сколково предложили создать госинтегратора на базе их Технопарка [1]. Телеграм каналы уже активно цитируют эту новость, равно как и СМИ.

Мне, честно говоря, много что есть сказать по этому поводу и для этого придётся отойти от жанра сухого изложения новостей.

Многие из тех кто когда-либо работал в системных интеграторах или сталкивался с ними как заказчик/подрядчик и в иных ролях знают о масштабах, скажем так, их неэффективности. Интеграторы почти всегда выступают посредниками между заказчиком и пулом разработчиков / поставщиков оборудования и решений и, чаще всего, снимают основную маржу с контрактов.

При этом результативность этой работы часто столь низкая что тренд госуправления в мире в последние годы в переходе к in-house разработке и прямой контрактации с вендорами оборудования и ПО. По этой причине в конкурсе Пентагона на облачный сервис конкурировали Microsoft, Google и Amazon [2], а не многочисленные интеграторы которых и в США хватает.

По этой же причине в мире появлялись такие in-House команды как Team Digitale, CSIRO Data61, AlphaGov, GDS, 18f, Etalab и многие другие. Все они - это работающие на основе открытого кода и создающие открытый код команды созданные для создания цифровых услуг, платформ, проектов и продуктов вовлекающие разработчиков в создание реальных изменений в государствах.

В общем и целом системные интеграторы с ориентацией на государство уже давно находятся под двойным давлением - от крупных технологических компаний которые продают свои облачные платформы и интеграторы начинаются подстраиваться под эти платформы и под давлением тренда на открытие кода государственных проектов.

Это меняет бизнес модели, часто резко снижает маржинальность бизнеса, сильно усложняет разного рода серые схемы, двойную продажу одного и того же кода и одних и тех же услуг и многое другое.

Как относится к тому что в России хотят создать _единого госинтегратора_? С некоторым скепсисом, поскольку работа интеграторов построена вокруг государственных информационных систем и требует гораздо более системной госполитики по их проектированию, разработке и дальнейшей эксплуатации.

В некоторых ФОИВах и регионах уже давно выстроены свои замкнутые или полузамкнутые экосистемы под определённый технологический стек и которые требуют весьма специфических специалистов для их поддержания и развития.

Бизнес интеграторов всегда строился не на качестве кода или технологических новинках, а на _управлении сложностью_ ИТ проектов. И, хотя и управляют они так себе, но в течение долгого времени у них получалось это лучше чем у государства. По этой же причине и сейчас по большинству государственных информационных систем ключевые компетенции и люди находятся в интеграторах, а не в госзаказчиках.

Но, да, есть тренд на огосударствление, вернее тренд на огоскорпорачивание системной интеграции. Прямые субсидии и контракты с ед. исполнителем с Ростелекомом, НИИ Восход, Ростех и другими игроками рынка государственного происхождения - это всё про госинтеграцию как замену частных интеграторов.

Туда же можно отнести и эту новость о госинтеграторе на базе Сколковского технопарка, туда же можно отнести новость о цифровой платформе госуправления Сбербанка [3] и ряд других, не столь очевидных, но сигнальных новостей об изменении тренда.

Этот тренд - это передел всего государственного ИТ рынка в пользу 4-5 крупных госинтеграторов, находящихся в той или иной близости к центрам принятия решений. В этой "битве якодзун" за бортом, в первую очередь, останутся крупные и средние частные интеграторы которые будут, либо уходить в субпорядные отношения, либо уходить с рынка. Не моментально, это тренд не одного года, но он уже явно заметен.

Это будет происходить быстрее в дотационных субъектах федерации и ФОИВах с малыми ИТ бюджетами, поскольку на них есть инструменты финансово-бюджетного давления. В остальных это будет происходить сложнее, но сценарий не поменяется.
Я не буду судить сейчас об итоговой картине, хорошо это или плохо, отмечу лишь что в какой-то мере это естественное развитие рынка госИТ в России. И хорошо ещё если этот процесс будет мирный, а не с "публичными посадками" руководителей текущих интеграторов, что тоже можно регулярно наблюдать в последние годы.

Лично я считаю во всем этом важным следующее:
1. Сохранение конкуренции. Единый госинтегратор на всё - это, в целом, губительная история. 5-6 крупнейших - уже дают какую-то возможность конкуренции.
2. Команды in-House. Изменение закона о госслужбе в части найма ИТ специалистов и специалистов со специализацией в технологиях, возможность дистанционной работы и тд. Слишком многое нельзя отдавать на аутсорс интеграторам.
3. Открытый исходный код необходим. Это общемировой тренд на раскрытие исходного кода созданного за бюджетные средства и ведение открытой разработки для вовлечения ИТ сообщества.

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2019/12/01/817588-skolkovo-predlozhilo
[2] https://tjournal.ru/tech/122980-microsoft-poluchila-kontrakt-pentagona-na-10-milliardov-dollarov-proigravshiy-amazon-nazval-reshenie-nelogichnym
[3] http://government.ru/news/38464/

#government #it
Forwarded from Инфокультура
Завтра в 19:00 в Шанинке Алина Владимирова, научный сотрудник ИВ РАН и вице-председатель Исследовательского комитета по политической власти Международной ассоциации политической науки, проведет лекцию об открытых данных международных организаций и подробнее расскажет о базе данных внешней торговли «Комтрейд ООН». Алина расскажет про:
- основные вехи создания базы данных «Комтрейд ООН»;
- проблемы, с которыми столкнулись специалисты, собирая торговую статистику;
- особенности открытых данных международных организаций и их качество.

Лекция может быть интересна тем, кто использует статистику внешней торговли в своих исследованиях, а также тем, кто занимается сбором и публикацией открытых данных. Приглашаем к участию исследователей, аналитиков, научных сотрудников и всех желающих.
Как получить свои данные из всех тех сервисов которыми Вы пользуетесь? Непросто, но точно возможно.

В этот раз вместо поста я собраю такие сервисы в жанре Awesome Lists.

В Awesome Data Takeout [1] ссылки и инструкции на способы получения данных из большинства ключевых сервисо включая российские.

Список пополняемый, не стесняйтесь добавлять ссылки.

Ссылки:
[1] https://github.com/ivbeg/awesome-data-takeout

#data #datatakeout #dataexport
Тут относительно недавно 20 ноября 2019 года Минэкономразвития заключило контракт [1] на доработку портала data.gov.ru на 20 миллионов рублей с компанией РуНетСофт [2]

Предлагаю вопрос знатокам - в течение короткого брейншторма посмотреть на то что _не так_ с этим контрактом.

Лично я своё развернутое мнение напишу позже, скорее всего ближе к 9-декабря, когда будут подводить итоги его первого этапа.

Ссылки:
[1] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949419000094
[2] https://rns-soft.ru/

#opendata #data #contracts
Рубрика "нет слов"
📱Террористы ИГ использовали российский мессенджер TamTam для подготовки к теракту в Лондоне

Они сами обьявили об этом. После проверки в мессенджере обнаружили сотни каналов, принадлежащих террористической организации
Как запросить личные данные от компаний по GDPR. Проект DataRequests.org [1] от германской НКО Datenanfragen.de e. V. [2] помогает составлять запросы в компании обязанные отдавать данные пользователям по запросу. Для этого в их проекте есть форма запроса [3], универсальная для любого типа запроса и для этого они ведут базу компаний [4] с их контактами и политиками приватности.

Всё содержание проекта открыто в виде открытого кода и открытых данных [5] что позволяет применять код проекта и для других задач. Например для запросов в Российские госорганы по 8-ФЗ или по 59-ФЗ.

Ссылки:
[1] https://www.datarequests.org/
[2] https://verein.datenanfragen.de/en/constitution/
[3] https://www.datarequests.org/generator
[4] https://www.datarequests.org/company

#opendata #dataprotection #data #datarights