Ivan Begtin
9.09K subscribers
2.5K photos
4 videos
113 files
5.26K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
Два важных преданонса:
1. Мы уже начали планировать День открытых данных в 2019 году. В ближайшие месяцы определимся с программой, в зависимости от программы, с площадкой и с форматом. У нас есть формат этого года с направлениями: Бизнес, Государство, НКО, Город и Журналистика. Как это будет в 2019 году? Уже начинаем думать над этим.
Форматы могут быть разные. Можно вместо этого взять направления: здравоохранение, образование, транспорт, журналистика. Можно ещё как-то. В любом случае ещё есть время определиться.

Присылайте Ваши идеи и предложения на infoculture@infoculture.ru

2. В одну из ближайших встреч ДатаСреды мы хотим поднять вопрос о доступности и принципах работы Цифровых библиотек и цифровых архивов. Пока обсуждаем как и где лучше сделать акценты. Хочется поговорить и о нашем Национальный цифровой архив России и о том что в принципе важно делать в части доступности цифрового нац. достояния. В первую очередь это касается даже не оцифровки офлайнового, а в сохранении цифрового онлайнового.

Пишите на infoculture@infoculture.ru если у Вас будут идеи по мероприятию, готовность выступить и рассказать и вообще идеи по цифровой архивации/работе с долгосрочной доступностью цифрового контента.

#opendata #opendataday #digitalpreservation
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Для журнала "Метод" мы подготовили Рейтинг автономности регионов по 44-ФЗ за 2017 год.

Проект Комитета гражданских инициатив «ГосЗатраты» существует более четырех лет. Изначально он был открытой базой всех государственных контрактов, закупок, поставщиков и госзаказчиков и предоставлял возможность пользователям просматривать информацию о каждом контракте и каждой организации — участнике госзаказа.

В рамках проекта мы довольно давно наблюдаем за самыми разными показателями устройства государственных финансов в России. И мы обнаружили, что многие контракты органов власти субъектов Федерации, причем довольно крупных, заключаются с компаниями ведущих экономических или промышленных центров, в первую очередь из Москвы и Санкт-Петербурга. В то же время во многих регионах картина совершенно иная: почти все средства заказчиков любого уровня (федеральных, субъекта Федерации и муниципальных) оставались поставщикам этого региона.

Мы решили назвать это явление автоном­ностью регионов. Другое возможное определение — самодостаточность региона. Явление характеризует то, насколько развита и как устроена экономика субъекта Федерации, а также то, насколько она «замкнута» с точки зрения распределения государственного заказа.
При разработке рейтинга мы сформулировали несколько гипотез:

- чем дальше от Москвы, тем меньше контрактов (и денег) уходит московским поставщикам;
- большая часть денег по контрактам в СЗФО уходит в Санкт-Петербург;
- регионы сильно связаны между собой, и значительная часть контрактов должна уходить за пределы субъекта Федерации;
- контракты с поставщиками своего региона не превысят 50% всех средств госзаказа в регионе.

Далеко не все эти предположения оправдались. Так, оказалось, что в 63 регионах более 50% средств идет местным поставщикам, причем у семи из них остается более 75% средств.
У ряда субъектов значительная часть средств не остается в регионе, но и не уходит в Москву или Санкт-Петербург. Это Астраханская область (53%), Севастополь (42%) и Хабаровский край (37%).

Обращает на себя внимание доля поставщиков из Москвы в контрактах Магаданской области и Чукотского автономного округа (по 32%) от общей суммы всех контрактов. Некоторые другие интересные детали наверняка бросятся в глаза читателю, хорошо знающему специфику конкретных территорий.

Безусловно, этот рейтинг далеко не дает полной картины. Например, поскольку у него нет отраслевого разреза, нельзя сказать, какая доля госзаказа формируется строительными контрактами, а какая — контрактами на разработку ИТ-систем. Углубленный анализ позволил бы сформировать полный контрактный профиль субъекта Федерации с информацией о его связанности с другими регионами страны.

Ознакомиться с рейтингом можно по ссылке: http://amp.gs/hBAF
Я наконец-то собрался и сделал рейтинг открытости стран по открытости исходного кода их информационных систем и вообще их политике открытой разработки.

Вот тут подробная заметка [1], а вот некоторые факты

- 58 правительств публикуют код на GitHub через 730 организаций разместивших 21 222 репозиториев кода с общим числом наблюдателей в 109 307 человек и общим числом участников в 2 052 человека, общий объём опубликованного кода составляет 303 Гигабайта, а всего ошибок и задач внесено в количестве 65 476 штук.
- львиная доля активности и кода публикуется органами власти США. Это 239 организаций (32% от общего числа) разместивших 6345 репозиториев (29,8% от общего числа) в общем объёме кода в 147 Гигабайт (45% от общего объёма) и с 1080 разработчиками ведующими активную разработку кода (52% от общего числа)
- на втором месте Великобритания с отрывом вдвое, и далее Канада, Австралия и Франция.
- открытый код публикуется всеми правительствами стран Большой семерки: США, Канада, Италия, Великобритания, Германия, Франция, Япония.
- открытый код публикуется всеми правительствами стран Большой двадцатки (G20) кроме: Турции, Индонезии, Китая, Южной Кореи и России

Все первичные данные есть по ссылке [2], а таблицу рейтинга можно увидеть здесь [3]

Ссылки:
[1] https://begtin.tech/osgrating/
[2] https://hubofdata.ru/dataset/osgdata
[3] https://datawrapper.dwcdn.net/9JBvr/1/

#opengov #opendata #opensource
Хочешь рассмешить Бога, расскажи ему о своих планах (c)

Итак план мероприятий на октябрь в которых я принимаю участие:
- 3 октября - Осенний навигатор АСИ [1] Лекция про работу с данными, буду рассказывать о том как искать, находить, обрабатывать и анализировать данные. В первую очередь в контексте субъектов федерации и федеральной власти, но и не только.
- 6 октября Spending Sprint [2]. Однодневный ускоренный хакатон по работе с данными госфинансов
- 10-11 октября Томск, Форум U-NOVUS 2018 [3] несколько лекций и семинар про данные для госчиновников и депутатов. О том что такое CDO и CDTO
- 17 октября. Предварительно, Дата среда по архивам и библиотекам в Интернете [4]
- 20-21 октября Хакатон Мосфиндата [5]
- 25 октября Ежегодная конференция Форума Доноров [6] о том как работать с данными НКО

Программу ноября я напишу ещё позднее

Ссылки:
[1] https://leader-id.ru/page/navigator
[2] https://www.facebook.com/events/293990154752559/
[3] http://u-novus.ru
[4] http://datasreda.ru
[5] http://mosfindata.ru
[6] http://www.donorsforum.ru/projects/conference/


#data #opendata
В России до сих пор проекты состоящие только из базы данных, без иного продукта до сих пор не воспринимаются как общественные проекты. А тем временем в США Urban Institute [1] создали проект открытых данных по образованию Education Data Portal [2] которые отдаёт API с данными по школам, школьным округам и колледжам. Это некоммерческий проект с финансированием от Overdeck Family Foundation, что характерно, его потребители не граждане, а ИТшники, программисты, которые на его основе сделают свои проекты.

Ссылки:
[1] https://www.urban.org
[2] https://educationdata.urban.org/documentation/

#data #opendata
Ещё один способ рассказывать об открытых данных - это периодическая таблица влияния открытых данных (Periodic table of open data impact factors) [1].

The GovLab, авторы такой карты, умеют правильно расставлять акценты не на технических аспектах работы с открытыми данными.

Ссылки:
[1] http://odimpact.org/periodic-table.html

#opendata
Объём информационного бизнеса в Испании составляет 1.7 миллиардов евро, это примерно 128 миллиардов рублей. Это всё и конкретные примеры можно узнать из отчёта Asedie. Informe Sector Infomediario 2018 [1] выпускаемого ассоциацией ASEDIE.

Ссылки:
[1] http://www.asedie.es/assets/informe-sector-infomediario-2018.pdf

#opendata
Tim Berners-Lee анонсировал Solid [1], это сервис, сервер и приложения позволяющие создать экосистему при которой пользователь сам контролирует свои данные. Важный шаг, но насколько возможен такой мир? Сейчас дата-корпорации контролируют безусловно большую часть перс-данных пользователей. Пользователи имеют лишь малую долю контроля, иногда имея права экспортировать свои данные. Возможна ли модель которую Тим продвигает? Я не знаю, но определенно согласен с тем что она лучше имеющейся.

Ссылки:
[1] https://www.inrupt.com/blog/one-small-step-for-the-web

#privacy
Зачем нужна архивация веб-сайтов? Например, для того чтобы исправлять ссылки в википедии когда исчезают опубликованные статьи на которые указывают ссылки на страницах Википедии. Бот IABot от Internet Archive находит и исправляет такие ссылки [1], на сегодняшний день он исправил более 9 миллионов ссылок в статьях на 32 языках.

Ссылки:
[1] https://meta.wikimedia.org/wiki/InternetArchiveBot
[2] http://blog.archive.org/2018/10/01/more-than-9-million-broken-links-on-wikipedia-are-now-rescued/

#digitalpreservation
VentureBeat пишет о том что китайские спецслужбы внедряли специальные чипы для дистанционного контроля серверов на базе Supermicro [1], ссылаются на большой материал Bloomberg [2] где всё подробно рассказано. Да, что и говорить, китайские спецслужбы, в отличие от российских, показывают немалую изворотливость и способность играть в длинную историю с внедрением таких чипов.

А многочисленные издания пишут о рутките LoJax [3] который ESET выловили на днях и в котором обнаружили опасную способность внедряться в BIOS материнских плат, в то что называют UEFI (Extensible Firmware Interface) [4] используемый для управления операционными системами и работающий на уровне выше ОС, что позволяет через него контролировать компьютер и избегать внимания антивирусов.

Ссылки:
[1] https://venturebeat.com/2018/10/04/china-reportedly-hacked-supermicro-servers-used-by-apple-and-amazon/
[2] https://www.bloomberg.com/news/features/2018-10-04/the-big-hack-how-china-used-a-tiny-chip-to-infiltrate-america-s-top-companies
[3] https://www.welivesecurity.com/2018/09/27/lojax-first-uefi-rootkit-found-wild-courtesy-sednit-group/
[4] https://ru.wikipedia.org/wiki/Extensible_Firmware_Interface

#privacy #security
В Новой Зеландии рассматривают черновик плана открытости страны на 2018-2020 годы [1]. Из неожиданного, обратите внимание на пункт Government's use of algorithms. Основной смысл в том чтобы алгоритмы в госсистемах были бы понятно описаны и доступны гражданам и гражданскому обществу.

В мае они же выпускали отчет Report: Review of Government Algorithms[ 2] и инициировали ревизию алгоритмов в госсистемах.

О чём это говорит? О том что в разговорах о роботизации госуправления важно помнить что за роботами (алгоритмами и AI) нужен надзор, а его сейчас никто не осуществляет. Но это вопрос ближайших 2-х лет, в том числе в России. Потому что после digital government следующим хайпом будет AI government.


Ссылки:
[1] https://www.ogp.org.nz/assets/Resources/55c0ef139b/New-Zealand-Action-Plan-2018-2020-draft.pdf
[2] https://data.govt.nz/assets/Blog-files/Review-of-Government-Algorithms-Report-14-May-2018-for-release.pdf

#governance #ai #data
27 сентября вышел отчёт ОЭСР " Open Government Data Report: Enhancing Policy Maturity for Sustainable Impact" [1] посвящённый обзору правил, законов и практик работы с открытыми госданными в странах ОЭСР и их партнёрах. Сканированную версию отчёта можно прочитать онлайн [2], а последнюю версию индекса работы с данными OURData Index за 2017 год можно увидеть и скачать здесь [3].

Начну с главного, России нет в этом обзоре. Поскольку Россия не член ОЭСР и уже не партнёр организации, то найти там себя мы не сможем, но можно узнать о том как устроено всё у других.

Главное что есть в этом документе - это чётко структурированные различные аспекты доступа к госданным, начиная с хранения версий датасетов, продолжая условиями доступа, бесплатного или за деньги, к государственным реестрам. С большим числом очень конкретных примеров в странах лидерах.

Читая эти примеры я никак не могу сказать что "в России всё плохо" и наоборот что всё хорошо. Скорее мы самоизолируемся, придумываем собственные практики, часто неплохие, ещё чаще странные или бесполезные. Но важнее что они чаще всего оторваны от реальных потребителей данных и мировых практик.

А вот в мире несколько важных трендов:
1. Open by default. А то есть доступность данных по умолчанию и постепенное открытие реестров за которые государство ранее взимало деньги - это реестры организаций и кадастровые данные, например.
2. Открытые данные как основа управления данными. Через тему открытых данных наводится порядок в госданных в принципе, проводится их каталогизация
3. Enterprise Data Inventory. Органы власти должны инвентаризировать все свои данные и на основе этой инвентаризации определять то что публикуется онлайн. В 2015 году Sunlight Foundation писали о том что такие реестры ещё и должны быть общедоступны [4], а в США это требование по ведению EDI были в Implementation Guide для Open Data Policy [5]. Например можно увидеть EDI у департамента по делам ветеранов с более чем 3800 файлами в каталоге из которых 322 не доступны для публики. Схожие требования есть и в других странах ОЭСР.

Ссылки:
[1] https://www.oecd-ilibrary.org/governance/open-government-data-report_9789264305847-en
[2] https://read.oecd-ilibrary.org/governance/open-government-data-report_9789264305847-en
[3] https://read.oecd-ilibrary.org/governance/government-at-a-glance-2017/ourdata-index-government-support-for-data-re-use-pillar-3-2017_gov_glance-2017-graph140-en
[4] https://sunlightfoundation.com/2015/01/22/enterprise-data-inventories-should-be-public-not-hidden-away/
[5] https://project-open-data.cio.gov/implementation-guide/
[6] https://www.data.va.gov/dataset/va-enterprise-data-inventory

#opendata #opengov
Многие знают термин GONGO (Government oriented NGO) который характеризует некоммерческие организации де-факто помогающие осуществлять госполитику и напрямую или опосредованно аффилированные с государством. Гораздо реже звучит термин BINGO - это Big International NGO, подвид некоммерческих международных организаций особо большого размера.

Их не так много в мире, около 50, и годовая выручка некоторых из них может превосходить 1 миллиард фунтов стерлингов, они работают всегда во множестве направлений и охватывают более 50+ стран каждая.

В исследовании "Whither large International Non-Governmental Organisations?" [1] (Куда движутся крупные международные некоммерческие организации) разбирается то что с ними происходит сейчас и какие варианты у них есть для развития, в том числе, цифровой трансформации которая явно в таком виде не упоминается, но присутствует по сути. Всё это в контексте Великобритании

Вот лишь несколько вызовов с которыми BINGO сталкиваются:
1. Растущая зависимость от государственных грантов и контрактов.
2. Развитие технологий позволяет финансировать местные сообщества напрямую и становится непонятной роль крупнейших НКО которые обычно создают цепочку из партнёров через которых осуществляют свои программы.
3. Рост организаций привел к существенной забюрократизированности и, соответственно, снижению эффективности.
4. Неготовность организаций к быстром соответствию меняющемуся контексту, использованию технологий и тд.
5. Снижение доверия к BINGO по причинам необоснованного роста зарплат руководителей НКО, недостаточной коммуникацией с поддерживающими их гражданами.

Итоговые рекомендации в 3-х вариантах направлений развития:
1. Фрагментация
Разделения крупной INGO на множество меньшего размера и выделение в отдельную компанию всей обслуживающей и сервисной инфраструктуры. Фактически это модель франшиз и децентрализации под единым брендом.

2. Консолидация
Приобретение малых НКО/компаний которые могут обеспечить качественное технологическое изменение или же объединение с похожими INGO в общую группу. Пример: Age UK было создано в 2009 году на базе Help the Aged и Age Concern

3. Платформизация
Или Уберизация. Цифровая трансформация - это примеры Wikipedia, Airbnb, We Farm. Примерами могут быть ведущие онлайн сообщества и стартапы, идея в полной перезагрузке работы организации.


Исследование хотя и небольшое и хотя и охватывает только аспекты и особенности НКО в Великобритании, очень интересное и в осмыслении будущего НКО в России.

Ссылки:
[1] https://www.birmingham.ac.uk/generic/tsrc/documents/tsrc/working-papers/working-paper-142.pdf

#ngo #analytics
Kiaolo [1] - это визуализация дискуссий. Маленький стартап который позволяет структурировать аргументы в обсуждении спорных тем, выстраивает их в иерархии и даёт веб-интерфейс для обсуждений. Например, обсуждение универсального базового дохода [2]

Кто знает, может быть именно таким должно быть обсуждение законопроектов и иных госинициатив?

Ссылки:
[1] https://www.kialo.com
[2] https://www.kialo.com/should-there-be-a-universal-basic-income-ubi-1634/1634.0=1634.1+1634.505+1634.7697-1634.3847+1634.4993-1634.5134

#discussions #startups
The Economist выложили данные и скрипты для расчёта Индекса Бигмака [1]. Много данных, ещё с 1986 года, когда впервые Big Mac Index [2] был заявлен.

Все подробности на их Github репозитории [3]

Ссылки:
[1] https://medium.economist.com/peeling-back-the-curtain-487bd3be0c47
[2] https://www.economist.com/bigmac
[3] https://github.com/TheEconomist/big-mac-data