Итоги заседания G7 в виде декларации прозрачности с госзакупках и противодействии коррупции [1]. Помимо прочих действий там явно прописана поддержка открытых данных, поддержка EITI [2], международной инициативы по раскрытию данных добывающими индустриями и инструменты открытой контрактации.

Дословно это всё звучит так:
We strongly support existing initiatives that promote our common goals, such as the Extractive Industries TransparencyInitiative (EITI)as well as other initiatives such as
2the Open Government Partnership (OGP). We recognise the role of open data in enhancingcompliance with integrity standards in the performance of major public contracts, as well as in ensuringstrong involvement by the different actors of civil society. We encourage open contracting tools and practices as an efficient innovative solution to the challenge of making procurement more effective, fairer and more transparentand fully taking into account the different levels of development of countries.

Ссылки:
[1] https://www.elysee.fr/admin/upload/default/0001/05/4cc3ad52f529ccc54483768425e61bef8ed4ac9c.pdf
[2] https://eiti.org/

#opendata #opengov #data #opencontracting

Россия на 29м месте в Government Artificial Intelligence Readiness Index 2019 [1] публикуемом Oxford Insights. Это чуть меньше чем у Исландии и чуть больше чем у Португалии. Пятёрка лидеров: Сингапур, Великобритания, Германия, США и Финляндия.
Индекс можно скачать в виде отчёта [2] и в виде данных [3]

Что немаловажно, это композитный индекс учитывающий следующие индикаторы:
- Data protection/privacy laws
- National AI strategy
- Data availability
- Government procurement of advanced technology products
- Data/AI capability (in government)
- Technology skills
- Private sector innovation capability
- Number of AI startups
- Digital public services
- Effectiveness of government
- Importance of IT to government’s vision of the future

В основу берутся индексы и подиндексы из отчетов к World Economic Forum, а Data Availability, например, рассчитывается на основе Open Knowledge Foundation Data Index [4]

Ссылки:
[1] https://www.oxfordinsights.com/ai-readiness2019
[2] https://ai4d.ai/wp-content/uploads/2019/05/ai-gov-readiness-report_v08.pdf
[3] https://docs.google.com/spreadsheets/d/1SuPCkaQsin1MsUYOn48bSQApfnTjfOVh7-rL94KZWsQ/edit#gid=15836467
[4] https://index.okfn.org/

#opendata #data #opengov #government #ai

В качестве регулярных напоминаний, о том чем я занимаюсь и где об этом можно узнавать.

Кроме аффиляции с проектами в Счетной палате я хоть и в меньшей степени, но вовлечен в дела 2-х НКО
- Инфокультура - про открытые данные, цифровые архив и многое другое
- Ассоциация участников рынка данных - защита прав бизнеса в регулировании данных

Телеграм каналы
- Мой основной телеграм канал - @begtin [1]
- Телеграм Инфокультуры - @infoculture [2]

Рассылки
- Рассылка АНО Инфокультура про данные открытые и персональные [3], прошлые выпуски рассылки [4] (письма не чаще чем раз в неделю)

Страницы в фэйсбуке
- Информационная культура [5]
- Ассоциация участников рынка данных [6]
- Госзатраты [7]

Открытый код
- Счетная палата [8]
- Инфокультура [9]
- Национальный цифровой архив [10]

Что-то наверняка упустил, это только то что самое что не на есть на поверхности

Ссылки:
[1] https://t.me/begtin
[2] https://t.me/infoculture
[3] https://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05
[4] https://us7.campaign-archive.com/home/?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05
[5] https://www.facebook.com/InformationCulture/
[6] https://www.facebook.com/AURDataCommunity/
[7] https://www.facebook.com/clearspending/
[8] http://code.ach.gov.ru
[9] http://github.com/infoculture
[10] http://github.com/ruarxive

#opendata #opengov #data

Почему я с 2005 года читаю все бюллетени Счетной палаты? Потому что узнаю много нового о том как идет информатизация и цифровизация в России.

Вот выдержка из отчета о результатах контрольного мероприятия «Проверка использования средств займа Международного банка реконструкции и развития на реализацию проекта № 4867-RU «Развитие системы государственной статистики – 2» в 2008–2018 годах» в бюллетень Счетной палаты №8 (август) 2019 г. [1]
...
В соответствии с пунктом 2 раздела B технических требований в результате выполнения работ в рамках контракта от 28 июля 2017 года ST2/1/B.13.2 «Совершенствование ИВС (информационно‑вычислительной системы) Росстата в части инструментария распространения результатов» должны были быть достигнуты в том числе следующие результаты: обновление дизайна сайта http://gks.ru и кольца сайтов; внедрение единой системы управления контентом; создание мобильного приложения сайта для платформ iOS и Android общей стоимостью 64 566,7 тыс. рублей.Согласно пункту 9 раздела А «Используемые термины и сокращения» технических требований (включая график реализации) контракта сокращение «Сайт (основной сайт, Интернет‑портал)» в рамках контракта означает – официальный Интернет‑сайт (портал) Федеральной службы государственной статистики, доступный в сети Интернет по адресу: http://gks.ru.В нарушение подпунктов 9, 10, 11 пункта 1 раздела В технических требований контракта и абзацев 7, 8, 9, 10 пункта 2 раздела В технических требований контракта на момент проверки дизайн официального Интернет‑сайта (портала) Росстата и кольца сайтов, размещенные по адресу http://gks.ru, не были обновлены.Кроме того, по адресу сети Интернет: http://gks.ru не внедрена обновленная единая система управления контентом. Необходимо отметить, что в соответствии с пунктом 5.2.6.6 «Требования к мобильному приложению» технических требований контракта ЗАО «ЛАНИТ» в том числе должно обеспечить размещение разработанных приложений на площадках App Store и Google Play. При этом фактически на момент проверки мобильное приложение Росстата на площадках App Store и Google Play отсутствовало. Таким образом, Росстатом приняты и оплачены работы, не в полной мере соответствующие техническим требованиям контракта No ST2/1/B.13.2, на сумму 64 566,7 тыс. рублей, что не соответствует статье 309 Гражданского кодекса Российской Федерации, согласно которой обязательства по договорам должны исполняться 198No8(260)І2019 5 МАНУЙЛОВА
надлежащим образом в соответствии с условиями обязательства и требованиями закона.Срок ввода в промышленную эксплуатацию новой версии Интернет‑портала определен в перечне поручений руководителя Росстата от 12 марта 2019 года No ПМ‑15/5060‑ВД – 30 апреля 2019 года. Однако по состоянию на 7 мая 2019 года новая версия Интернет‑портала по адресу в сети Интернет: http://gks.ru не была введена в промышленную эксплуатацию.
...

Ссылки:
[1] http://audit.gov.ru/activities/bulleten/965/38333/

#budget #it #sprf #lanit

Стали известны итоги интересной и странной закупки Министерства цифрового развития РФ по теме " Выполнение работ по созданию Генеральной схемы развития сетей связи и инфраструктуры хранения и обработки данных Российской Федерации на период 2019-2024 годов " [1]

В открытом конкурсе победил со снижением на чуть менее 10% от начальной максимальной цены [2] ФГУП НТС "Система [3].
Интересно то что подобные работы никогда не были профилем деятельности этого ФГУПа, а до сих пор он занимался исключительно внедрением и сопровождением поисковых систем по законодательству таких как pravo.gov.ru [4]. Профиль его контрактов можно увидеть на Госзатратах [5].

Но интересно не только это, среди участников:
- Воронежский АО НВП ПРОТЕК [6] (сайт на реконструкции) не был допущен по причине отсутствия лицензии ФСБ.
- ЦНИИ Связи [7] получил нулевые баллы по квалификации
- БизнесАвтоматика заняла второе место (в прошло году они делали НИР 'Выполнение работ по развитию информационно-аналитической системы "Реестр услуг связи"' [8]), итогов его, увы, не знаю.

В общем при всех раскладах очень необычный победитель у этого конкурса. Судя по высоко оцененной квалификации заявки, в России появился новый центр компетенций в области связи. Интересно, продолжит ли этот ФГУП заниматься ведением правовых баз данных? Уж очень различаются эти два вида деятельности и интересно кто в персоналиях будет там делать эту работу.

Правда, очень интересно. Лично мне небезразлична инфраструктура обработки данных внутри государства.

Ссылки:
[1] http://zakupki.gov.ru/epz/order/notice/ok504/view/common-info.html?regNumber=0173100007519000108
[2] http://zakupki.gov.ru/epz/order/notice/ok504/view/supplier-results.html?regNumber=0173100007519000108
[3] http://www.systema.ru
[4] http://pravo.gov.ru
[5] https://clearspending.ru/supplier/inn=7701006532&kpp=770101001
[6] http://www.protek-vrn.ru/
[7] https://zniis.ru/
[8] https://clearspending.ru/contract/1771047437518000067/

#procurement #competition

Для тех кто любит интересные технические штуки с экскурсом в историю связи и шифрования - онлайн реализация [1] машины шифрования Enigma. Замечательная визуализация, настраиваемый интерфейс. Такую бы визуализацию многим современным алгоритмам в автоматических системах принятия решений.

Ссылки:
[1] https://observablehq.com/@tmcw/enigma-machine

#algorithm #dataviz

Кстати, очень интересная тема остановки ключевых функций продуктов зависящих от подключения к серверу. Например, что будет если Роскомнадзор в очередном безумном порыве заблокирует подсеть с серверами Tesla? Или что будет если и другие автопроизводители тоже начнут подсаживать клиентов на работу софтверной начинки только при наличии сервера?

Вообще вся ситуация с устройствами "online only" (работающими только при наличии интернета) - это ситуация идеального шторма. Каким он будет - вирусы шифровальщики для интернета-вещей, шпионское ПО в недиагностируемых участках ПО и оборудования таких устройств, сбои электричества, безумства локальных регуляторов и тд. Но мир определенно становится более хрупким, стоит ли получаемый комфорт такой хрупкости? Вот это вопрос пока без ответа.

#futurenow #iot

О, дивный мир будущего!

На серверах компании Tesla случился небольшой факап, они легли и пользователей разлогинило из мобильного приложения, которое позволяет смотреть настройки, характеристики ну и открыть автомобиль. Некоторые водители так и не смогли уехать на своей Model 3.

https://thenextweb.com/cars/2019/09/03/tesla-owners-reportedly-got-locked-out-of-their-cars-because-the-app-was-down/

В New York Times статья о том как устроена конкуренция в Apple App Store [1]. Сразу заспойлю содержание, там о том что Apple подыгрывало и подыгрывает своим приложениям за счёт манипуляции поисковой выдачей и несколько раз попадало в судебные разбирательства.

Журналисты в NYT масштабно провели расследование использовав историю мониторинга поисковых запросов от стартапа Sensor Tower [2] которые много лет следит за Apple App Store для своего маркетингового продукта.

Ситуация в которой Apple оказывается - это ситуация вечного спора про монополиста с его экосистемой. App Store, в отличие от публичных ресурсов таких как радиочастоты, добыча полезных ископаемых, космос или воздушное пространство, - это личная вотчина Apple. Такой уже немаленький микрокосмос в котором доступны приложения создающие миллиарды долларов выручки тысячам компаний. Где пределы того что Apple может задать как общие правила? В каких случаях и кто имеет право на вмешательство?

И, конечно, не стоит полагать что кто-либо ещё из новых/старых технологических лидеров ведёт себя иначе.

Ссылки:
[1] https://www.nytimes.com/interactive/2019/09/09/technology/apple-app-store-competition.html
[2] https://sensortower.com/

Архивация общедоступных ресурсов очень близко пересекается с OSINT, извлечением значимой информации из общедоступных источников. Во всяком случае инструментарий пересекается очень сильно. Например, для соцсетей инструменты сбора данных для OSINT это чуть ли не единственный способ архивировать активность отдельных пользователей.

Для некоторых соцсетей вроде Facebook'а до сих пор нет инструмента архивации, Facebook крайне жёстко блокирует любые попытки выгрузки контента. Для других соцсетей такие инструменты бывают или возможны. Например один из лучших инструментов для Twitter'а - это twint [1], позволяет выгружать все твиты аккаунта без ограничений.

Нам это позволит в рамках Национальный цифровой архив России [2] сделать, наконец-то, обновляемый архив твитов политиков/чиновников/значимых лиц.

Очень нехватает такой утилиты для Telegram'а для архивации каналов. От неё нужно уметь принимать имя пользователя, формат сохранения (json, csv, sqlite), тип сохранения - выгрузить с нуля или обновить.

В итоге очень похоже на twint, но для телеграма. Есть ли уже готовые инструменты? Есть ли коммунити разработчиков умеющих выкачивать данные из телеграма и где можно заказать такой инструмент?

Ссылки:
[1] https://github.com/twintproject/twint
[2] http://ruarxive.org

#digitalpreservation

Дата-журналистам на заметку, если захочется сделать материал о том как следят за россиянами, то могу описать это по шагам. На примере приложений для Android.

1. Собираете топ 100 приложений наиболее популярных в России, например из AppBrain [1]. Минимально - общий список топ-100. Максимально - по каждой предметной категории.
2. Проверить каждое приложение через AppCensus [2] и Exodus [3]. AppCensus даёт сведения по динамическому анализу передаваемой информации, а Exodus даёт сведения по результатам статического анализа приложений.
3. Пример популярного приложения с трекерами - Read books online от Литрес. Трекеры в нем можно увидеть тут [4] [5]
4. Всё это можно собрать и обработать в единую базу и сгруппировать по компаниям-разработчикам приложений

Как итог - карта того кто и как следит за россиянами через мобильные приложения.

Странно что до сих пор никто такое не сделал.

Ссылки:
[1] https://www.appbrain.com/apps/country-russia/
[2] https://search.appcensus.io
[3] https://reports.exodus-privacy.eu.org/en/
[4] https://search.appcensus.io/app/ru.litres.android/720190604
[5] https://reports.exodus-privacy.eu.org/en/reports/73793/

#privacy #digitalrights

Сегодня утром я был на Московском финансовом форуме, регулярно всё то же - секция по госзакупкам. Мне много есть что прокомментировать то о чём говорили выступающие, большие планы по развитию ЕИС (zakupki.gov.ru) описывала Анна Катамадзе. Не считая Сергея Габестро который, как хочется надеяться, отрезвил участников секции, всё было на позитивной ноте. Что, на самом деле, конечно же, совсем не так.

Я расскажу о том о чём не выступают и не говорят представители Казначейства в разговорах про ЕИС - это качество данных.

Вот лишь несколько примеров:
1. Контракт [1] между БУ СО ВО "РЦ"ПРЕОДОЛЕНИЕ" и ... барабанная дробь Минспорта России. При этом в договоре указано совершенно другое юрлицо, хотя и подведомственное Минспорту, но с другими ИНН/КПП и реквизитами.

2. В 2011 году администрация Чойского района Республики Алтай заключила контракт на 224 миллиарда рублей с ПМК [2], местной алтайской компанией. Тогда не публиковали документы договоров, и сейчас проверить были ли там 224 миллиарда можно, но надо поднимать немало документов чтобы в этом убедиться.

Мы давно не проверяли достоверность данных внесённых в ЕИС. Но проверим рано или поздно и я скажу Вам там будет не всё гладко.

Так вот как оказалось что казначейство регистрирует такие договора? Почему нет процедуры исправления данных? Потому что мало кого интересует их анализ? Нет это не так. На данных системы закупок принимается множество решений, но мы не придаём этому должного значения. Общий масштаб искажений до сих пор трудно оценить. Эти единичные случаи лишь иллюстрация.

Ссылки:
[1] http://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=2352806047616000019
[2] http://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=0377300000511000005&source=epz

#procurement #government #contracting

Сервис Trifacta получил $100 миллионов инвестиций на создание системы очистки и обработки данных для AI и облачных сервисов. С одной стороны хорошая новость, а с другой - все сервисы очистки данных мигрируют в облака, а использование зарубежных облаков с российскими данными - это та ещё проблема с законодательством.

Trifacta Raises $100 Million to Support Explosive Growth of Data Wrangling for AI and the Cloud
https://www.trifacta.com/news/item/trifacta-raises-100-million-data-wrangling-ai-cloud/

Trifacta Raises $100 Million to Support Explosive Growth of Data Wrangling for
AI and the Cloud

Сразу 2 новости об ОФД, хорошая и не очень.

Хорошая
1-ОФД выложили открытый код [1] их BigData analytics platform: Yupana
Лично я ещё не пробовал, но любой хороший и открытый продукт по анализу данных всегда найдет применение. Что радует - создатели дают подробное описание и много примеров

Не очень хорошая
У ОФД "Дримкас" [2] утекло 14 миллионов записей и, признаться, реакция этого ОФД на событие необоснованно вялая. Будем надеяться что все ОФД проведут ревизию мер обеспечения безопасности.

Ссылки:
[1] https://github.com/rusexpertiza-llc/yupana
[2] https://iz.ru/921673/vadim-arapov/ushli-iz-bazy-v-set-utekli-14-mln-zapisei-kompanii-i-pokupatelei

#data #dataleaks #leaks

После Мосфинфорума раза 3 пытался написать что не так с текущей системой госзаказа в России и никак не получается. Я об этом и так уже столько лет писал что просто сложно даже начать большой текст потому что заранее знаешь что в него всё не поместится.

Я напишу кратко текущие тренды:
- имитация конкуренции вызванная борьбой за конкуренцию
- имитация противодействия коррупции вызванная борьбой за противодействие коррупции
- ускорение депрофессионализация участников рынка вызванная давлением силовиков, невозможностью быть на рынке без выстроенных отношений с госзаказчиками
- абсолютная ориентация на процессы и их цифровизацию в ущерб смыслу, экономике и целеполаганию
- перевод всего связанного с процессами в электронную форму, даже при отсутствии финансово-экономического обоснования
- практически полное отсутствие контроля за результатам
- сверх-централизация регуляторных и контрольных полномочий у федеральной исполнительной власти
- противостояние между госкорпорациями и госкомпаниями против регуляторов в переводе 223-ФЗ под 44-ФЗ
- отсутствие стейкхолдеров представляющих граждан
- отсутствие стейкхолдеров представляющих субъекты и муниципалитеты
- отсутствие стейкхолдеров представляющих малый и средний бизнес (реальных стейкхолдеров, а не формально заявленных)
- усиление изоляционных тенденций в субъектах федерации (деньги по госзаказу идут преимущественно местным поставщикам)
- недостоверная аналитика связанная отсутствием контроля за качеством данных в ЕИС
- снижение открытости на фоне удаления информация о компаниях под санкциями из открытого доступа

Всё это, конечно, сугубо моё личное мнение и наблюдения последних лет.

На правах не рекламы, но объявления
—
Центр руководителей цифровой трансформации ВШГУ РАНХиГС планирует в 2020 году провести ряд исследований, связанных с применением дата-технологий в госуправлении. Чтобы эти исследования были полезны российскому сообществу специалистов по данным, мы хотим узнать, какие темы исследований были бы вам интересны. Если у Вас есть какие-то области интереса и пожелания по темам, мы будем за них очень признательны. Также мы открыты к сотрудничеству по проведению самих исследований.

Контакты: Потапова Екатерина, ekgeomar@gmail.com TG: @Ekgeomar
—
Иначе говоря - если у Вас есть идеи того в каком направлении необходимо исследовать данные в госуправлении, то обязательно напишите Екатерине.

Тем временем утечки персональных данных на уровне стран перестают быть редкостью. В Эквадоре произошла утечка базы в 20.8 миллиона жителей (большинство жителей страны) [1] из-за некорректно настроенной базы Elastic Search. Можно сказать что это уже какое-то массовое бедствие в мире когда NoSQL базы данных MongoDB или ElasticSearch настраивают так что они оказываются общедоступными и утекают данные о миллионах людей.

И нельзя сказать что системно предпринимаются хоть какие-то шаги чтобы этого избежать.

Ссылки:
[1] https://www.zdnet.com/article/database-leaks-data-on-most-of-ecuadors-citizens-including-6-7-million-children/

#dataleaks #data #equador

Хочется писать про доброе, светлое и открытые данные, но на повестке куда более прозаические события вроде утечки данных о сетях связи, проектах и СОРМе в инфраструктуре МТС [1]. Всё это утекло через открытый rsync сервер о котором и пишет компания UpGuard.

Всё это о том что сейчас с сервисами мониторинга нескольких компаний которые регулярно сами сканируют сети или же пользуются Censys, Shodan и рядом других их менее известных аналогов, даже если администратор какой-то сети открывает доступ к нему на сутки, очень велика вероятность что этот сервис будет найдет и из него всё будет скачано.

Иначе говоря - параноидальность в защите данных никому не повредит. И отдельно я хочу сказать про обеспечение безопасности в органах власти. Массовое использование сотрудниками бесплатной почты, Dropbox'а, Яндекс.Диска и всего остального используемого для пересылки внутренних документов - может ещё ох как аукнуться. И не потому что эти сервисы нельзя использовать в корпоративных целях, а потому что их используют для преодоления ограничений как правило, довольно архаичных требований безопасности.

Возвращаясь к утечки из МТС - это само по себе, с одной стороны, интересно - всё таки материал о том как следят за россиянами и где и как СОРМ установлен. А с другой стороны более чем тревожно. Если подобные сведения утекают, то что же говорить об остальном?

Ссылки:
[1] https://www.upguard.com/breaches/mts-nokia-telecom-inventory-data-exposure#/security-lapse-russia/

#dataleaks #mts