Весьма интересная новость и, как раз, затрагивающая весь глобальный бизнес крупных цифровых платформ.

Я регулярно писал о том как многие органы власти "имитируют открытость", вместо открытых данных публикуют что-то другое, не публикуют данные или делают это каким-то особо странным образом вызывающим недоумение.

Вот несколько примеров мимо которых пройти сложно:
- Ростуризм создал специальный сайт для публикации открытых данных opendata.tourism.gov.ru [1] инициатива неплохая и там даже опубликовано 207 наборов данных. Но, они разрезали реестр туроператоров на 85 субъектов федерации и опубликовали по каждому субъекту федерации свой маленький кусочек этого реестра, а также реестр туристических маршрутов разрезали на 10 частей по 10 субъектам федерации. В результате внешне выглядит словно там 207 наборов данных, а по факту их 113. В результате "разрезания" реестра туроператора возникли наборы из 4-х записей [2] и, в целом, выглядит это странно поскольку он реально небольшой, и целиком в реестре содержится 4247 записей, а то есть решение никак не вызванное объёмам публикуемых данных
- У Минюста России, с одной стороны, публикуется 27 наборов открытых данных [3] и даже сразу на портале Data.gov.ru, можно увидеть что некоторые данные начали обновлять и публиковать в конце июня, например "
Список зарегистрированных политических партий" [4], но это все довольно смешно на фоне объёмов данных в информационных системах которыми Минюст РФ управляет. Нет никаких открытых данных из портала НКО Минюста, нет ничего, даже статистических сведений, из системы регистрации нормативных документов. Причём я говорю сейчас только про общедоступные данные создаваемые в рамках основных функций министерства. Иначе говоря если измерять goodwill (добрую волю) органов власти по раскрытию в машиночитаемой форме и так раскрываемых сведений, то Минюст будет в группе "агрессивно сопротивляющихся открытости органах власти", где-то рядом с МВД РФ.
- МВД РФ публикует 21 набор данных, которые даже, теперь время от времени обновляют [5], казалось бы прогресс, но нет. Например, данные по состоянию преступности [6] публикуются не накопительным итогом в виде цельного набора данных, а каждая новая версия набора данных - это срез за период времени. Иначе говоря чтобы собрать статистику преступности целиком, надо выгрузить все версии этого набора данных, но и в этом случае данные будут только с 2014 года. Как будто до этого МВД РФ не существовало, как будто не существовало МВД в СССР, как будто не было полиции в Российской Империи. И это, конечно, далеко не самый главный вопрос, есть немало вопросов о том почему нет данных муниципального уровня, не публикуется реестр участковых, нет никаких данных по функциям МВД переданным им вместе с ФМС, по миграции, да и объёмы расходов на ФГИС МВД несопоставимы с доступностью данных о деятельности министерства.

Я могу продолжать этот список очень и очень долго, анализ открытости любого ведомства или региональных властей идёт от списка полномочий и собираемых данных и реальная ситуация обычно значительно хуже декларируемой или демонстрируемой. В каких-то случаях это легко правится, вроде странной публикации Ростуризмом данных реестра туроператоров, а в каких-то открытость - это однозначно политические решения на уровне Правительства РФ которые с момента роспуска "Открытого правительства" до сих пор не приняты.

Ссылки:
[1] https://opendata.tourism.gov.ru
[2] https://opendata.tourism.gov.ru/7708550300-ReestrRosturizm1B
[3] https://minjust.gov.ru/ru/pages/opendata/
[4] https://data.gov.ru/opendata/7707211418-partii
[5] https://мвд.рф/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B5-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5
[6] https://мвд.рф/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B5-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5/7727739372-sosprestupnost

#opendata #opengov #datasets #data

Госзакупки не только в России являются предметом пристального внимания.
Особенно в том что касается COVID-19, но не только.

Свежая подборка происходящего в мире (ссылки на английском, испанском и немецком):
- в Мексике выяснили что правительство решило заключить контракт на поставку 35 миллионов китайской вакцины CinoVac с несуществующей швейцарской компанией Latam Pharma Innovative Ventures и по сингапурскому законодательству [1]
- в Великобритании журналисты выясняют почему правительство закупает защитные маски и перчатки по цене на 25% выше рыночной [2]
- в Германии министр транспорта нанял юристов за 175 тысяч евро чтобы ответить на 8 запросов по закону о свободе информации (FOI) про политически спорные транспортные проекты [3]
- в Бразилии уволился министр здравоохранения и был расторгнут контракт на 324 миллионов долларов США на поставку вакцин Covaxin из Индии, после обвинений во взяточничестве [4]
- вакцина AstraZeneca одна из самых популярных в мире и, при этом, оказывается что она выходит дороже для бедных стран. А The Guardian напоминают что 97% стоимости разработки этой вакцины было оплачено налогоплательщиками Великобритании [5]
- в Коста-Рике вскрылось что строительные компании давали взятки наличными, автомобилями, землёй и сексом в обмен на преференции по госконтрактам [6] и их же обвиняют в использовании бракованного асфальта на 125 миллиона долларов.

Ссылки:
[1] https://www.univision.com/univision-news/latin-america/mexico-signed-a-contract-for-35-million-doses-of-chinas-cansino-vaccine-with-nonexistent-company
[2] https://bylinetimes.com/2021/06/21/how-much-did-we-pay-for-ppe-data-the-government-doesnt-want-to-reveal/
[3] https://www.tagesspiegel.de/politik/minister-intransparenz-andreas-scheuer-und-die-sieben-heiklen-fragen-zur-pkw-maut/27240086.html
[4] https://www.theguardian.com/world/2021/jun/29/brazil-cancels-covaxin-contract-after-serious-accusations-of-irregularities
[5] https://www.theguardian.com/world/2021/jun/17/astrazeneca-vaccine-price-pledge-omits-some-poor-countries-contract-shows
[6] https://www.france24.com/es/minuto-a-minuto/20210616-costa-rica-%C3%BAltimo-pa%C3%ADs-latinoamericano-salpicado-en-caso-de-corrupci%C3%B3n-en-obras-p%C3%BAblicas
[7] https://www.nacion.com/el-pais/empresas-encubrieron-asfalto-defectuoso-en/3DOPPKV3J5ACLKSPZRP3WXDPTI/story/

#procurement #corruption #spending

Вы меня не спрашивали, но я отвечаю (с)

Чем я занимаюсь вот уже более месяца?

Я развиваю APICrafter [1]. Это наш коммерческий сервис доступа к API госзакупок, ЕГРЮЛ, бух. балансов юр. лиц и иным сведениям, в первую очередь для юр. лиц. В течение июля наша команда запустит большой каталог данных, в виде сотен гигабайт данных, доступных через API который будет гибридным: коммерческим для коммерческих потребителей и некоммерческих для некоммерческих пользователей. Это продукт который я отложил на 2 года, но, ещё тогда всё было готово, не было лишь интерфейса для пользователей. Пришло время его доделать и выводить на рынок.

Сейчас он находится в режиме бета тестирования, часть данных не имеющих коммерческой ценности можно скачать целиком или пользоваться API без ключа и авторизации. Часть данных доступны только после регистрации по ключу.

В целом же это такой специальный каталог первичных данных с прибамбасами, когда разные первичные данные приведены к единому формату.

Зачем такой продукт нужен?
1. Заполнять внутрикорпоративные и учебные озёра данных уже подготовленными и унифицированными датасетами.
2. Создавать собственные сервисы поверх API, например для сбора информации о юр. лицах

Он не заменяет сервисы проверки контрагентов, но предосталяет ингредиенты для самостоятельного сбора информации о компании: ЕГРЮЛ, закупки и контракты, реестры, архивные контракты, отчеты и иные сведения. В общем и целом -возможность "пробить" юридическое лицо по сотням общедоступных баз данных.

Проект так и появился изначально, как внутренний банк данных на основе которого можно создавать и создаются новые дата-продукты, а в его основе те работы по сбору данных которые мы делали в рамках проектов Госзатраты, Открытые НКО и ещё ряде других которые пока/ещё не стали публичными.

Если Вы хотите стать бета-тестером, попробовать API и так далее напишите мне на ibegtin@infoculture.ru кто Вы, какую компанию/оргаизацию/проект представляете и немного о том что ищете, и я пришлю доступ. С просьбой лишь не распространять ссылку на проект публично до его анонса.

Ссылки:
[1] https://apicrafter.ru

#opendata #data #datacatalogs

ASEAN Data Management Framework [1] выл утверждён ещё в январе 2021 года [1] как набор рекомендаций для бизнеса и стран участников ASEAN по гармонизации их законодательства по регулированию и работе с персональными и коммерческими данными. Фреймворк довольно таки верхнеуровневый, как и большинства документов международной бюрократии, впрочем полезен для понимания того как развивается межстрановое регулирование в мире.

И вот некоторые оценки которые там приводятся:
- общий объём цифровой экономики в мире 3 триллиона долларов (на 2016 год)
- совокупный объём интернет экономики в ASEAN 72 миллиарда долларов (на 2018 год)
- ожидается что к 2025 году её объём составит 2025 миллиардов долларов

Важно что они делают акцент на важности инвентаризации данных.


Ссылки:
[1] https://asean.org/storage/2-ASEAN-Data-Management-Framework_Final.pdf

#opendata #data #asean #datamanagement

Тем временем обновился европейский проект глобального каталога произведений искусств Europeana [1] теперь в новой версии нет такого акцента на поиске, и куда больший акцент на коллекциях и на историях. Истории - это новая форма рассказов о произведениях искусства, в виде галерей и постов в блоге. Ближе к журналистике истории/журналистике данных даже.

И, что интересно, наконец-то в Europeana появились интерактивные возможности для пользователей. Теперь можно зарегистрироваться и создавать личные публичные и непубличные галереи из выставленных в Europeana материалов.

Это чуть ближе к австралийскому проекту Trove [2], который тоже недавно обновился, и является примеров одного из крупнейших проектов краудсорсинга исторического наследия. Пример того как государство создаёт сообщество вокруг культурного наследия и это успешно получается.

Ссылки:
[1] https://www.europeana.eu
[2] https://trove.nla.gov.au

#digitalculture #digitalheritage #opendata #open #culture

Несколько интересных текстов и терминов на английском языке по управлению данными:
- Data Mesh, новый термин в публикации [1] Zhamak Dehghani и продолжение дискуссии вокруг этой темы в блоге Chris Riccomini [2]. Если кратко, то Data Mesh это такая замена озеру данных когда всё связано, но не все вместе. Вместо одной команды работает множество команд и тд. Для многих идея звучит неудачно и больше похожа не оправдание корпоративных провалов (мы не смогли построить озеро данных, зато теперь у нас data mesh). Чтобы Вы не думали, чтение полезное
- Metadata lake очередной пост команды продукта Atlan на сей раз про озёра метаданных [3]. Повторение привычных истин что документированные данные ценнее данных самих по себе и что озеро метаданных - это систематизация и управляемость данных.
- Data Cascades in Machine Learning [4] в блоге Google AI о последствиях накопления "технического долга" при машинном обучении. Полезный термин, важные наблюдения.
- Ethics and governance of artificial intelligence for health [5] свежее руководство ВОЗ по этическому применению и управлению искусственным интеллектом в целях здоровья


Ссылки:
[1] https://martinfowler.com/articles/data-mesh-principles.html
[2] https://cnr.sh/essays/what-the-heck-data-mesh
[3] https://towardsdatascience.com/the-rise-of-the-metadata-lake-1e95127594de
[4] https://ai.googleblog.com/2021/06/data-cascades-in-machine-learning.html
[5] https://www.who.int/publications/i/item/9789240029200

#data #datacatalogs #datamesh #datalake

В рубрике интересные наборы данных, большой набор данных по распознаванию еды [1] в рамках конкурса Food Recognition Challenge [2]. Конкурс тоже интересный, 10 тысяч швейцарских фунтов команде сделавшей алгоритм с точностью > 0.70.

А в наборе данных 1.16ГБ из 24,119 изображений с 39,325 сегментами для 273 различных классов. Всё под лицензией CC-BY 4.0

Проект делается по инициативе Digital Epidemiology Lab [3] и у них же огромный проект по краудсорсингу сведений о еде, The Open Food Repo [4] с охватом 374,104 продуктов из 5-х стран США, Швейцария, Италия, Германия, Франция. У проекта нет наборов данных, но есть общедоступное API, активно применяемое пользователями.

Ссылки:
[1] https://www.aicrowd.com/challenges/food-recognition-challenge/dataset_files
[2] https://www.aicrowd.com/challenges/food-recognition-challenge
[3] https://www.digitalepidemiologylab.org
[4] https://www.foodrepo.org/

#opendata #food #datasets #openapi

Я о госфинансах рассказываю реже, а вот Ольга чаще. Рекомендую.

Приглашаем на вебинар «Открытые госфинансы 101: Поиск, анализ и качество данных», который пройдет 8 июля в рамках Летней школы по финансовым технологиям Томского Политеха.

Руководитель проекта «Госзатраты» @clearspending и проекта СПРФ «Госрасходы» Ольга Пархимович расскажет, что такое открытые данные, где публикуются финансовые данные, какие особенности данных нужно учитывать при их анализе (и структура, и качество).
⠀
Начало вебинара в 11:15 по московскому времени.
⠀
Участие бесплатное, подробности и регистрация: https://itr-tpu.timepad.ru/event/1629832/

Во всей борьбе с COVID-19 и инициативах пр-ва и регионов меня более всего поражает отсутствие простых и очень чётких инструментов снятия дезориентации у людей.

А начинать надо с того чтобы сделать форму ппри заполнении которой даются очень чёткие инструкции для человека именно в его жизненной ситуации. А ситуации бывают разные: у кого-то противопоказания или подозрения на них, у кого-то не российский паспорт/не российское гражданство, кто-то переболел и надо ревакцинироваться. Сейчас чтобы разобраться что делать многим приходится буквально выискивать эту информацию и разных источников.

Сделать такую форму несложно, в виде мобильного приложения, или формы на сайте Стопкоронавирус.рф. Форма которую на бумаге заполняют вакцинирующиеся может быть частью такой формы (это отдельный вопрос почему эту форму все заполняют на бумаге и о том в каком качестве будут вводимые оттуда сведения).

Но главная проблема сейчас - это дезориентация людей. Простые понятные персонализированные инструкции несложно сделать и хорошо помогают.

Нормативная/бюрократическая нагрузка на бизнес растёт во многих странах, вопрос в том как её анализировать и измерять? Проект QuantGov [1] от Mercatus Center (центр ориентированный на свободу рынков) создан для того чтобы измерять размер и рост числа регуляторных норм и привязки этих норм к индустриям по классификатору NAICS.

Они предоставляют много наборов данных с результатами анализа [2] и немало открытого кода [3]

Ссылки:
[1] https://www.quantgov.org
[2] https://www.quantgov.org/download-data
[3] https://github.com/quantgov

#opendata #opensource #regulation

В Vox статья [1] о проектах Future Design [2] в Японии, об эксперименте в городе Yahaba в 2015 году и их развитии. Тогда в 2015 году 20 жителей города провели семинар/воркшоп по будущему регулированию, тому как город должен был бы быть устроен для последующих поколений. Это то что называют participatory deliberation practice, по русски это переводится как "практика участия в обсуждении" или можно назвать "соучастие в нормотворчестве". Об этом позже выходило исследование [3] и довольно много публикаций, например [4] и эта практика далее распространялась на другие муниципалитеты.

Главная идея в том что участники семинаров представляли себя на месте будущих поколений и преодоление межпоколенческой проблемы того что мы сейчас "одалживаем" чистую воду, чистый воздух, незагрязненную окружающую среду у будущих поколений.

Ссылки:
[1] https://www.vox.com/future-perfect/22552963/how-to-be-a-good-ancestor-longtermism-climate-change
[2] https://www.mdpi.com/2071-1050/12/18/7796
[3] http://www.souken.kochi-tech.ac.jp/seido/wp/SDES-2017-19.pdf
[4] https://www.rieti.go.jp/en/columns/s19_0011.html

#policymaking #participatory #japan

В издании Проект весьма критичная статья про Росстат и раскрытии данных [1], в первую очередь с обвинениями в искажении статистики в угоду политической ситуации и давлению. Проблема эта не на пустом месте, независимость статистического ведомства - это давний вопрос, а политизация статистики в России также уже давно является проблемой.

Но как мне говорили специалисты в кулуарных разговорах проблема куда глубже. Даже в сравнении с СССР. Потому что даже в СССР были статистические справочники двух типов. Публикуемые для всех и находящиеся исключительно в закрытом обращении.

У многих кто сталкивается с современной отечественной статистикой возникают вопросы "Но ведь не может быть что _они_ принимают на ней решения, наверняка где-то есть реальные цифры под ДСП или гостайной". Реальность хуже, проблема в том что потребителями этих цифр являются не только массово граждане, но и те кто принимает решения и пишет нормы законов и иных документов.

Эта проблема системная, из-за сверхприсутствия государства во всех областях жизни и "рейтингодрочества" в нашей стране у почти всех есть просто огромная мотивация в искажении и подлоге статпоказателей.

Системные изменения тут нужны не только в Росстате, а проблемы поднимаемые в статье правильные.

Ссылки:
[1] https://www.proekt.media/narrative/dannye-rosstata/

#rosstat #stats #statistics

Свежие события о том что происходит в мире вокруг закупок вакцин:
- В Австралии засекретили контракт с AstraZeneca [1] и власти активно сопротивляются запросам независимых сенаторов и журналистов на получение любых сведений о контрактах на поставку вакцин и данные мониторинга заболеваемости в странах тихоокеанского региона
- в Испании "большая четверка" консультантов в мире (Big Four) получила контрактов 83 миллиона евро время пандемии за 2020 год [2]
- в Боснии власти перевели в режим "конфиденциальности" контракт с CinoPharm на поставку полумиллиона вакцин [3]

В принципе, почти во всех странах в мире закупки при COVID-19 сопровождаются теми или иными скандалами. И только в России до сих пор, нет даже маркировки контрактов ушедших на противодействие COVID-19, непрозрачны расходы на производство и поставку вакцин.

Однако, если в России, вакцинация и эти траты - это внутреннее дело, поскольку все вакцины производятся самостоятельно, то в большинстве других стран, это вопрос макрополитический, поскольку вакцины закупаются в России, у AstraZeneca, CinoPharm и тд, и тут сила на стороне продавца, покупатели идут на многие условия, включая секретность сумм и особые условия договоров.


Ссылки:
[1] https://www.abc.net.au/news/2021-07-05/australia-covid-astrazeneca-deal-withheld-national-security/100261920
[2] https://confilegal.com/20210707-las-big-four-obtuvieron-83-m-en-contratos-publicos-durante-el-ultimo-ano/
[3] https://balkaninsight.com/2021/07/08/bosnia-entitys-secrecy-over-vaccine-procurement-draws-criticism/

#openness #covid19

Я, конечно, понимаю что всем интересен полет Ричарда Бренсона в стратосферу и грядущий полет Безоса, всё таки частная космонавтика, но...

Но куда интереснее контракт NASA с Northtop Grumman [1] [2] на "постройку домов на Лунной орбите" в виде Habitation And Logistics Outpost (HALO). Сумма контракта $935 миллионов, а всё должно быть готово к запуску в 2024 году.

Ссылки:
[1] https://www.reuters.com/lifestyle/science/northrop-build-homes-moon-orbit-under-935-mln-nasa-contract-2021-07-09/
[2] https://www.nasa.gov/press-release/nasa-northrop-grumman-finalize-moon-outpost-living-quarters-contract

#space #tech

Я хотел сегодня написать про очередное решение Роскомнадзора по блокировке VPN сервисов, но тут мне позвонили из Росбалта и в итоге я им наговорил на небольшую заметку [1].

Если вкратце, то чем больше Роскомнадзор будет блокировать платные коммерческие сервисы, тем большее число людей будут разворачивать себе личные VPN сервера и использовать что-то вроде Outline [2].

Я повторю одну и ту же мысль, в ситуации большого числа технически грамотных граждан все блокировки и ограничения бессмысленны без контроля конечных устройств пользователей. А такой контроль даже в Китае не обеспечивают.

При этом, я не хочу подсказывать Роскомнадзору как можно эффективно ограничивать VPN сервисы, а наоборот надо им спасибо сказать за то что они не могут эту работу сделать хорошо.

Ссылки:
[1] https://www.rosbalt.ru/moscow/2021/07/12/1910982.html
[2] https://getoutline.org/ru/

#privacy #vpn #security

Весьма любопытный проект по визуализации бедности на карте с довольно высокой гранулярностью [1]. Охватывают большую часть Африки, и ряд других регионов. Не охватывают Россию совсем, зато есть Казахстан.

Разработчики - DIDL [2], лаборатория при Berkeley School of Information. Источник данных Relative Wealth Index [3] опубликованные Facebook на Humanitarian Data Exchange в рамках их инициативы Data4Good.

Ссылки:
[1] http://beta.povertymaps.net
[2] https://didl.berkeley.edu/
[3] https://data.humdata.org/dataset/relative-wealth-index

#opendata #maps #poverty