Свежие события о том что происходит в мире вокруг закупок вакцин:
- В Австралии засекретили контракт с AstraZeneca [1] и власти активно сопротивляются запросам независимых сенаторов и журналистов на получение любых сведений о контрактах на поставку вакцин и данные мониторинга заболеваемости в странах тихоокеанского региона
- в Испании "большая четверка" консультантов в мире (Big Four) получила контрактов 83 миллиона евро время пандемии за 2020 год [2]
- в Боснии власти перевели в режим "конфиденциальности" контракт с CinoPharm на поставку полумиллиона вакцин [3]
В принципе, почти во всех странах в мире закупки при COVID-19 сопровождаются теми или иными скандалами. И только в России до сих пор, нет даже маркировки контрактов ушедших на противодействие COVID-19, непрозрачны расходы на производство и поставку вакцин.
Однако, если в России, вакцинация и эти траты - это внутреннее дело, поскольку все вакцины производятся самостоятельно, то в большинстве других стран, это вопрос макрополитический, поскольку вакцины закупаются в России, у AstraZeneca, CinoPharm и тд, и тут сила на стороне продавца, покупатели идут на многие условия, включая секретность сумм и особые условия договоров.
Ссылки:
[1] https://www.abc.net.au/news/2021-07-05/australia-covid-astrazeneca-deal-withheld-national-security/100261920
[2] https://confilegal.com/20210707-las-big-four-obtuvieron-83-m-en-contratos-publicos-durante-el-ultimo-ano/
[3] https://balkaninsight.com/2021/07/08/bosnia-entitys-secrecy-over-vaccine-procurement-draws-criticism/
#openness #covid19
- В Австралии засекретили контракт с AstraZeneca [1] и власти активно сопротивляются запросам независимых сенаторов и журналистов на получение любых сведений о контрактах на поставку вакцин и данные мониторинга заболеваемости в странах тихоокеанского региона
- в Испании "большая четверка" консультантов в мире (Big Four) получила контрактов 83 миллиона евро время пандемии за 2020 год [2]
- в Боснии власти перевели в режим "конфиденциальности" контракт с CinoPharm на поставку полумиллиона вакцин [3]
В принципе, почти во всех странах в мире закупки при COVID-19 сопровождаются теми или иными скандалами. И только в России до сих пор, нет даже маркировки контрактов ушедших на противодействие COVID-19, непрозрачны расходы на производство и поставку вакцин.
Однако, если в России, вакцинация и эти траты - это внутреннее дело, поскольку все вакцины производятся самостоятельно, то в большинстве других стран, это вопрос макрополитический, поскольку вакцины закупаются в России, у AstraZeneca, CinoPharm и тд, и тут сила на стороне продавца, покупатели идут на многие условия, включая секретность сумм и особые условия договоров.
Ссылки:
[1] https://www.abc.net.au/news/2021-07-05/australia-covid-astrazeneca-deal-withheld-national-security/100261920
[2] https://confilegal.com/20210707-las-big-four-obtuvieron-83-m-en-contratos-publicos-durante-el-ultimo-ano/
[3] https://balkaninsight.com/2021/07/08/bosnia-entitys-secrecy-over-vaccine-procurement-draws-criticism/
#openness #covid19
www.abc.net.au
Australia's COVID-19 contract with AstraZeneca could cause 'real risk' to national security if released
The federal government's entire vaccine supply agreement with AstraZeneca is being withheld from the public on the grounds that it would pose a "real and substantial risk" to national security if it were released.
Я, конечно, понимаю что всем интересен полет Ричарда Бренсона в стратосферу и грядущий полет Безоса, всё таки частная космонавтика, но...
Но куда интереснее контракт NASA с Northtop Grumman [1] [2] на "постройку домов на Лунной орбите" в виде Habitation And Logistics Outpost (HALO). Сумма контракта $935 миллионов, а всё должно быть готово к запуску в 2024 году.
Ссылки:
[1] https://www.reuters.com/lifestyle/science/northrop-build-homes-moon-orbit-under-935-mln-nasa-contract-2021-07-09/
[2] https://www.nasa.gov/press-release/nasa-northrop-grumman-finalize-moon-outpost-living-quarters-contract
#space #tech
Но куда интереснее контракт NASA с Northtop Grumman [1] [2] на "постройку домов на Лунной орбите" в виде Habitation And Logistics Outpost (HALO). Сумма контракта $935 миллионов, а всё должно быть готово к запуску в 2024 году.
Ссылки:
[1] https://www.reuters.com/lifestyle/science/northrop-build-homes-moon-orbit-under-935-mln-nasa-contract-2021-07-09/
[2] https://www.nasa.gov/press-release/nasa-northrop-grumman-finalize-moon-outpost-living-quarters-contract
#space #tech
Reuters
Northrop to build homes on moon orbit under $935 mln NASA contract
Northrop Grumman Corp (NOC.N) won a NASA contract worth $935 million to develop living quarters for the U.S. space agency's planned outpost in lunar orbit, the weapons maker said on Friday.
Я хотел сегодня написать про очередное решение Роскомнадзора по блокировке VPN сервисов, но тут мне позвонили из Росбалта и в итоге я им наговорил на небольшую заметку [1].
Если вкратце, то чем больше Роскомнадзор будет блокировать платные коммерческие сервисы, тем большее число людей будут разворачивать себе личные VPN сервера и использовать что-то вроде Outline [2].
Я повторю одну и ту же мысль, в ситуации большого числа технически грамотных граждан все блокировки и ограничения бессмысленны без контроля конечных устройств пользователей. А такой контроль даже в Китае не обеспечивают.
При этом, я не хочу подсказывать Роскомнадзору как можно эффективно ограничивать VPN сервисы, а наоборот надо им спасибо сказать за то что они не могут эту работу сделать хорошо.
Ссылки:
[1] https://www.rosbalt.ru/moscow/2021/07/12/1910982.html
[2] https://getoutline.org/ru/
#privacy #vpn #security
Если вкратце, то чем больше Роскомнадзор будет блокировать платные коммерческие сервисы, тем большее число людей будут разворачивать себе личные VPN сервера и использовать что-то вроде Outline [2].
Я повторю одну и ту же мысль, в ситуации большого числа технически грамотных граждан все блокировки и ограничения бессмысленны без контроля конечных устройств пользователей. А такой контроль даже в Китае не обеспечивают.
При этом, я не хочу подсказывать Роскомнадзору как можно эффективно ограничивать VPN сервисы, а наоборот надо им спасибо сказать за то что они не могут эту работу сделать хорошо.
Ссылки:
[1] https://www.rosbalt.ru/moscow/2021/07/12/1910982.html
[2] https://getoutline.org/ru/
#privacy #vpn #security
Весьма любопытный проект по визуализации бедности на карте с довольно высокой гранулярностью [1]. Охватывают большую часть Африки, и ряд других регионов. Не охватывают Россию совсем, зато есть Казахстан.
Разработчики - DIDL [2], лаборатория при Berkeley School of Information. Источник данных Relative Wealth Index [3] опубликованные Facebook на Humanitarian Data Exchange в рамках их инициативы Data4Good.
Ссылки:
[1] http://beta.povertymaps.net
[2] https://didl.berkeley.edu/
[3] https://data.humdata.org/dataset/relative-wealth-index
#opendata #maps #poverty
Разработчики - DIDL [2], лаборатория при Berkeley School of Information. Источник данных Relative Wealth Index [3] опубликованные Facebook на Humanitarian Data Exchange в рамках их инициативы Data4Good.
Ссылки:
[1] http://beta.povertymaps.net
[2] https://didl.berkeley.edu/
[3] https://data.humdata.org/dataset/relative-wealth-index
#opendata #maps #poverty
Сегодня в пресс-центре МИЦ Известия прошла пресс-конференция Минэкономразвития "
Открытые данные в России. Новые вызовы и задачи" [1]. Минэкономразвития представляло там свои оценки зрелости в публикации данных ФОИВами и региональными властями. Я же говорил о том что за всеми публикациями данных органами власти не решены системные проблемы недоступности данных о качестве жизни, отсутствия муниципальных, гиперлокальных данных, то что многие инициативы по открытости сворачиваются.
И, самое главное, после закрытия совета по открытым данным при правительственной комиссии нет ни одной площадки для диалога пользователей данных и тех кто обязан их публиковать.
Это проблема и для бизнеса, и для журналистов, и для исследователей и для всех остальных пользователей данных.
Поэтому что делать? Для начала, восстанавливать инструменты и механизмы диалога на уровне Правительства РФ.
Ссылки:
[1] http://pc.iz.ru/tpost/exsic0c5m1-otkritie-dannie-v-rossii-novie-vizovi-i
#opendata #opengov
Открытые данные в России. Новые вызовы и задачи" [1]. Минэкономразвития представляло там свои оценки зрелости в публикации данных ФОИВами и региональными властями. Я же говорил о том что за всеми публикациями данных органами власти не решены системные проблемы недоступности данных о качестве жизни, отсутствия муниципальных, гиперлокальных данных, то что многие инициативы по открытости сворачиваются.
И, самое главное, после закрытия совета по открытым данным при правительственной комиссии нет ни одной площадки для диалога пользователей данных и тех кто обязан их публиковать.
Это проблема и для бизнеса, и для журналистов, и для исследователей и для всех остальных пользователей данных.
Поэтому что делать? Для начала, восстанавливать инструменты и механизмы диалога на уровне Правительства РФ.
Ссылки:
[1] http://pc.iz.ru/tpost/exsic0c5m1-otkritie-dannie-v-rossii-novie-vizovi-i
#opendata #opengov
pc.iz.ru
Открытые данные в России. Новые вызовы и задачи
В пресс-центре МИЦ «Известия» представили рейтинг готовности госорганов к цифровизации.
В пресс-центре МИЦ «Известия» состоялась пресс-конференция на тему: «Открытые данные в России. Новые вызовы и задачи».
В пресс-центре МИЦ «Известия» состоялась пресс-конференция на тему: «Открытые данные в России. Новые вызовы и задачи».
В Евросоюзе 8 НКО: Open Contracting Partnership, Transparency International, TI Lithuania, TI Portual, ePanstvo Foundation, ParliamentWatch (Italy), Access Info, Funky Citizens и K Monitor объединились для совместного контроля за госзакупками стран Евросоюза в проекте Open Procurement: Coalition for open, fair, and accountable public spending in the EU [1].
Инициатива интересная, в контексте COVID-19 явно будет акцент на закупке вакцин, но не только про них. Как точка входа в европейские инициативы контроля за расходом госфинансов - интересный ресурс.
Ссылки:
[1] https://www.open-procurement.eu
#opengov #transparency #procurement #eu
Инициатива интересная, в контексте COVID-19 явно будет акцент на закупке вакцин, но не только про них. Как точка входа в европейские инициативы контроля за расходом госфинансов - интересный ресурс.
Ссылки:
[1] https://www.open-procurement.eu
#opengov #transparency #procurement #eu
У Bessemer Venture Partners большой обзор рынка стартапов формирующих инфраструктуру данных Roadmap: Data Infrastructure [1]. Обзор ориентирован, в первую очередь, на инвесторов в подобные компании. Много важных факторов рынка подмечено, хорошо изложено и, в принципе, очень полезный материал.
Я коротко изложу основные тезисы:
1. Исследователи данных (data scientists) определяют решения.
Сейчас новые стартапы и продукты ориентируются на ниши работы с данными где есть исследователи данных и их потребности. Продукты в других областях тоже появляются, но приоритет, всё же, на data science.
2. Отделение сложности работы данными от инженеров данных.
У бизнес потребителей и data scientist'ов есть потребность в данных, но работа инженеров данных может занимать дни. Всё большее число стартапов фокусируются на ускорение доставки данных и на "трубах данных без дата инженеров" упрощая интерфейсы и заменяя команды дата-инженеров внутри.
3. Управление данными, мониторинга и наблюдаемость
Число источников данных значительно выросло, выросла сложность работы с ними и всё больше нового регулирования, особенно, в части приватности. Каталоги данных, прослеживаемость данных и мониторинг данных являются важными приоритетами в новой ситуации.
4. Новая волна BI и дата аналитики
С прицелом на реальное время, автоматизацию и быстрое развертывание. Очень многие создаются под задачи специфические для конкретных индустрий.
5. Инфраструктура для машинного обучения
Многие стартапы фокусируются на том чтобы машинное обучение можно было бы разворачивать в короткие сроки, создают инфраструктуру в виде инструментов, обогащения данных и многое другое
В целом, конечно, важно помнить про то что это взгляд венчурного фонда с подчеркиванием профиля компаний в их портфеле, но тезисы и тренды (их можно прочитать в публикации) подмечены весьма точно.
Ссылки:
[1] https://www.bvp.com/atlas/roadmap-data-infrastructure
#data #datainfrastructure
Я коротко изложу основные тезисы:
1. Исследователи данных (data scientists) определяют решения.
Сейчас новые стартапы и продукты ориентируются на ниши работы с данными где есть исследователи данных и их потребности. Продукты в других областях тоже появляются, но приоритет, всё же, на data science.
2. Отделение сложности работы данными от инженеров данных.
У бизнес потребителей и data scientist'ов есть потребность в данных, но работа инженеров данных может занимать дни. Всё большее число стартапов фокусируются на ускорение доставки данных и на "трубах данных без дата инженеров" упрощая интерфейсы и заменяя команды дата-инженеров внутри.
3. Управление данными, мониторинга и наблюдаемость
Число источников данных значительно выросло, выросла сложность работы с ними и всё больше нового регулирования, особенно, в части приватности. Каталоги данных, прослеживаемость данных и мониторинг данных являются важными приоритетами в новой ситуации.
4. Новая волна BI и дата аналитики
С прицелом на реальное время, автоматизацию и быстрое развертывание. Очень многие создаются под задачи специфические для конкретных индустрий.
5. Инфраструктура для машинного обучения
Многие стартапы фокусируются на том чтобы машинное обучение можно было бы разворачивать в короткие сроки, создают инфраструктуру в виде инструментов, обогащения данных и многое другое
В целом, конечно, важно помнить про то что это взгляд венчурного фонда с подчеркиванием профиля компаний в их портфеле, но тезисы и тренды (их можно прочитать в публикации) подмечены весьма точно.
Ссылки:
[1] https://www.bvp.com/atlas/roadmap-data-infrastructure
#data #datainfrastructure
Bessemer Venture Partners
Roadmap: Data Infrastructure
The modern cloud data stack is undergoing massive construction and the future of software will be defined by the accessibility and use of data.
Подборка ссылок по работе с данными и не только:
- Against SQL [1] хороший обзор текущего состояния SQL и того какие у него есть альтернативы. Я скажу честно уже много лет как стараюсь использовать различные альтернативы SQL в проектах если только нет в этом острой необходимости. У автора много дельных аргументов и хороших примеров.
- Beneficial ownership information [2] у Open Contracting подробности о регулировании раскрытия информации о конечных владельцах компаний участвующих в госзакупках. В тесной связке с проектом Open Ownership который делает на этом большой фокус [3]. Журналистам на заметку, в Великобритании полностью раскрывается реестр конечных владельцев юридических лиц People with significant control (PSC) [4], а Open Ownership публикуют его в формате BODS [5] удобном для работы.
- The Untold Story of SQLite история SQLite, одной из наиболее активно используемых систем управления базами данных в мире. Пример open source продукта в каждодневном использовании [5]
Ссылки:
[1] https://scattered-thoughts.net/writing/against-sql/
[2] https://standard.open-contracting.org/latest/en/guidance/map/beneficial_ownership/
[3] https://www.openownership.org/
[4] http://download.companieshouse.gov.uk/en_pscdata.html
[5] https://register.openownership.org/data_sources/uk-psc-register
[6] https://corecursive.com/066-sqlite-with-richard-hipp
#opendata #opensource #data
- Against SQL [1] хороший обзор текущего состояния SQL и того какие у него есть альтернативы. Я скажу честно уже много лет как стараюсь использовать различные альтернативы SQL в проектах если только нет в этом острой необходимости. У автора много дельных аргументов и хороших примеров.
- Beneficial ownership information [2] у Open Contracting подробности о регулировании раскрытия информации о конечных владельцах компаний участвующих в госзакупках. В тесной связке с проектом Open Ownership который делает на этом большой фокус [3]. Журналистам на заметку, в Великобритании полностью раскрывается реестр конечных владельцев юридических лиц People with significant control (PSC) [4], а Open Ownership публикуют его в формате BODS [5] удобном для работы.
- The Untold Story of SQLite история SQLite, одной из наиболее активно используемых систем управления базами данных в мире. Пример open source продукта в каждодневном использовании [5]
Ссылки:
[1] https://scattered-thoughts.net/writing/against-sql/
[2] https://standard.open-contracting.org/latest/en/guidance/map/beneficial_ownership/
[3] https://www.openownership.org/
[4] http://download.companieshouse.gov.uk/en_pscdata.html
[5] https://register.openownership.org/data_sources/uk-psc-register
[6] https://corecursive.com/066-sqlite-with-richard-hipp
#opendata #opensource #data
openownership.org
Open Ownership
Open Ownership provides support and guidance on all aspects of beneficial ownership transparency reforms as we believe revealing the true owners of corporate vehicles is an essential part of a well-functioning economy and society
В Protocol лонгрид Concern trolls and power grabs: Inside Big Tech’s angry, geeky, often petty war for your privacy [1] о том как компании big tech, особенно Google, продвигают через W3C стандартизацию приватности по умолчанию и убивают мелкий бизнес следящих за пользователями маркетинговых сервисов (и ещё Facebook _немного_ убивают), а этот самый мелкий бизнес активно сопротивляется, я бы даже сказал довольно бурно сопротивляется, как минимум в Великобритании, но не только.
Сама статья о том что W3C превратилось в поле битвы коммерческих интересов, а крупные монополии превращают свои экосистемы в жестко контролируемые среды.
За скобками остаётся лишь вопрос - в каких случаях сам пользователь приобретает или теряет больше? Хотим ли мы чтобы за нами следили 5-6 крупных мега-гига-супер-технокорпораций или лучше когда это имеют возможность делать тысячи компаний? С точки зрения регулирования рынков - лучше если тысячи компаний. А с точки зрения пользователей?
Хороший, подробный, интересный материал по развитию технологической политики в области приватности. И затронет не только европейский или американский, но и российский рынок тоже.
Ссылки:
[1] https://www.protocol.com/policy/w3c-privacy-war
#privacy #regulation
Сама статья о том что W3C превратилось в поле битвы коммерческих интересов, а крупные монополии превращают свои экосистемы в жестко контролируемые среды.
За скобками остаётся лишь вопрос - в каких случаях сам пользователь приобретает или теряет больше? Хотим ли мы чтобы за нами следили 5-6 крупных мега-гига-супер-технокорпораций или лучше когда это имеют возможность делать тысячи компаний? С точки зрения регулирования рынков - лучше если тысячи компаний. А с точки зрения пользователей?
Хороший, подробный, интересный материал по развитию технологической политики в области приватности. И затронет не только европейский или американский, но и российский рынок тоже.
Ссылки:
[1] https://www.protocol.com/policy/w3c-privacy-war
#privacy #regulation
Protocol
Concern trolls and power grabs: Inside Big Tech’s angry, geeky, often petty war for your privacy
The inside story of how the World Wide Web Consortium, one of the internet’s geekiest corners, became a key battleground in the global fight for web privacy.
Forwarded from APICrafter
Пришла пора раскрыть подробности по проекту, которым я и наша команда занимались полтора месяца. Вернее, готов он был ещё 2 года назад и поставлен на паузу, а за эти полтора месяца был приведен в полу-продуктовый вид.
DataCrafter (https://beta.apicrafter.ru/) — это каталог баз данных и коммерческих API. Большая часть данных в нем — открытые данные с возможностью работы без авторизации и скачивания их в виде архива с пакетом данных, а часть доступны только в режиме ограниченного доступа к API, после регистрации до 500 запросов в сутки.
Вот примеры некоторых баз данных:
- Базы архивных госконтрактов федерального бюджета с 2007 до 2013 года https://beta.apicrafter.ru/packages/reestrgk
- Поставщики по госконтрактам системы госзаказа Москвы https://beta.apicrafter.ru/packages/zakmossuppliers
- Единый реестр застройщиков https://beta.apicrafter.ru/packages/domrfdevelopers
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
а также многое другое.
Сейчас загружены 154 базы данных по юр. лицам и множество баз данных по другим направлениям. По каждой базе есть примеры данных и частично готова и далее в работе документация. В публичной версии частота обновления данных пока достаточно редкая, после завершения беты, большая часть данных будет обновляться ежесуточно/еженедельно, в соответствии с первоисточником. Многие данные доступны как открытые данные, в основном это данные не имеющие коммерческой ценности или же данные небольшого объёма.
До конца года будут добавлены ещё несколько сотен ключевых баз данных и появятся дополнительные специализированные API.
Также, обратите внимание, это не вполне стандартный каталог данных. У него есть важная особенность в том что таблицы связаны через уникальные идентификаторы (ИНН, ОГРН, КБК, кадастровый номер и многое другое). Эта классификация почти полностью автоматизирована и создана для автоматизации подготовки документации по каждому набору данных.
Протестировать можно по ключу или по открытым API не требующим ключа, например https://beta.apicrafter.ru/packages/massfounders и открытое API https://api.crftr.net/open/rawapi/v3/massfounders/massfounders
Подробная документация по ссылке - https://www.postman.com/infoculture/workspace/apicrafter-public/
Пример кода на Python для сбора данных о юридических лицах - https://github.com/apicrafter/apicrafter-example-orgprofile
Для получения ключа можно зарегистрироваться на сайте самостоятельно, по умолчанию ключ даёт возможность делать до 500 запросов в сутки. Будем благодарны за обратную связь по проекту от всех, кто им воспользуется.
Если у Вас некоммерческий проект, журналистское расследование или Вы работаете над научной статьей, во всех случаях некоммерческого использования данных, напишите нам на apicrafter@apicrafter.ru.
Больше подробностей будет в канале @apirafter в телеграм. Следите за новостями!
DataCrafter (https://beta.apicrafter.ru/) — это каталог баз данных и коммерческих API. Большая часть данных в нем — открытые данные с возможностью работы без авторизации и скачивания их в виде архива с пакетом данных, а часть доступны только в режиме ограниченного доступа к API, после регистрации до 500 запросов в сутки.
Вот примеры некоторых баз данных:
- Базы архивных госконтрактов федерального бюджета с 2007 до 2013 года https://beta.apicrafter.ru/packages/reestrgk
- Поставщики по госконтрактам системы госзаказа Москвы https://beta.apicrafter.ru/packages/zakmossuppliers
- Единый реестр застройщиков https://beta.apicrafter.ru/packages/domrfdevelopers
- Статистика регистрации, ликвидации и иных действий на основе ЕГРЮЛ в разрезах почтового индекса и других значений https://beta.apicrafter.ru/packages/egrulpoststats
а также многое другое.
Сейчас загружены 154 базы данных по юр. лицам и множество баз данных по другим направлениям. По каждой базе есть примеры данных и частично готова и далее в работе документация. В публичной версии частота обновления данных пока достаточно редкая, после завершения беты, большая часть данных будет обновляться ежесуточно/еженедельно, в соответствии с первоисточником. Многие данные доступны как открытые данные, в основном это данные не имеющие коммерческой ценности или же данные небольшого объёма.
До конца года будут добавлены ещё несколько сотен ключевых баз данных и появятся дополнительные специализированные API.
Также, обратите внимание, это не вполне стандартный каталог данных. У него есть важная особенность в том что таблицы связаны через уникальные идентификаторы (ИНН, ОГРН, КБК, кадастровый номер и многое другое). Эта классификация почти полностью автоматизирована и создана для автоматизации подготовки документации по каждому набору данных.
Протестировать можно по ключу или по открытым API не требующим ключа, например https://beta.apicrafter.ru/packages/massfounders и открытое API https://api.crftr.net/open/rawapi/v3/massfounders/massfounders
Подробная документация по ссылке - https://www.postman.com/infoculture/workspace/apicrafter-public/
Пример кода на Python для сбора данных о юридических лицах - https://github.com/apicrafter/apicrafter-example-orgprofile
Для получения ключа можно зарегистрироваться на сайте самостоятельно, по умолчанию ключ даёт возможность делать до 500 запросов в сутки. Будем благодарны за обратную связь по проекту от всех, кто им воспользуется.
Если у Вас некоммерческий проект, журналистское расследование или Вы работаете над научной статьей, во всех случаях некоммерческого использования данных, напишите нам на apicrafter@apicrafter.ru.
Больше подробностей будет в канале @apirafter в телеграм. Следите за новостями!
Один из наборов данных в DataCrafter'е - это база государственных доменов, которую я много лет веду для Национального цифрового архива (ruarxive.org) в виде репозитория на Github'е [1] и в виде базы в Airtable, причём сейчас именно база в Airtable наиболее вычищена и актуальна.
В DataCrafter она загружена 5 таблицами [2]:
- Домены
- Корневые домены
- ASN
- Госорганы и организации
- Регионы
- Государственные информационные системы
Это открытая часть контура DataCrafter'а поэтому все эти данные можно скачать одним архивом в разделе "Сборки и версии" [3], а также можно воспользоваться API без авторизации и ключа.
Как проверить домен что это домен госоргана или госструктуры
Пр запросу
https://api.crftr.net/open/rawapi/v3/govdomains/domains?where={%22Domain%22:%22sudrf.ru%22}
передаётся параметр Domain и можно получить карточку домена если он есть в базе.
Или мы хотим получить список доменов Минюста России. Минюст России есть в таблице организаций [4]
с идентификатором recPluHB9B0SGs867 . Передаём его как параметр к запросу этой таблицы [5] и получаем список идентификаторов доменов в поле Domains.
Для каждого домена делаем запрос с параметром id из поля Domains и получаем карточки каждого домена
https://api.crftr.net/open/rawapi/v3/govdomains/domains?where={%22id%22:%22recPjVbY9U2r6LTOX%22}
Аналогично работают API для доступа к остальным таблицам и, ещё раз напомню, можно скачать эту базу данных целиком. Все данные в пакете данных хранятся в формате JSON lines и легко импортируются в любую СУБД для работы JSON документами.
Ссылки:
[1] github.com/infoculture/govdomains/
[2] https://beta.apicrafter.ru/packages/govdomains/tables
[3] https://beta.apicrafter.ru/packages/govdomains/builds
[4] https://beta.apicrafter.ru/tables/govdomains/organizations
[5] https://api.crftr.net/open/rawapi/v3/govdomains/organizations?where={%22id%22:%22recPluHB9B0SGs867%22}
#opendata #opengov #govdomains
В DataCrafter она загружена 5 таблицами [2]:
- Домены
- Корневые домены
- ASN
- Госорганы и организации
- Регионы
- Государственные информационные системы
Это открытая часть контура DataCrafter'а поэтому все эти данные можно скачать одним архивом в разделе "Сборки и версии" [3], а также можно воспользоваться API без авторизации и ключа.
Как проверить домен что это домен госоргана или госструктуры
Пр запросу
https://api.crftr.net/open/rawapi/v3/govdomains/domains?where={%22Domain%22:%22sudrf.ru%22}
передаётся параметр Domain и можно получить карточку домена если он есть в базе.
Или мы хотим получить список доменов Минюста России. Минюст России есть в таблице организаций [4]
с идентификатором recPluHB9B0SGs867 . Передаём его как параметр к запросу этой таблицы [5] и получаем список идентификаторов доменов в поле Domains.
Для каждого домена делаем запрос с параметром id из поля Domains и получаем карточки каждого домена
https://api.crftr.net/open/rawapi/v3/govdomains/domains?where={%22id%22:%22recPjVbY9U2r6LTOX%22}
Аналогично работают API для доступа к остальным таблицам и, ещё раз напомню, можно скачать эту базу данных целиком. Все данные в пакете данных хранятся в формате JSON lines и легко импортируются в любую СУБД для работы JSON документами.
Ссылки:
[1] github.com/infoculture/govdomains/
[2] https://beta.apicrafter.ru/packages/govdomains/tables
[3] https://beta.apicrafter.ru/packages/govdomains/builds
[4] https://beta.apicrafter.ru/tables/govdomains/organizations
[5] https://api.crftr.net/open/rawapi/v3/govdomains/organizations?where={%22id%22:%22recPluHB9B0SGs867%22}
#opendata #opengov #govdomains
GitHub
GitHub - infoculture/govdomains: Создание реестра всех доменных имён Российской Федерации относящихся к органам власти, государственным…
Создание реестра всех доменных имён Российской Федерации относящихся к органам власти, государственным учреждениям, а также региональным и муниципальным властям. - infoculture/govdomains
К вопросу о регулярных разговорах о том как те или общественные проблемы решать правильно или неправильно, есть то что является шаблонами по которым такие проблемы и их решения моделируют.
Например, у The GovLab есть достаточно давний шаблон "GovLab Public Problem Solving Canvas" как раз для описания общественной проблемы/задачи и пути её решения и об этом же статья ещё из 2015 года [2]. Впрочем с той поры мало что изменилось и этот шаблон актуален.
Для работы с открытыми данными таже есть шаблоны / готовые модели для проектирования. Например, у Open Data Charter есть Publish with purpose canvas [3], это шаблон по которому описывается то зачем, с какой целью необходима публикация данных, включая последующее применение. А у Института открытых данных есть Data Ethics Canvas [4] для проектирования систем с этическим управлением данными.
Здесь хочется, с одной стороны, сказать что многие из таких шаблонов недолговечны, и меняются вместе с подходами к осуществлению государственной или корпоративной политики, но, многие, наоборот, не теряют актуальности.
У ОЭСР в обсерватории инноваций госсектора много примеров таких шаблонов [5].
Ссылки:
[1] https://canvas.govlabacademy.org
[2] https://www.nesta.org.uk/blog/tech4labs-issue-4-canvassing-the-value-proposition-of-your-public-lab-project/
[3] https://drive.google.com/file/d/1uJR-j4-11PDKKLPX5ZY0mcMfqFfSQATp/view
[4] https://theodi.org/article/the-data-ethics-canvas-2021/
[5] https://oecd-opsi.org/?s=canvas
#opengov #policy #opendata
Например, у The GovLab есть достаточно давний шаблон "GovLab Public Problem Solving Canvas" как раз для описания общественной проблемы/задачи и пути её решения и об этом же статья ещё из 2015 года [2]. Впрочем с той поры мало что изменилось и этот шаблон актуален.
Для работы с открытыми данными таже есть шаблоны / готовые модели для проектирования. Например, у Open Data Charter есть Publish with purpose canvas [3], это шаблон по которому описывается то зачем, с какой целью необходима публикация данных, включая последующее применение. А у Института открытых данных есть Data Ethics Canvas [4] для проектирования систем с этическим управлением данными.
Здесь хочется, с одной стороны, сказать что многие из таких шаблонов недолговечны, и меняются вместе с подходами к осуществлению государственной или корпоративной политики, но, многие, наоборот, не теряют актуальности.
У ОЭСР в обсерватории инноваций госсектора много примеров таких шаблонов [5].
Ссылки:
[1] https://canvas.govlabacademy.org
[2] https://www.nesta.org.uk/blog/tech4labs-issue-4-canvassing-the-value-proposition-of-your-public-lab-project/
[3] https://drive.google.com/file/d/1uJR-j4-11PDKKLPX5ZY0mcMfqFfSQATp/view
[4] https://theodi.org/article/the-data-ethics-canvas-2021/
[5] https://oecd-opsi.org/?s=canvas
#opengov #policy #opendata
nesta
Tech4Labs Issue 4: 'Canvassing' the value proposition of your public lab project
Как публикуют открытые данные ФОИВы? Часто, слишком часто зачищая опубликованное. Пример, сайт Ростехнадзора [1] где вместо перевода в архивное состояние данные просто с сайта убирали, причём оставляя пустые строки в спике. Мало того что сами данные довольно бесполезны и публикуются плохо, только в CSV формате, без раскрытия данных из их реестров и информационных систем, так ещё и с удалением "хвостов".
Всё это хорошо видно через веб-архив [2]
Ссылки:
[1] http://gosnadzor.gov.ru/opendata/
[2] https://web.archive.org/web/diff/20200804134904/20210421004818/http://gosnadzor.gov.ru/opendata/
#opendata
Всё это хорошо видно через веб-архив [2]
Ссылки:
[1] http://gosnadzor.gov.ru/opendata/
[2] https://web.archive.org/web/diff/20200804134904/20210421004818/http://gosnadzor.gov.ru/opendata/
#opendata
Журналистам на заметку, помимо канала Госзатраты в телеграм, у Госзатрат есть открытое API с помощью которого можно не только запрашивать данные, но и делать боты вроде того что наполняет этот канал. Если Вы хотите получать поток новостей по Вашей теме, то достаточно настроить такой бот под себя и получать новости на регулярной основе.
Telegram
Госзатраты
Телеграм-канал о самых дорогих контрактах по 44-ФЗ. Каждый день публикуются ТОП-3 дорогих контрактов за неделю по разным отраслям. Также публикуются контракты, незаурядно дорогие для своей отрасли (для связи: op @ clearspending.ru)
Forwarded from Госзатраты
Заключен дорогой контракт в категории 'Строительство':
Реконструкция аэропортового комплекса с. Чара (Забайкальский край) - этап 1.1 и др.
Сумма контракта: 2,1 млрд. руб.
Наименование заказчика: ГОСУДАРСТВЕННОЕ КАЗЕННОЕ УЧРЕЖДЕНИЕ "СЛУЖБА ЕДИНОГО ЗАКАЗЧИКА" ЗАБАЙКАЛЬСКОГО КРАЯ
Поставщик: ПУБЛИЧНО-ПРАВОВАЯ КОМПАНИЯ "ВОЕННО-СТРОИТЕЛЬНАЯ КОМПАНИЯ"
Регион: Забайкальский край
Дата заключения: 12.07.2021
Подробнее о контракте
#строительство
Реконструкция аэропортового комплекса с. Чара (Забайкальский край) - этап 1.1 и др.
Сумма контракта: 2,1 млрд. руб.
Наименование заказчика: ГОСУДАРСТВЕННОЕ КАЗЕННОЕ УЧРЕЖДЕНИЕ "СЛУЖБА ЕДИНОГО ЗАКАЗЧИКА" ЗАБАЙКАЛЬСКОГО КРАЯ
Поставщик: ПУБЛИЧНО-ПРАВОВАЯ КОМПАНИЯ "ВОЕННО-СТРОИТЕЛЬНАЯ КОМПАНИЯ"
Регион: Забайкальский край
Дата заключения: 12.07.2021
Подробнее о контракте
#строительство
162 миллиарда рублей было потрачено из федерального бюджета и 779 миллиардов из региональных бюджетов в 2020 году году на субсидии некоммерческим организацям. Из них на "классический некоммерческий сектор" (благотворительные фонды, НКО частных лиц и тд.) ушло не более 5% этой суммы через Фонд президентских грантов и региональные конкурсы. Остальные средства распределялись между несколькими сотнями крупнейших НКО учредителями которых являются госорганами, госучреждения, госкорпорации или иную прямую аффиляцию с государством. Я писал об этом в марте 2020 года в колонке РБК [1], сейчас, наконец-то, есть обновлённые цифры и желание закончить доклад о госрасходах на НКО в виде полноценного подробного документа с описанием ситуации. Но, может быть, надо просто написать ещё одну колонку.
Ссылки:
[1] https://www.rbc.ru/opinions/politics/13/03/2020/5e69e70a9a7947737fc79cf3
#ngo #government #budgets
Ссылки:
[1] https://www.rbc.ru/opinions/politics/13/03/2020/5e69e70a9a7947737fc79cf3
#ngo #government #budgets
РБК
Некоммерческий бюджет: как чиновники стали использовать НКО в своих целях
Создание государством некоммерческих организаций и прямое их субсидирование — это вывод огромных бюджетных средств из-под общих требований к госзакупкам и прозрачности
Подборка полезных новостей про данные и не только:
- IBM купили Bluetab [1] разработчиков open-source продукта Truedat [2] для управления данными и их каталогизации
- В России утвердили стандарт больших данных [3], он, на самом деле, словарь, но может хоть наличие стандарта оставит все эти бесконечные терминологические споры (или усилит их)
- Quickwit [4] инструмент по быстрому превращению JSON документов в API с полнотекстовым поиском, поддерживает 17 языков на основе латиницы, китайский и корейский и другие языки библиотеки Tantivy [5] на которой он основан, хотя может быть и русский тоже, надо проверять. Написано на языке Rust.
- Анонсирована конференция PyData Global 28-30 октября и туда стоит подаваться с заявками на выступление [6]
- большая подборка ссылок и материалов о инициативах Data4Good [7]
- что такое современный стек данных (data stack) [8] через взгляд 5 разработчиков облачных сервисов и продуктов
Ссылки:
[1] https://bluetab.net/en/software/fastcapture/
[2] https://www.truedat.io
[3] https://www.vedomosti.ru/technology/articles/2021/07/15/878242-utverzhden-pervii-standart-v-oblasti-bolshih-dannih%C2%A0
[4] https://github.com/quickwit-inc/quickwit/
[5] https://github.com/tantivy-search/tantivy
[6] https://pydata.org/global2021/present/
[7] https://www.data.org/charting-the-data-for-good-landscape/
[8] https://www.rilldata.com/blog/5-founders-define-the-modern-data-stack
#opendata #data #datacatalogs
- IBM купили Bluetab [1] разработчиков open-source продукта Truedat [2] для управления данными и их каталогизации
- В России утвердили стандарт больших данных [3], он, на самом деле, словарь, но может хоть наличие стандарта оставит все эти бесконечные терминологические споры (или усилит их)
- Quickwit [4] инструмент по быстрому превращению JSON документов в API с полнотекстовым поиском, поддерживает 17 языков на основе латиницы, китайский и корейский и другие языки библиотеки Tantivy [5] на которой он основан, хотя может быть и русский тоже, надо проверять. Написано на языке Rust.
- Анонсирована конференция PyData Global 28-30 октября и туда стоит подаваться с заявками на выступление [6]
- большая подборка ссылок и материалов о инициативах Data4Good [7]
- что такое современный стек данных (data stack) [8] через взгляд 5 разработчиков облачных сервисов и продуктов
Ссылки:
[1] https://bluetab.net/en/software/fastcapture/
[2] https://www.truedat.io
[3] https://www.vedomosti.ru/technology/articles/2021/07/15/878242-utverzhden-pervii-standart-v-oblasti-bolshih-dannih%C2%A0
[4] https://github.com/quickwit-inc/quickwit/
[5] https://github.com/tantivy-search/tantivy
[6] https://pydata.org/global2021/present/
[7] https://www.data.org/charting-the-data-for-good-landscape/
[8] https://www.rilldata.com/blog/5-founders-define-the-modern-data-stack
#opendata #data #datacatalogs
www.truedat.io
The Data Governance Open Source Solution
Forwarded from APICrafter
Регулярное пополнение наборов данных в APICrafter'е на 17 июля.
Добавлены наборы данных в разделе Инфраструктура
- точки продах Мегафон https://beta.apicrafter.ru/packages/megaphonsalespoints
- точки продаж МТС https://beta.apicrafter.ru/packages/mtssalespoints
- точки продаж Tele2 https://beta.apicrafter.ru/packages/tele2salespoints
- точки продаж Yota https://beta.apicrafter.ru/packages/yotasalespoints
Добавлены наборы данных в разделе Финансы
- Динамика курсов валют https://beta.apicrafter.ru/packages/cbrcurrencies
- Ключевая ставка Банка России https://beta.apicrafter.ru/packages/cbrkeyrate
- MosPrime Rate https://beta.apicrafter.ru/packages/cbrmosprime
- Ставка по кредитам овернайт (Банк России) https://beta.apicrafter.ru/packages/cbrovernight
- Международные резервы Российской Федерации https://beta.apicrafter.ru/packages/cbrreserves
В основном это данные, относительно, небольшого объёма в десятках тысяч записей, однако, к примеру, динамика курсов валют это 218 тысяч записей начиная с 1 июля 1992 года ежедневно по 144 валютам.
Все данные можно скачать как открытые данные и сейчас они доступны без необходимости авторизации. А также их можно скачать в виде слепков в формате BSON для СУБД MongoDB в сборках данных, пример, https://beta.apicrafter.ru/packages/cbrcurrencies/builds
Новые данные будут появляться еженедельно. Пока проект в стадии beta они будут актуализироваться время-от-времени, нерегулярно, а далее уже на регулярной основе.
Предложения, идеи и вопросы можно писать в форумах сообщества проекта https://apicrafter.userecho.com или в комментариях к постам в этом канале.
Добавлены наборы данных в разделе Инфраструктура
- точки продах Мегафон https://beta.apicrafter.ru/packages/megaphonsalespoints
- точки продаж МТС https://beta.apicrafter.ru/packages/mtssalespoints
- точки продаж Tele2 https://beta.apicrafter.ru/packages/tele2salespoints
- точки продаж Yota https://beta.apicrafter.ru/packages/yotasalespoints
Добавлены наборы данных в разделе Финансы
- Динамика курсов валют https://beta.apicrafter.ru/packages/cbrcurrencies
- Ключевая ставка Банка России https://beta.apicrafter.ru/packages/cbrkeyrate
- MosPrime Rate https://beta.apicrafter.ru/packages/cbrmosprime
- Ставка по кредитам овернайт (Банк России) https://beta.apicrafter.ru/packages/cbrovernight
- Международные резервы Российской Федерации https://beta.apicrafter.ru/packages/cbrreserves
В основном это данные, относительно, небольшого объёма в десятках тысяч записей, однако, к примеру, динамика курсов валют это 218 тысяч записей начиная с 1 июля 1992 года ежедневно по 144 валютам.
Все данные можно скачать как открытые данные и сейчас они доступны без необходимости авторизации. А также их можно скачать в виде слепков в формате BSON для СУБД MongoDB в сборках данных, пример, https://beta.apicrafter.ru/packages/cbrcurrencies/builds
Новые данные будут появляться еженедельно. Пока проект в стадии beta они будут актуализироваться время-от-времени, нерегулярно, а далее уже на регулярной основе.
Предложения, идеи и вопросы можно писать в форумах сообщества проекта https://apicrafter.userecho.com или в комментариях к постам в этом канале.
Вообще прежде чем запускать DataCrafter [1] я изучил несколько десятков каталогов данных и специального ПО для ведения таких каталогов.
У них у всех примерно 3 ниши:
- научная (репозитории научных данных)
- корпоративная/коммерческая (каталоги для data science)
- государственная (каталоги открытых данных)
Я об этом писал в большом обзоре в январе этого года [2].
Вот DataCrafter в чистом виде ни под одну из этих категорий не попадает поскольку это, по сути, некоторая польза для сообщества, некоторые возможности для аналитиков, а также... огромный тестовый полигон для тестирования алгоритмов автоматизации документирования данных, распознавания их структуры, классификации данных по типам и структуре полей и ещё многое другое.
У хорошего каталога всегда есть как минимум 4 направления развития:
- больше данных
- лучшее описание/документирование/инструментальное обеспечение данных
- улучшенный пользовательский интерфейс
- хорошая интеграция со всем что активно используется
Вот сейчас данных вроде как много, 359 доступных наборов данных, а можно добавить ещё несколько десятков тысяч (буквально), но тогда надо перестраивать веб-интерфейс потому что в текущем работать с такого рода количеством данных будет неудобно и полезные данные смешаются со всяким мусором.
Для документирования огромное пространство возможностей потому что сейчас не подгружена документация к 16386 полям. Документирование - это, всегда, самая ресурсоёмкая задача. Поскольку ещё и первоисточнику не всегда можно доверять, данные документации даже если даны структурировано, но ошибки часты. Без алгоритмической классификаци и автодокументирования тут не обойтись.
Пользовательский интерфейс самая понятная и самая сложная штука. Понятная потому что примеров много, сложная потому что разным пользователям нужно разное.
И интеграция это то без чего большинство пользователей не могут обойтись. И тут самое главное расстановка приоритетов, что и как должно быть в первую очередь.
Примеры для вдохновения больших публичных каталогов - это QRI [3], Data.world [4], Airtable [5], Dolthub [6] и многие другие
Сейчас DataCrafter - это каркас под все эти направления. Со сдержанным ростом числа баз данных, напащиванием алгоритмических возможностей и постепенным улучшением пользовательского опыта. Самое простое - это нарастить его объёмы, самое интересное - прокачать алгоритмы, самое важное - обеспечить пользователей удобными инструментами.
Ссылки:
[1] https://beta.apicrafter.ru
[2] https://begtin.substack.com/p/11
[3] https://qri.io
[4] https://data.world
[5] https://airtable.com
[6] https://www.dolthub.com
#data #datacatalogs #datacrafter
У них у всех примерно 3 ниши:
- научная (репозитории научных данных)
- корпоративная/коммерческая (каталоги для data science)
- государственная (каталоги открытых данных)
Я об этом писал в большом обзоре в январе этого года [2].
Вот DataCrafter в чистом виде ни под одну из этих категорий не попадает поскольку это, по сути, некоторая польза для сообщества, некоторые возможности для аналитиков, а также... огромный тестовый полигон для тестирования алгоритмов автоматизации документирования данных, распознавания их структуры, классификации данных по типам и структуре полей и ещё многое другое.
У хорошего каталога всегда есть как минимум 4 направления развития:
- больше данных
- лучшее описание/документирование/инструментальное обеспечение данных
- улучшенный пользовательский интерфейс
- хорошая интеграция со всем что активно используется
Вот сейчас данных вроде как много, 359 доступных наборов данных, а можно добавить ещё несколько десятков тысяч (буквально), но тогда надо перестраивать веб-интерфейс потому что в текущем работать с такого рода количеством данных будет неудобно и полезные данные смешаются со всяким мусором.
Для документирования огромное пространство возможностей потому что сейчас не подгружена документация к 16386 полям. Документирование - это, всегда, самая ресурсоёмкая задача. Поскольку ещё и первоисточнику не всегда можно доверять, данные документации даже если даны структурировано, но ошибки часты. Без алгоритмической классификаци и автодокументирования тут не обойтись.
Пользовательский интерфейс самая понятная и самая сложная штука. Понятная потому что примеров много, сложная потому что разным пользователям нужно разное.
И интеграция это то без чего большинство пользователей не могут обойтись. И тут самое главное расстановка приоритетов, что и как должно быть в первую очередь.
Примеры для вдохновения больших публичных каталогов - это QRI [3], Data.world [4], Airtable [5], Dolthub [6] и многие другие
Сейчас DataCrafter - это каркас под все эти направления. Со сдержанным ростом числа баз данных, напащиванием алгоритмических возможностей и постепенным улучшением пользовательского опыта. Самое простое - это нарастить его объёмы, самое интересное - прокачать алгоритмы, самое важное - обеспечить пользователей удобными инструментами.
Ссылки:
[1] https://beta.apicrafter.ru
[2] https://begtin.substack.com/p/11
[3] https://qri.io
[4] https://data.world
[5] https://airtable.com
[6] https://www.dolthub.com
#data #datacatalogs #datacrafter
Ivan’s Begtin Newsletter on digital, open and preserved government
#11. Стандарты работы с данными
Хрун-Варвар согласно стандартам Пупземелья считался чуть ли не академиком, поскольку умел думать, не шевеля при этом губами. (с) Цвет волшебства