Открытые данные - это не всегда государственные данные. Часто и чаще это данные собранные из открытых источников или же данные как результат научной деятельности. Далее подборка источников данных которые не являются государственными:

- re3data.org - реестр порталов данных научных репозиториев, более 2000 репозиториев в реестре
- dataverse.harvard.edu - один из крупнейших репозиториев данных в мире, в Гарварде. Более 81 тысячи наборов данных
- data.occrp.org - банк данных расследователей OCCRP. 194 миллиона документов включая файлы документов, наборы данных, утечки писем и многое другое.
- offshoreleaks.icij.org - базы утечек данных об оффшорах от ICIJ
- opendata.cern.ch - открытые данные адронного коллайдера и других проектов CERN. Огромного объёма, но применимы только физиками.
- dumps.wikimedia.org - дампы проектов фонда Викимедия, таких как Wikipedia, Wiktionary, Wikibooks, Wikidata и другие
- archive.org - крупнейший в мире архив наборов данных: веб-страниц, баз данных, результатов работы веб-краулеров, архивы FTP серверов и многое другое
- registry.opendata.aws - большие объёмы данных доступных через Amazon AWS. Много данных реального огромного объёма (несколько петабайт)
- scans.io - совместный проект нескольких компаний и групп по кибербезопасности выкладывающих результаты сканирования сетей

Это не исчерпывающий список и огромные объёмы данных публикуются без участия государств/правительств или же доступны исследователям.

#opendata #data

На хабре подробный, по шагам расписанный пост, о том как беларус "хакнул" госуслуги чтобы ввести туда данные своего паспорта [1]. Это безусловно не тот хакинг который про несанкционированный доступ к информации, но определенно про ошибки в реализации проверок на портале Госуслуг.
Повторять описанное там я никоим образом не рекомендую, это может оказаться уголовным деянием. А вот над вопросом о том проходят ли государственные информационные системы аудит безопасности - давно пора поднять.

А то ведь и одной утечки будет достаточно чтобы все полетело в тар-тарары.

Ссылки:
[1] https://habr.com/post/435548/

#privacy

Вопросы:
1. Сколько исследований ИТ рынка в России Правительство РФ и Минкомсвязи РФ провело за последние 5 лет?
2. Сколько исследований ИТ рынка в России предусмотрено на ближайшие 5 лет?
3. Проводились ли и кем и когда предметные исследования рынков оборудования, специализированного и общесистемного ПО, мобильных устройств и приложений к ним?
4. Что будет с ранее аккредитованными программами повышения квалификации государственных гражданских служащих для продуктов подлежащих импортозамещению (общесистемное и офисное ПО)? Будет ли аккредитация этих программ отозвана? Будет ли требование по их замещению на курсы ДПО и повышения квалификации на базе импортозамещаемых продуктов?
5. Аналогичный вопрос по аккредитованным программам не только для госслужащих, но и для всех остальных студентов
6. Будет ли сформирован компенсационных фонд ИТ компаниям на переобучение сотрудников импортозамещающим технологиям и продуктам?
7. Готово ли финансово-экономическое обоснование по каждой из государственных информационных систем по переходу на импортозамещаемое ПО? Если нет, то где можно увидеть дорожную карту и предварительные оценки стоимости миграции?
8. Распространяются ли требования по импортозамещению на сервисную и облачную модели предоставления ПО? Например, орган власти использует систему документооборота по сервисной модели. Обязан ли поставщик сервиса использовать отечественное ПО?

Источник вдохновения: http://government.ru/news/35323/

#questions

Db.nomics.world [1] - это открытая база макроэкономических показателей по всему миру от французских исследователей-экономистов из Cepremap [2]. Он часть проекта их инструментария для экономистов Macro.nomics.world [3] включающего:
- DbNomics - базу индикаторов экономик мира
- Dynare [4] - программный продукт для Mathlab по построению моделей на основе этих данных
- Policy - воспроизводимые результаты исследований

Для DbNomics данные собираются из 50 официальных источников, все данные отдаются через REST API, дампами, через библиотеки кода для R, Python, Stata, а также специализированые приложения для эконометрического анализа вроде Gretl [5].

Проект разработан полностью с открытым исходным кодом [6], основного сайта, сборки данных, библиотек и даже первичных собранных данных [7].


Сссылки:
[1] https://db.nomics.world/
[2] https://www.cepremap.fr/
[3] https://macro.nomics.world/
[4] http://www.dynare.org/
[5] http://gretl.sourceforge.net/
[6] https://git.nomics.world
[7] https://git.nomics.world/dbnomics-source-data

#opendata #opensource #economy

Тем временем в мире открытых данных данных всегда была и есть тема которой много в научном мире за пределами России и мало у нас. Это тема связанных данных (Linked Data).

На LOD Cloud [1] собрана большая база всех наборов данных превращенных в связанные данные. Задача эта трудоёмкая, но успешно решаемая теми кто создает открытые данные как результат научной деятельности или как результат общественной ценности. На январь 2019 год в LOD Cloud 1,234 набора данных в центре которых находится DBPedia [2] и другие проекты фонда Wikimedia.

Несмотря на высокий порог входа на использование данных в связанной форме и несмотря на сложности с публикацией - число наборов данных растёт.

От себя добавлю что лично я много лет занимался этой темой и отошел от неё только по той причине что не вижу прямого (быстрого) применения связанных данных в бизнесе и общественных проектах. Но в науке они являются стандартом-де-факто во многих областях: биология, лингвистика и др.

Ссылки:
[1] http://lod-cloud.net
[2] http://dbpedia.org

#opendata #linkeddata

Какой главный вопрос должен возникнуть по поводу преобразования ПФР, ФОМС и ФСС в НКО [1] ?

По каким причинам это делается. Уйти из под закона о госзакупках? Уйти из под закона о госслужбе? Вывести средства из под бюджетного регулирования ? Будет ли у этих "НКО" внебюджет?

И ещё немало серьёзных вопросов, друзья. Все они про одно - про прозрачность.

Ссылки:
[1] https://www.rbc.ru/economics/17/01/2019/5c3efc189a7947690db4298e?from=main

#transparency #openness

В РБК вышла колонка [1] "Тихие омуты: как распределяются субсидии и субвенции российского бюджета" на основе данных проекта Госзатраты.Субсидии [2].
...
Всего, по данным на 14 января 2019 года, в 2018 году было заключено 17 253 соглашения о субсидиях на общую сумму 2,88 трлн руб. Напомним, что все расходы федерального бюджета в прошлом году составили 16,8 трлн руб.
...
И много других подробностей о том как субсидии устроены.

Ссылки:
[1] https://www.rbc.ru/opinions/economics/18/01/2019/5c407c0f9a7947e05b486207
[2] http://sub.clearspending.ru

#opendata #spending #clearspending

Вышел и был представлен на Гайдаровском форуме доклад "Государство как платформа. Люди и технологии" [1] под редакцией Марии Шклярук и написанный большим коллективом авторов. Один из немногих докладов в России где явным образом упоминаются открытые данные и многое написано про реформу госуправления.

Я всячески рекомендую его к прочтению и понимаю того что между тем видением которым изложено там и той ситуацией в которой мы находимся ещё предстоит построить большой мост.

Ссылки:
[1] https://www.ranepa.ru/images/News/2019-01/16-01-2019-GovPlatform.pdf

#govasplatform

DNS Flag Day [1] - важное событие в обеспечении безопасности Интернета, будет отключён старый протокол DNS и произойдет переход на обновлённый протокол EDNS. Об этом пишет подробно Алексей Лукацкий в блоге Cisco [2]. Для соответствия новому протоколу необходимо использовать обновленные DNS сервера и большинство уже это сделано. Большинство, но не все и не все в России.

Домены таких органов власти: Минфин РФ (minfin.ru), Роскомнадзор (rkn.gov.ru) уже не проходят проверку на сайте dnsflagday.net и это ещё не полная проверка.
Напомню что все домены всех госсайтов которые на сегодняшний день известны, собраны в репозитории govdomains [3] на Github и любой желающий может проверить какие сайты будут работать нормально, а где ждать сбоев с 1 февраля.

Cсылки:
[1] https://dnsflagday.net/
[2] https://habr.com/ru/company/cisco/blog/436662/
[3] http://github.com/infoculture/govdomains

#privacy #security #domains

Тем временем шатдаун правительства в США влияет и на доступность данных. Например, недоступны данные data.gov . Это всё к вопросу о необходимости архивации открытых данных

Много напоминаний про день открытых данных в Москве (http://msk.opendataday.ru/)

1. ОДД в этом году организуют Информационная культура, ФРИИ и Ассоциация участников рынка данных и значительное время будет посвящено коммерческому использованию данных. А всего нас будет много госорганов рассказывающих о том что они делают в теме открытых данных, будет бизнес который расскажет как открытые данные помогают, исследователи о том как на открытых данных находят новое и активисты/эксперты рассказывающие о чём-то своем.

2. Хотите выступить? Знаете крутого докладчика ? Пишите нам на infoculture@infoculture.ru .

3. У ОДД небольшой бюджет, мы финансируем его из спонсорской поддержки, нам помогает Комитет гражданских инициатив в рамках тех проектов по открытым данным которые мы делаем, но нам всегда нужна Ваша помощь. Это бесплатное мероприятие и мы не планируем делать его другим, но если Вы коммерческая компания и заинтересованы в том чтобы открытых данных было бы больше и лучше - то даже 50 тысяч пожертвование будет к делу. Также можно пожертвовать напрямую Инфокультуре вот тут - https://www.infoculture.ru/donation/
Всё что мы собрали ранее и что будет собрано - всё пойдет на ОДД.

4. Не будет скучных долгих лекций и не будет резких коротких выступлений. Мы подберем удобный для всех тайминг.

5. В этом году всё пройдет на площадке ФРИИ в центре Москвы. Эта площадка востребованная огромным числом стартапов, к ней удобнее добираться и высокая вероятность что зарегистрируется очень и очень много людей и нам придется останавливать регистрацию когда будет набрана критическая масса. Поэтому не откладывайте, регистрируйтесь пораньше чтобы точно успеть.

6. День открытых данных не только в Москве. В мире проходит много дней открытых данных на сайте http://opendataday.org/ собрана карта. Если Вы не можете приехать - организуйте митап в своем городе, мини-лекторий и не только. Пишите нам на infoculture@infoculture.ru и мы поможем продвинуть Ваше мероприятие среди нашей аудитории.

7. Сейчас, когда Открытое правительство более не существует, нам особенно важна поддержка журналистов. Мы будем рады всем журналистам которые напишут об ОДД и посетят мероприятие. А мы поможем взять интервью, расскажем что такое открытые данные и тд.

#opendata #odd2019

​​📈Как сделать интерактивную карту Москвы и Петербурга

Datawrapper добавили в свой редактор карт Москву и Петербург. Теперь можно делать интерактивные карты районов и округов обеих столиц без кода!

Пользуемся: https://app.datawrapper.de/map/6f7q9/basemap

Вот именно по причине таких запросов депутатов большая часть ИТ сектора, телекома и других технологических компаний отмалчивается на содержательных обсуждениях или, хуже того, безоговорочно соглашается с заведомо абсурдными нормативными документами.

Есть много причин почему требования по "автономности Рунета" в законопроекте - это большая беда для родины. И дело не только в деньгах, дело не только в том что за всё заплатит потребитель, а в том что к катастрофоустойчивости это не имеет отношения.

Катастрофоустойчивость ключевой инфраструктуры - это важнейший вопросы который должен быть в ведении МЧС и затрагивать не только точки обмена трафиком, но и многие другие аспекты цифровой инфраструктуры и форс-мажорные обстоятельства. От вспышек на солнце до террактов отрубающих работу ключевых каналов связи.

А конкретно этот законопроект депутатов он, по своему смыслу, про национализацию телеком отрасли. Телеком операторы окажутся в столь жестких условиях и , рано или поздно, будут вынуждены согласовывать с регулятором столько всего - подключения к точкам обмена трафика, внешние каналы, оборудование которое должно быть совместимо с тем что РКН поставит или обяжет поставить у провайдеров.


#telecom

Задачи Общества, как финансового института развития, не выполняются, полноценная инвестиционная деятельность отсутствует. За 10 лет Росинфокоминвест инвестировал средства лишь в один проект в сфере информационно-коммуникационных технологий при том, что планировалось 14. Объем проинвестированного капитала составил 75 млн руб. при плане 1,2 млрд руб.»,- отметила в ходе выступления на Коллегии заместитель Председателя Счетной палаты Вера Чистова.
...
Подробнее
http://audit.gov.ru/press_center/news/35712

Интересно будет прочитать подробности по этой проверке, когда будет опубликован бюллетень СП

#минкомсвязь