В виду того что я немного приболел на рассылке Инфокультуры меня подменила Ольга Пархимович, автор рассылки по Госзатратам и, на мой взгляд, ей удалось то что не всегда удается мне - сделать ее интересной и полезной. Почитайте новую рассылку по ссылке - http://us7.campaign-archive1.com/?u=2e38b8af0d8a547b51427dc9b&id=5d6d9cc3a4&e=755ba20ec6

Там много интересного об открытых данных и не только.

#opendata #opengov #infoculture

Всяческие напоминания:
1. У нас есть списки баз знаний по темам в который через Github каждый может пополнить:
- Awesome list data journalism - https://github.com/infoculture/awesome-datajournalism
- Awesome list open data in Russian - https://github.com/infoculture/awesome-opendata-rus
- Awesome list open budgets - https://github.com/infoculture/awesome-openbudget
Участвуйте, дополняйте и создавайте похожие списки свои и присылайте мне!
Формат Awesome list очень удобен для ведения каталогов ссылок

2. Для тех кто еще не подписался - у Инфокультуры есть замечательная рассылка с новостями про открытые данные, открытость гос-ва и не только Подписаться можно по ссылке http://eepurl.com/cqen11
Там есть что-то о чем пишу я в блоге и много другого интересного.

3. Инфокультура публикует много открытого кода у нас в репозиториях на Github http://github.com/infoculture

#opendata #opengov #infoculture

Итак, мы обновили сайт Инфокультуры - https://infoculture.ru
Там много-много всего собрано, в разделе проекты https://infoculture.ru/projects и в других разделах.
Самое главное, конечно, не пропустите кнопки "Подписаться на рассылку" и "Поддержать нас". Первое позволит Вам быть в курсе того что мы делаем, а второе поможет нам делать то что мы делаем.

Я же пока расскажу о том чего там нет.
Нет некоторых проектов которые мы делали давно и сейчас они не сохранились. Наша цель была открыть новый сайт как можно скорее, и лишь далее его наполнять.
Пока там перечислены не все наши мероприятия и хакатоны, наше участие в разработке национального плана по открытым данным много лет назад, нашего доклада об открытых данных, множество репозиториев кода отсюда https://github.com/infoculture и нет нескольких проектов которые прямо сейчас находятся в разработке.

Все будет обязательно. И, конечно, Инфокультура стоит на принципах открытости не только государства, но и сектора НКО. Мы также будем обеспечивать собственную открытость, от раскрытия обязательных документов, до публикации всех материалов под Creative Commons. Во всех некоммерческих проектах мы также обязательно предоставляем открытые данные и API.

Отдельно отмечу что, не имея возможности привлекать зарубежное финансирование, практически полностью мы существуем за счет финансирования проектов поддерживаемых российскими фондами, физ лицами и организациями. Не буду говорить сколько я лично вложил средств в Инфокультуру за последние 5 лет:)
Кроме некоммерческих проектов мы оказываем услуги центра компетенций по открытым данным. Мы помогаем госорганам, корпорациям, НКО, всем кто заинтересован в раскрытии информации и все заработанное нами идет на уставные цели.

Мы действуем не в одиночку и список партнеров у нас на сайте далеко не полон. Если мы забыли включить Вашу организацию в их список - напишите нам и мы быстро исправимся.

Конечно наш сайт не столь насыщен материалами как другие проекты которые мы делали за эти годы. Например, Госзатраты (проект Комитета гражданских инициатив) - http://clearspending.ru или Хаб открытых данных (http://hubofdata.ru) однако он будет не только визитной карточкой, но и полезным ресурсом для всех кто работает с открытыми данными и не только.

#opendata #infoculture #opengov

Вчера прошел Общероссийский гражданский форум и я там работал в столь плотном режиме что никак не имел возможности транслировать происходящее. Расскажу сегодня по итогам:

1. На форуме мы представили проект Открытые НКО [1] и проект Открытые СМИ (ссылки не будет, проект во внутреннем бета тестировании) посвященные открытости финансирования НКО и СМИ соответственно. Я в очередной раз обращаю внимание на то что проекты которые мы создаем в Инфокультуре имеют внутренний стандарт предусматривающий публикацию API и/или открытых данных наборами данных, а также раскрытие всего кода если нет каких то внешних обязательств. Мы таким образом публикуем открытые данные Госзатрат [2] и API Госзатрат [3], а теперь и API в Открытых НКО [4].

В открытом аккаунте Инфокультуры на github [5] есть открытый код значительного числа наших проектов.

2. На форуме было много разговоров о судьбе Открытого Правительства. Моя позиция проста - Открытому правительству в текущем виде осталось существовать 4-5 месяцев. Его никогда не было и нет в федеральном бюджете, оно изначально было построено как внешнее по отношению к органам власти и единственно правильная модель существования это когда характеристики открытости относятся к базовому, по умолчанию закрытому, правительству.

3. Я и коллеги говорили о качестве данных Министерства юстиции, в которых отсутствуют данные о более чем 60 тысячах НКО - у которых не указаны реквизиты или указаны с ошибками. И то что министерство совершенно не торопится их исправлять.

Было и многое другое, все транслировалось онлайн и уверен что скоро будут записи секций и дискуссий на сайте ОГФ.

Ссылки:
[1] http://openngo.ru
[2] https://clearspending.ru/opendata/
[3] https://clearspending.ru/page/for-developers/
[4] http://openngo.ru/api-docs/
[5] https://github.com/infoculture

#opendata #opengov #infoculture

В следующем годы наши планы Инфокультуры будут в том чтобы постепенно приводить в порядок наши ресурсы - Хаб открытых данных [1], наш сайт [2], цифровой архив [3] и многое другое.

Большую часть наших проектов мы создаем и поддерживаем сами. Иногда удается найти для них финансирование, а чаще это собственные инициативы.

А также мы начинаем перезапуск комуникационных площадок. Телеграм для них хорош, но он ограничен и поиском по истории и возможностями работы.

Ссылки:
[1] https://hubofdata.ru
[2] https://infoculture.ru
[3] https://ruarxive.org

#opendata #infoculture

Приглашаю в наше сообщество в Slack'е Open Data in Russian. Его преимуществом будет не только несколько каналов, но и интеграция с новостями об открытых данных и база документов.

https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE

Мы создавали его изначально именно для обсуждения открытых данных на русском языке, наряду с сообществами в Facebook и других площадках. За это время более-менее прижился только телеграм, но и у него есть свои пределы удобства. Так что будем реактивировать эту площадку.

#opendata #opengov #infoculture

Обратите внимание на рассылку Инфокультуру https://mailchi.mp/c51d2ea8f9b6/33?e=eaa22949ba

уже 33-я и всё нарастает. Во первых на неё можно подписаться нажав на кнопку "Subscribe" по ссылке, а во вторых можно для неё присылать материалы.

#opendata #opengov #infoculture

Один из полезных продуктов Инфокультуры - это еженедельная рассылка новостей об открытых данных, открытости государства, понятном языке и цифровой архивации.

Рассылка очень аккуратная, не чаще чем раз в неделю и без какого-либо дополнительного спама. В рассылку попадают:
- новости наших проектов;
- новости проектов партнёров по близким нам темам;
- новости присланные на infoculture@infoculture.ru или в телеграм
и никакой рекламы.

Подписаться на рассылку можно по ссылке и хотя она не выделена в отдельный проект у нас на сайте https://www.infoculture.ru/projects/, но интегрирована во многие наши проекты по открытым данным.

#opendata #opengov #infoculture

Первые вопросы и ответы по нашему конкурсу микрогрантов [1]:
1. Почему такой маленький грантовый фонд?
Потому что это не госденьги и мы не крупный частный фонд. Инфокультура направляет на свою уставную деятельность средства которые поступают в рамках создаваемых нами проектов, пожертвований и контрактной работы. В будущем, по мере успешности этого раунда мы постараемся расширять грантовый фонд.

2. Откуда деньги?
Как я отвечал в предыдущем вопросе - это небольшие средства сравнимые с бюджетами небольших хакатонов. Когда-то при основании Инфокультуры первые средства учредители собирали сами краудфандингом. Сейчас у организации есть какая-то постоянная деятельность позволяющая извлекаемую прибыль направлять на уставную деятельность.

3. Кто такие члены жюри?
Все члены жюри этого раунда конкурса микрогрантов - это авторы доклада ЦСР "Государство как платформа" вышедшего в 2018 году и, в том числе, затрагивающим тему открытого исходного кода в госуправлении (стр. 34).

4. Почему в членах жюри нет никого от сообщества?
Члены жюри отбираются от грантодающей организации (Инфокультура), для будущих тематических грантовых конкурсов состав будет меняться.

5. Очень маленький грант, как я могу сделать проект за такие деньги?
Микрогранты могут помочь только-только стартующим проектам в том чтобы найти немного времени чтобы сделать их. А уже существующим в том чтобы реализовать какую-то полезную, не очень большую функцию или написать документацию или ещё что-то.

6. Зачем нужен такой конкурс микрогрантов?
Как минимум один из членов жюри, в моём лице (Иван Бегтин) когда-то с нуля создавал общественные проекты буквально без какого-либо финансирования. Если бы такой фонд микрогрантов был бы, то с ним было бы запускать их гораздо проще.

7. Откуда взялась идея микрогрантов?
В мире более 20 проектов микрогрантов [3] и многие из них существуют непрерывно. Программа минигрантов есть, например, у OKFN до $300 на дни открытых данных [4]

Не стесняйтесь, пишите Ваши вопросы в чате, мне лично или на почту ibegtin@infoculture.ru

Ссылки:
[1] https://www.infoculture.ru/microgrants/
[2] https://www.csr.ru/upload/iblock/313/3132b2de9ccef0db1eecd56071b98f5f.pdf
[3] https://github.com/nayafia/microgrants
[4] https://blog.okfn.org/2020/01/16/announcing-the-launch-of-the-open-data-day-2020-mini-grant-scheme/

#opendata #infoculture

Посыпаю голову пеплом за поздний анонс, но сегодня с 16:00 по 18:00 Инфокультура проводит вебинар о публикации открытых данных с большим числом коллег отрасли работающих в этой тема довольно давно.

Описание есть в Facebook [1] и регистрация на Timepad [2].

Ссылки:
[1] https://www.facebook.com/events/310008623500991/
[2] https://infoculture.timepad.ru/event/1346090/

#opendata #opengov #infoculture

В качестве напоминания, один из небольших проектов в Инфокультуре, как часть национального цифрового архива [1], я веду реестр всех доменов органов власти в репозитории на Github [2].

Сейчас в репозитории два больших обновления:
1. В папку refined [3] выложена рабочая версия обогащённых и очищенных данных по 7500 доменам в зоне .gov.ru и иным корневым доменам федеральных органов власти.
Это включает следующие сведения:
* feddomains.csv - домены в ведении федеральных органов власти
* organizations.csv - организации управляющие доменами федеральных органов власти
* govsystems.csv - государственные информационные системы к которым домены привязаны
* asn.csv - подсети (ASN) с привязкой к ним доменов
* regions.csv - регионы к которым привязаны домены федеральных органов власти

2. В папку "regional/77" выложен обновлённый список доменов связанных с Правительством Москвы (большая часть это поддомены домена mos.ru), всего 2265 доменов. Эти пока нерассортированная, неверифицированная куча доменов каждый из которых необходимо будет верифицировать в будущем. Большая часть систем города Москвы делается через "прокладку" в лице ДИТ Москвы и точки выхода API, контентных сайтов и т.д. не всегда локализованы в конкретных поддоменах. За полтора года поддоменов домена mos.ru стало значительно больше, весьма, весьма больше.
—
Я очень давно хотел эту работу проделать чтобы систематизировать стратегию архивацию сведений с официальных сайтов. В последнее время появилось слишком много сайтов внутри которых есть те или иные ограничения из-за которых веб-архивация не работает. Кстати, сам сайт Мэрии Москвы www.mos.ru устроен именно так, значительная часть сведений на страницах отдаются через API и JSON, в результате веб архивация не работает, поиск по документам внешний поиск тоже работает не очень.

Поэтому сейчас каждому веб-сайту в экспортированном списке feddomains.csv указывается стратегия архивации, факт архивации и, в будущем, факты наличия архивов. Следующим, непростым шагом, задача по сопоставлению огромной свалки архивов которая хранится на серверах национального цифрового архива со списком доменов чтобы понять по каким сайтам архивы есть, а по каким нужно срочно запускать процесс архивации.

Обратите внимание что все приведенные выше материалы являются рабочими. Далеко не по всем сайтам определена их региональная привязка, не все информационные системы привязаны и далеко не все метаданные заполнены. Более менее полными можно считать пока сам список доменов, типизацию сайтов, список организаций и ASN.

Если хотите помочь в этом, то пожелания и предложения доменов/сайтов для каталогизации направляйте в репозиторий через механизм issues [5].

P.S.
Вообще лично я надеялся много лет что Минцифра или Минэкономразвития сама рано или поздно сделают нормальный реестр госдоменов, вместо убогого Gosmonitor'а [6], но не дождался и уже много лет делаю сводный реестр самостоятельно в рамках Инфокультуры @infoculture.

Ссылки:
[1] https://ruarxive.org
[2] https://github.com/infoculture/govdomains
[3] https://github.com/infoculture/govdomains/tree/master/refined
[4] https://github.com/infoculture/govdomains/tree/master/regional/77
[5] https://github.com/infoculture/govdomains/issues
[6] https://gosmonitor.ru

#government #govdomains #infoculture

Наконец-то можно анонсировать. Аналитический доклад "Работа с открытыми данными: особенности публикации и использования в российском правовом поле" [1] он завершён и доступен. Читайте, распространяйте, задавайте вопросы и предлагайте примеры.

Ссылки:
[1] https://opendatareview.infoculture.ru/

#opendata #infoculture

Приватность государственных мобильных приложений в России [1] - свежее исследование от команды @infoculture. Мы проверили 44 государственных мобильных приложения в которых 39 из них содержат код сторонних трекеров и 38 из них содержат код сторонних трекеров с юрисдикциями в США и Японии. Почитайте подробнее там, много интересного.

Об этом я сегодня буду говорить на Privacy Day, презентацию можно посмотреть по ссылке [2], а также вышла статья в РБК с комментариями представителей Минцифры и ДИТ Москвы [3]

И здесь мне тоже есть что добавить:
1. Конечно же речь идёт не только о "технических сервисах" вроде Google Firebase и Firebase Crashlytics. Многие трекеры являются совершенно необязательными и более похоже что их включили не по злому умыслу, а для удобства разработки и аналитики. Не подумав, в общем, что, впрочем, ответственных за них не оправдывает. Это такие сервисы как HockeyApp, Estimote, Flurry, AltBeacon и другие.
2. Если верить коллегам что без сервисов Google в экосистеме Android работать невозможно, то мы же понимаем что импортозамещение в этой области это просто профанация? Получается что есть экосистемные требования и у Правительства РФ нет другого пути кроме как с Google договариваться в будущем.
3. Все кто делают коммерческие мобильные приложения которые передают данные в зарубежные сервисы теперь знают что и госорганы поступают аналогично
4. Есть как минимум 5 госприложений в которых нет ни одного встроенного трекера, например, "Госуслуги.Дороги". То есть если очень хочется то можно создавать приложения и без слежки. Так почему же не всем и не всегда хочется?;)
5. Конечно, прежде чем публиковать материалы онлайн, очень хотелось бы вести профессиональный дискурс о вопросах приватности, безопасности, свободы и ограничений использования цифровых сервисов. Но вот не работает механизм дискуссий вокруг смысловых документов в России. Их приходится адаптировать под формат который был бы понятен и удобен СМИ, иначе обратной реакции от органов власти просто не возникает.
6. При этом всё очень конструктивно. У нас очень понятные рекомендации для регуляторов, контролёров, разработчиков и пользователей.
7. Это не последний обзор по этой теме, если есть какие-то приложения которые мы упустили, а они наверняка есть, то пишите, все подвергнем тщательной вивисекции.

P.S. Конечно результаты доступны и как открытые данные.
- Приложения и трекеры иностранных юрисдикций [3]
- Выборка исследуемых госприложений [4]
- Данные о трекерах госприложений [5]
- Сводные собранные данные по всем госприложениям [6] (трекеры, разрешения и т.д.)

Ссылки:
[1] https://privacygosmobapps.infoculture.ru/
[2] https://www.beautiful.ai/player/-MS6JaKYDpr8q1UCAjmA
[3] https://ngodata.ru/dataset/apps-trackers-jurisdiction
[4] https://ngodata.ru/dataset/gos-mobile-apps
[5] http://ngodata.ru/dataset/gos-apps-trackers
[6] https://ngodata.ru/dataset/gos-full-csv

#privacy #infoculture #mobileapps

Напоминаю что День открытых данных в этом году пройдет онлайн [1] где кроме мероприятий 6-го марта проходит серия мастер-классов первый из которых пройдет сегодня, 1 марта в 18:00 (MSK, GMT+3), мастер-класс «Вскрываем декларации. Как при помощи регулярных выражений привести Word'овскую табличку к пригодной для анализа форме».

Мастер-классы будут проходить ежедневного до 5-го марта включительно.

А потом, 6 марта, будет серия интересных дискуссий по злободневным вопросам. В этом году мы позвали много зарубежных экспертов и будет особенно интересно узнать о том что происходит в мире.

Обязательно регистрируйтесь на сайте, приходите и распространяйте!

Ссылки:
[1] https://opendataday.ru/msk

#opendata #infoculture

Я тут начал было только перечислять то какие проекты мы планировали делать до вот-этого-всего, но список получался очень грустный, и для поиска финансирования общественных проектов сложности в России уже давно. Но какие то планы можно вспомнить:
- День открытых данных - вели активную подготовку, всё было готово, отменили в последний момент потому что теперь всё это кажется малоцелесообразным. Хотя нам и надо как-то поддерживать сообщество и не терять связи с миром, но абсолютно непонятно теперь что будет дальше с открытостью государства. Вернее понятно что будет хуже.
- Прозрачный нефтегаз - проект который я проектировал ещё 3 года назад и к которому были планы вернутся, по систематизации того как добывающие компании платят налоги, поддерживают социальную инфраструктуру и тд. В мире есть несколько таких проектов, было желание сделать его и в России. Будет ли он актуален? Сомневаюсь
- Государственные НКО - у меня на руках уже с полгода лежит доклад дописанный на 80% о том как из госбюджета государство раздаёт средства госНКО для выполнения государственных функций. Важная была тема в мирное время, сейчас уже кажется неактуальным. Как бы вообще траты бюджета не закрыли.

Это не полный список. Ещё остались система мониторинга законотворчества, база муниципальных показателей, переделка нашего портала Открытые НКО (openngo.ru) с наполнением новыми данными и многое другое.

Но теперь всё это кажется проектами из другого мира. Что можно будет делать в нашей новой реальности? Самое главное мне представляется архивацией данных, сайтов, цифрового наследия которое сейчас исчезает. На всё это никогда не было финансирования в России и сейчас тоже это проблема его найти. Но в плане исторической ценности - это важнейшее направление.

По крайней мере в том что касается некоммерческих проектов.

#thoughts #projects #infoculture

Для тех кто интересуется, напомню что много лет Инфокультура поддерживает проект Открытые НКО [1] с базой и открытыми данными по всем некоммерческим организациям в России. В какой-то момент нам пришлось переносить их с одного хостинга на другой и миграция затянулась и оказалось сложной, но сейчас сайт снова доступен.

Проект, к сожалению, вот уже много лет почти не развивается. Его финансирование закончено, мы поддерживаем его за счёт собственных ресурсов, но закрывать не планируем.

Ссылки:
[1] https://openngo.ru

#openngo #opendata #data #ngo #infoculture

В качестве регулярных напоминаний, если Вы изучаете открытые данные и хотите больше погрузиться в эту тему:
1. Работа с открытыми данными: особенности публикации и использования в российском правовом поле [1] аналитический доклад 2020 года про возможности и проблемы работы с открытыми данными.
2. Карты данных [2] по многим отраслям составленные нами 3.5 года назад в виде инфографики. Изначально это было куча майндмапов в виде вопросов и ответов. Для наглядности пришлось их переработать. То что получилось делалось, в первую очередь для печати и раздачи на хакатонах.
3. Хаб открытых данных [3] наш негосударственный портал открытых данных. Создавался как независимый от гос-ва портал для публикации данных. Мы его поддерживаем вот уже много лет.

Если хотите помочь Инфокультуре то сделать можно это на странице https://www.infoculture.ru/donation/ пожертвованием однократно или ежемесячно (лучше ежемесячно, конечно!).

Лично я считаю после всей той помощи что я оказал Минцифре РФ по чистке реестра аккредитованных ИТ компаний, сотрудники министерства, не могут пройти мимо и не пожертвовать кто сколько может на благое дело приведения наборов данных в порядок 😜

Ну а если серьёзно, то пандемийные годы были непростыми, а этот год - это ещё больший вызов многократно. До сих пор непонятно как продолжать развивать открытость данных, всё ещё понятно что можно делать в части цифровой архивации и всегда понятно что делать по теме приватности, хотя, это тоже стало сложнее.

А я не могу не напомнить что был и остаюсь в России, и пока рассматриваю варианты отъезда, только по состоянию здоровья (если аллергия на березы начнёт зашкаливать).

Ссылки:
[1] https://opendatareview.infoculture.ru/
[2] https://www.infoculture.ru/2018/12/10/datamaps/
[3] https://hubofdata.ru

#opendata #infoculture #donate

Результаты свежего исследования Инфокультуры с анализом приватности (читай - слежки) 1014 мобильных приложений для Android опубликованных в магазине приложений RuStore.

Мы работали над ним около месяца, анализируя все опубликованные приложения на предмет тех разрешений которые затребуют на устройствах пользователей и наличия в них кода специальных библиотек (трекеров) используемых для слежки за потребителями.

Почему RuStore и приложения оттуда? Потому что усилиями Минцифры РФ и Правительства РФ именно этот магазин приложений стал официальным, фактически, нормативно закреплённым. Можно говорить о том что компания ВК и Правительство РФ теперь несут совокупную ответственность за то как приложения оттуда следят за нами.

Выводы [не]удивительные:
- большая часть приложения включает трекеры, требуют больше разрешений чем им реально может быть нужно, а сам магазин приложений не имеет стандартов верификации.
- большая часть приложений передают данные компаниям в юрисдикциях которые Правительство РФ называет "недружественными"
- даже госприложения включают трекеры, например компании Google, передающие данные о гражданах в другие страны и в BigTech корпорации

44 госприложения мы анализировали в прошлом году, но в этот раз решили подойти масштабнее и проанализировали 1014 приложений всех категорий. Было это дольше, но не менее увлекательно.

С результатами исследования мы публикуем все данные в CSV и исходный код по их подготовке [2].

Если будут сложности самостоятельного анализа данных в CSV и если Вы журналист или исследователь, хотите сделать собственную визуализацию или материал, свяжитесь с нами на infoculture@infoculture.ru, мы поможем․

Ссылки:
[1] https://rustoreprivacy.infoculture.ru
[2] https://github.com/infoculture/rustore-privacy/

#privacy #infoculture #android #mobileapps