День открытых данных ещё продолжается, а я тем временем выступил с презентацией Как искать данные с помощью каталогов данных. Проект datacatalogs.ru о том как проект устроен, развивается, для чего создавался и к чему идёт. А создавался он для появления поисковика по данным в будущем.

Видео тоже вскоре будет доступно.

Ссылки։
[1] https://www.beautiful.ai/player/-NPgdYTNJKkJTXp_0zgA

#opendata #opengov #datadiscovery

По поводу российского государственного портала открытых данных data.gov.ru который недавно был закрыт Минэкономразвития [1] и как пишет Ольга Пархимович у себя в канале там ещё и чудеса с обратной связью с представителями этого министерства [2], так вот ещё до появления госпортала открытых данных мы командой Инфокультуры делали портал hubofdata.ru [3] куда загружали данные которые госорганы "забывали" опубликовать как открытые и который подзабросили когда российские госорганы начали создавать свои порталы открытых данных, поскольку было, какое-то время, впечатление что данные госорганы будут публиковать.

Так вот я большого секрета не открою сказав что сделать большой негосударственный портал открытых данных можно и даже не феноменально сложно. И если Минэкономразвития собирается запускать новую версию data.gov.ru на Гостехе и за 50 млн. руб, то без министерства и без Гостеха общественный проект с большим числом наборов данных и их объёмом можно сделать в 5 раз дешевле.

Больше того, поскольку мы кроме общественного портала Hubofdata делали ещё и полу-коммерческий Datacrafter [4] то заполнить такой общероссийский портал можно сразу данными большого объёма и в хорошем качестве. Кстати, Datacrafter никуда не исчез, может быть будет перезапущен в России, может быть мигрирован в другую страну и с другими акцентами. В любом случае значительная часть собранных там данных может быть перенесена в общественный проект.

В чем же сложность тогда? На самом деле ключевая сложность в России вот уже много лет в отсутствии доступных инвестиций/грантов/средств на цифровые гражданские проекты, особенно по доступности данных. Это министерства могут сжечь любое количество потратить 50 миллионов рублей в довесок к уже потраченным без гарантии результата. Объяснить из чего складывается разница? Из того что порталы открытых данных во всём мире делают на готовых опенсорс решениях, чаще всего на CKAN, реже на DKAN, uData, Dataverse, а для геоданных Geonetwork. Развертывание любого из них в разы дешевле и практичнее разработки с нуля, если только нет плана по созданию мегафич из-за которых опенсорс продукты не подходят. А разработка с нуля на Гостехе - это удовольствие не для слабонервных, учитывая что там никаких готовых решений. Нельзя вот так просто взять и развернуть готовое решение из коробки и неизвестно можно ли будет когда-либо. Например, Datacrafter делался не на CKAN'е потому что в нём внутри структурированное NoSQL хранилище, разметчик семантических типов данных и экспорт всех данных в parquet по умолчанию. CKAN этого не умеет, пока что.

Когда есть амбиции делать национальные порталы открытых данных, то стоит ли делать их в России? Поэтому я через какое-то время анонсирую общественный портал открытых данных, пока небольшой, создаваемый для другой страны и я уже рассказывал ранее про проект Common Data Index [5] который начинается с общего реестра каталогов и порталов открытых данных в мире, а продолжится поисковой системой по всем наборам данных в общедоступных каталогах данных.

Ссылки:
[1] https://t.me/begtin/4714
[2] https://t.me/ahminfin/541
[3] https://hubofdata.ru
[4] https://datacrafter.ru
[5] https://t.me/begtin/4764

#opendata #russia #opengov #dataportals

В рубрике интересных каталогов данных открытые каталоги данных на базе TriplyDb [1]. Это продукт с открытым кодом [2] и одноимённая компания для публикации связанных открытых данных. В принципе проникновение связанных данных (Linked Data) в порталы открытых данных оказалось довольно сложным занятием. До сих пор активное использование связанных данных есть только в интеграции научных данных и самый известный проект в этой области DBPedia, в порталах открытых данных до сих пор поддержка OWL/RDF чаще формальность чем реальность.

Тем не менее, Triply есть инсталляции 3-х каталогов:
- https://triplydb.com - каталог 1102 наборов данных
- https://druid.datalegend.net - система Druid в Университете Утрехта
- https://data.pldn.nl - платформа связанных данных Нидерландов

Другим интересным стартапом пытавшемся занять нишу порталов и сервисов данных с акцентом на связанных данных был Swirrl, но несколько лет назад их поглотила компания TPXimpact [3]
У них осталось немного инсталляций:
- https://opendatacommunities.org - официальная статистика Департамента по вопросам выравнивания, жилищного строительства и сообществ Великобритании
- https://statistics.gov.scot - Официальная статистика Шотландии
- https://beta.gss-data.org.uk - статистика по изменению климата по Великобритании

В целом это два наиболее известных мне примеров реального применения связанных данных и инфраструктуры на них за пределами академических задач и общественных проектов. Тем не менее за ними также интересно наблюдать и изучать практическое применение в будущем.

Ссылки:
[1] https://triply.cc
[2] https://github.com/TriplyDB
[3] https://pages.tpximpact.com/swirrl

#opendata #linkedata #opengov #uk #netherlands #datacatalogs #opensource

По поводу перевода сайтов российских госорганов в доменную зону .gov.ru я вначале с большим недоумением прочитал что российские СМИ вообще считают это инфоповодом и активно об этом пишут. Потом я вспомнил про те масштабные ротации и кризис в российских СМИ в последние годы и недоумение пропало, но ситуация от этого менее идиотской не стала.

Я много лет веду реестр всех российских госсайтов, его публичная часть в репозитории на Github [1] и есть ещё непубличная часть в таблице в Airtable и я слишком хорошо знаю сколько и какие домены госорганы используют в работе, где они хостятся и так далее.

Перевод сайтов сайтов в зону .gov.ru обсуждался ещё 10-15 лет назад, и не так давно, пару-тройку лет назад, предпринимались усилия по переносу многих сайтов госорганов, большую часть с той поры перенесли, но не все.

Перенос домена сайта госоргана в зону .gov.ru - это вопрос скорее эстетический, по принципу "почему у всех правильно, а тут нет?", меня тоже всегда раздражало что сайты многих госорганов и госинициатив надо искать. Неудобно же!

Но, тут важно помнить, что нахождение сайтов госорганов в одной доменной зоне может иметь всего два практических смысла:
1. Большее доверие сайтам госорганов в ситуации когда есть "сайты обманки" или каким-то образом возникали ситуации недоверия. Это не то чтобы часто является проблемой, но иногда важно.
2. Возможность архивации сайтов госорганов автоматизированными краулерами. Так, например, устроено в Великобритании, где Национальный архив архивирует все сайты в зоне .gov.uk каждый час. Это называется UK Government Web Archive [2] и такие же инициативы есть в десятках стран, во всех странах где есть думают о будущем, я бы сказал.

Про практический смысл, первый пункт в России не актуален, а второй до сих пор ни в какой форме не реализован. Я за все эти годы не увидел ни одной инициативы внутри российского государства по архивации хотя бы собственных принятых решений. Хочется иронично спросить, как же так, если за то что делаете не стыдно, то сохраняйте для потомков, а если так стыдно что не сохраняете, то может и не делать? Поэтому если кратко, все инициативы по архивации сайтов госорганов в России сейчас гражданские, вроде нашего Национального цифрового архива [3]

Остаётся эстетический смысл исключительно который выглядит так что кто-то хочет обсудить цвет двери которую уже сорвало с петель и порвало на части. Важно ли что эта дверь была зёленая? Может быть салатово-фиолетовой ей было бы быть лучше? Иначе говоря на фоне повсеместного постепенно закрытия госданных, исчезновение ключевой информации с сайтов госорганов, изначальная непрозрачность множества инициатив, де-факто разрушение российской журналистики и исчезновение возможности журналистам получать содержательные ответы от госорганов, и при этом говорить про госдомены в зоне .gov.ru ? Самое близкое к этому - это публичное рукоблудие. Общественное внимание привлекает, смысла не имеет, приличия тоже.

Лично мне нет никакой разницы находится ли сайт криминальной статистики crimestat.ru в зоне .gov.ru или нет если он более не обновляется. Нет разницы находится ли национальный портал открытых данных data.gov.ru в зоне .gov.ru или нет, если он закрыт, и судя по сумбурности представителей Минэка, надолго если не навсегда и так далее.

В истинном золоте блеска нет и двулично говорить о том что надо делать хоть что-то что можно в текущей ситуации. Просто не надо тратить время на эту ерунду. Я вот немного потратил его, о чём уже жалею, и написал про это всё и больше не буду.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] https://www.nationalarchives.gov.uk/webarchive/
[3] https://ruarxive.org

#government #transparency #websites #opendata #opengov

Пришло время рассказать о том, чем я давно занимаюсь, а это, трам-парам-пам, ни много ни мало, а создание проекта по открытым данным в Республике Армения - Open Data Armenia, также посвященного армянской культуре, языку и истории по всему миру.

Признаюсь, идея начать делать проекты по открытости, связанные с Арменией, была у меня давно. Среди моих предков - амшенские армяне, в начале 20-го века бежавшие из Трапезунда в Турции от Геноцида армян. Планы были давно, и наконец-то удалось к ним приступить.

Любой проект по открытым данным начинается с портала открытых данных https://data.opendata.am, который пока существует в общественном статусе и наполняется нашей командой и волонтерами. Мы ищем интересные наборы данных, связанные с Арменией по всему миру, и вносим их раз за разом.

Что дальше? Конечно же, конкурсы, хакатоны, интересные проекты на открытых данных.. И хотя у нашей команды и был соблазн сразу делать что-то интересное на открытых данных, начали мы именно с каталога, поскольку, как оказалось, в Армении его до сих пор не было. Теперь этот каталог есть, и есть телеграм канал https://t.me/opendataam и телеграм-чат, в котором мы будем формировать сообщество по открытым данным https://t.me/opendataamchat.

Проекту можно помочь многими способами. Если Вы из ИТ-компании в Армении или связанной с Арменией, то можно помочь собрать призовой фонд для хакатонов и конкурсов. Если Вы программист, то можно помочь с преобразованием немашиночитаемых данных в форматы CSV/JSON/XML. Если просто интересуетесь, то подсказать где найти интересные данные, предложить идеи проектов на основе данных.

Идеи, предложения партнерства, готовность помочь и тд. - пишите на opendata@opendata.am или в личку в телеграм.

#opendata #armenia #opengov

Даже не знаю что добавить, Ольга (@ahminfin) всё правильно пишет что ключевое в том что в российском Минэкономразвития нет компетенций связанных с их полномочиями по открытости государства. Проблема эта, что называется, качества человеческого капитала. Ну а миграция официального портала открытых данных на Гостех - это минус на минус который превращается в жирный минус.

#opendata #opengov

В рубрике как это работает у них, портал открытых данных Абу Даби (ОАЭ) [1]

На портале 3329 наборов данных, внутри используется движок DKAN, поверх него работает фронтэнд который взаимодействует с этим движком через API.

Из плюсов: несколько API реального времени, симпатичный дизайн, регулярное обновление, данные доступны файлами и через API

Из минусов: не поддерживает стандарты экспорта метаданных вроде DCAT, лукавят с цифрами наборов данных потому что разрезали некоторые наборы данных помесячно.

Ссылки:
[1] https://data.abudhabi

#opendata #opengov #uae

Во второй раз за пару дней репощу @ahminfin, на сей раз про культуру "открытости" коммуникации ЦБ РФ. Хотелось бы сказать, они же публикуют данные и не всё так плохо, но... на деле то у ЦБ данных очень много и они рассеяны по всему их сайту и никогда не сводились в каталог для доступа. Максимум, что было - это что-то доступно через API, но далеко, далеко не всё. Учитывая что Пр-во РФ давно уже сползает от открытости данных к "открытости коммуникаций" с заведением аккаунтов в соцсетях госорганов, то можно пронаблюдать как такие коммуникации происходят. ЦБ, конечно, не орган власти, но всё очень и очень показательно;)

#opengov #russia #bankofrussia

В качестве регулярного напоминания, хотя я в последние годы делаю проекты не только в России, но и в Армении, а также некоторые глобальные, но АНО Инфокультура от лица которого наша команда создавала проекты по открытости в России всё ещё действует и, несмотря на все ограничения, действовать будет дальше, как я надеюсь, во всяком случае.

Мы продолжаем и поддерживаем такие проекты как:
- Госзатраты [1] агрегатор всех государственных и муниципальных контрактов по 44-ФЗ. 223-ФЗ, 94-ФЗ и ряда постановлений Пр-ва РФ. Все доступно для поиска, доступно как открытые данные. Мы продолжим развивать его и дальше
- Открытые НКО [2] портал прозрачности НКО в России. Хотя российское Пр-во начало скрывать данные по учредителям организаций НКО ещё с весны 2021 года, мы продолжаем обновлять данные, хотя и остальные возможности развития проекта ограничены.
- Простой язык [3] сервис определения простоты текстов на русском языке. Проект остаётся неизменным уже много лет, форма куда можно отправить текст и получить оценку его простоты в годах обучения. Мы думаем как его улучшать и развивать, регулярно приходят пользователи с разными запросами.
- Хаб открытых данных [4] негосударственный портал открытых данных. Из-за потоков спама нам пришлось отключить там свободную регистрацию, но сам хаб никуда не исчезает, думаем о его перезапуске. Может быть когда Минэкономразвития России опубликует обновлённый портал data.gov.ru на Гостехе мы специально обновим Хаб открытых данных чтобы показать всем какую хрень может сотворить министерство за 100500 денюх и насколько лучше можем мы сделать с минимальным бюджетом.
- Национальный цифровой архив России [5] наш проект по архивации сайтов, был более актуален когда шла совсем полная срань с ликвидацией сайтов многих российских "инагентов", менее критично сейчас, с одной стороны, с другой всё ещё актуально. Стало сложнее архивировать госсайты, они все обзавелись капчами и блокировкой любых не-российских IP адресов. Поэтому, в очередной раз, думаем о смене приоритетов и актуализации программы архивации. У проекта есть отдельный телеграм канал https://t.me/ruarxive, не стесняйтесь, подписывайтесь на него.
- День открытых данных в России [6] мы не проводили его в 2022 году, всё же провели в 2023 году и планируем в том же формате в 2024 году, по большей части онлайн. Госполитика в области открытых данных в России давно уже сдувается, а сейчас ещё и сталкивается с военной цензурой и общей "разрухой в головах" , но существует всё ещё сильное русскоязычное сообщество по открытости и только ради него мы это проводим.

Хотелось бы делать больше, но существующая политическая повестка этого не позволяет. Хорошо что получается сохранять то что есть, хотя и с ощущением что в любой момент может возникнуть политическое давление и даже это будет сложно сохранить.

Из России всегда можно поддержать эти проекты на странице Инфокультуры https://www.infoculture.ru/donation/ если от физ лица или напишите мне если хотите сделать это от юридического лица.

Ссылки:
[1] https://clearspending.ru
[2] https://openngo.ru
[3] https://plainrussian.ru
[4] https://hubofdata.ru
[5] https://ruarxive.org
[6] http://opendataday.ru

#opendata #russia #infoculture #opengov