Ivan Begtin
9.11K subscribers
2.78K photos
5 videos
116 files
5.66K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata
👍4✍3🔥3
В рубрике как это устроено у них Minuomavalitsus официальный портал муниципальной статистики Эстонии. Охватывает все муниципалитеты страны за 2016-2025 годы по каждому из которых собирается 700 метрик доступных для просмотра и сравнения. Все данные доступны в CSV и Excel для выгрузки и также на сайте доступна методология расчетов многих из метрик.

Сайт появился в 2020 году заодно в эти годы возник (проявился более явно) тренд на появление веб сайтов с муниципально статистикой в странах Евросоюза.

К ним можно отнести схожие проекты в Нидерландах, Австрии, Финляндии и многих других странах ЕС и мира. Например, в Южной Америки, в Чили, Бразилии, Перу или Колумбии.

#opendata #opensource #statistics
👍5✍1
Разные мысли вслух:
1. Вижу всё больше "умнного спама", видно что всё больше используют LLM для написания точечного спама под авторов. Причем находят информацию об адресате в открытых источниках, автоматически собирают профиль и пишут на том языке которой для адресата родной. Несколько писем я получил на русском с предложениями продвижения коммерческих приложений, причем письма были на хорошем русском языке с некоторыми признаками LLM, хотя их авторы явно русский язык не знают. Явно всё большее распространение получают какие-то AI-assisted маркетинговые инструменты. Но это, по прежнему спам, только более точный и нейрослоповый.
2. Одна из особенностей по России в почти полном исчезновении региональных статистических и аналитических порталов/сайтов, за исключением региональных подразделений Росстата, которыми пользоваться почти невозможно. Например, по регионам мне удалось найти только один из сайтов индикаторов Аналитического центра Москвы. Для понимания, в мире всё наоборот, кроме некоторых закрытых стран, сайтов с индикаторами регионального уровня очень много. Такие сайты - это не порталы открытых данных, но порталы данных и статистики.
3. Никуда не исчезающая проблема геоблокировки большей части российских госсайтов приводит к тому что с российскими данными сложно работать с помощью фронтирных LLM. Рабочий механизм - это наличие сервера с российским IP адресом и инструкции LLM в использовании прокси или более сложный механизм с подключением через SSH. А если использовать российский IP адрес в рабочей среде, то фронтирными LLM пользоваться невозможно из-за блокировок с их стороны. Но даже если использовать российские IP никуда не исчезает проблема с жесткими DDoS фильтрами, WAF и CDN с ограничениями. Поэтому с российскими данными работать сложно, примерно как и с китайскими официальными во многих случаях.
4. Ограничения на сайтах напрямую влияют ещё и на цифровую архивацию. Давно думаю как перестроить кампании по архивации официальных сайтов в РФ с учетом этих ограничений. Ну и надо уже как-то измерять этот уровень закрытости. Учитывая что Archive.org блокируется почти везде на госсайтах в России, а внутренней системы создания архива общедоступных материалов в росийском гос-ве нет, то если что могут быть потеряны большие пласты материалов. "Если что" может включать природные катаклизмы, атаки БПЛА, реформы госорганов, отставку пр-ва и тд.
5. На законы и другие НПА можно смотреть как на данные если выделять в них те что де-факто содержат датасеты в виде множества таблиц (те же законы о бюджете). Таких нормативных документов очень много, в данные они конвертируются, другой вопрос что и они - это фрагментированные куски датасетов и, по хорошему, надо реконструировать их из множества законов/НПА с изменениями, а это уже более дорогой путь.

#opendata #thoughts
❤7👍5🔥3🤔2
Многие российские сайты госорганов и госучреждений перестали открываться из других стран. Это заметили и знают многие, не все знают что многие сайты ещё и перестали индексироваться поисковыми системами и архивами - выпали из индексов Archive.org и Common Crawl и не попадали в их индексы уже более 25 месяцев.

Специальный проект Ruarxive - Российские госсайты уходят из веб-архивов (ruarxive.org/russia-blocked/). В котором собран актуальный статус доступности более чем 2000+ государственных сайтов РФ. Оценивалась доступность сайтов из серверов в Германии и в РФ, проверялось их наличие в индексах Интернет-архива и Common Crawl и была собрана аналитика текущего состояния на октябрь 2026 года.

Это не исчерпывающая картина, поскольку в России еще есть десяятки тысяч сайтов государственных и муниципальных учреждений сайты многих из которых также закрылись, но это возможность оценить "масштаб бедствия". Перечень сайта и результаты мониторинга доступны на сайте в виде открытых данных.

#opensource #opendata #digitalpreservation #webarchives
👍9✍2❤‍🔥2😢2
В рубрике закрытых данных в России портал открытых данных ГД РФ api.duma.gov.ru появился в начале 2010-х, предоставлял доступ к данным системы законопроектной деятельности ГД РФ через API для получения ключа надо было лишь заполнить форму и согласится с условиями. Хотя на сайте об этом нет анонса, но содержание его базы перестало обновляться с февраля 2025 года. Для всех новых данных ГД РФ API более нет и, хотя формально сайт API не закрыт, но де-факто теперь это замороженный проект.

#opendata #closeddata #russia
😢8
В рубрике как это устроено у них dataindex.us проект по мониторингу доступности официальных данных о здоровье и обществе в США. Это не технологический, а ручной мониторинг крупных программ/систем/инициатив по сбору данных статистическими службами и их доступности для исследователей. Каждая коллекция данных проходит ручную проверку, а также в сайт интегрируются ICRы (Information Change Requests). В США по закону федеральные органы власти должны уведомлять The Office of Information and Regulatory Affairs (OIRA) в тех случаях когда они начинают собирать новые данные от общества и когда они обновляют или меняют существующие коллекции данных. Эти запросы публикуются на Reginfo.gov и индексируются в dataindex.us.

Сам проект dataindex.us создан командной из множества бывших руководителей и исследователей научных подразделений в федеральных органах власти США и интересен как ещё одна инициатива по архивации и сохранению исчезающих официальных данных.

#opendata #researchdata #science #healthcare #usa
🔥6
Для тех кто интересуется доступностью юридических данных в мире и в России, моя презентация на EDPC. Это верхнеуровневый обзор, потому что на практике есть очень много нюансов уже практических аспектов доступности данных: несходимость официальных источников, блокировки, отсутствие массовой выгрузки и многое другое. Однако какое-то представление о проблеме это дает даже тем кому не удалось быть на моем выступлении.

При этом не стоит думать что везде хорошо с такими данными, а только в РФ плохо. Не плохо, но становится хуже, главным образом из-за отсутствия цельной госполитики и ужесточающихся блокировок доступа к госсайтам. Для тех кто хочет картинку в хорошем разрешении, она будет несжатой в чате к этому каналу.

#opendata #datasets #legaldata #russia
👍14✍6⚡1
А вот и анонсированная мной ранее книжка Каталоги данных доступна как база знаний на datacatalogs.begtin.tech и в виде PDF файлов на русском и на английском языках. Все под лицензией CC-BY 4.0, а то есть её можно читать и использовать и ссылаться свободным образом при условии ссылки и цитирования. Книга была бы невозможна без работы над поисковиком Dateno для которого и создавался реестр каталогов данных.

О чём эта книга? Это результат сведения воедино моих многочисленных записок о каталогах данных и сведений из реестра каталогов данных Dateno, так чтобы каждый тезис можно было бы подкрепить цифрами, фактами и примерами.

В книжке почти нет картинок, но много текста, сравнений, чеклистов и рекомендаций.

Она будет полезна, в первую очередь, тем кто каталоги данных создает и выбирает какой технологический стек для этого использовать почему. Она будет полезна и тем кто с каталогами данных работает на практике и хочет узнать почему их делают такими как их делают.

Я давно понемногу эту книгу собирал и самым сложным было в интеграции цифр из реестра каталогов, и тут ИИ агенты прекрасно помогают, выполняя актуализацию цифр и помогая выявлять рассинхрон в цифрах и фактах в текстах за разные годы.

Чего в это книге точно нет - это рассказа о каталогизации данных в корпоративном секторе. Если я и буду писать такую книгу, она точно не будет под лицензией CC-BY да и есть написанные другими книги по этой теме.

А в качестве преданонса, вторая книжка которую я понемного довожу до ума, появится в этом году. Она будет на смежную тему и ссылаться на эту.

Пишите если найдете ошибки, возникнут идеи того чего не хватает, что лишнее, что раскрыто недостаточно и тд.

#opendata #books
1🎉22🔥14✍5❤4❤‍🔥1
Mozilla запустили монетизацию их Mozilla Data Collective. Корпоративная подписка там стоит $3000 в месяц, а в основе монетизации число наборов данных которые можно скачивать ежесуточно. На бесплатном тарифе 7, на тарифе Pro (за $70) 20 наборов данных, а на Enterprise без ограничений.

Как будет устроена их экономика мне непонятно, потому что большая часть данных в их каталоге идут под свободными лицензиями и что мешает скачать наборы данных и раздавать их через торренты или как-либо ещё? Только стоимость трафика и хостинга, но они не запредельны.

Фактически они делают шаг от портала с открытыми данными для обучения по редким языкам к части инфраструктуры для обучения ИИ. Есть ли у этого эффективная монетизация, у меня есть сомнения, но может быть и есть, а я её просто не знаю?

#opendata #closeddata #mozilla #ai #datacatalogs
🤔8👍5💯4❤1✍1
Полезное чтение про данные, технологии и не только:
- AI-Ready Data (White Paper) свежий документ от Swiss Data Alliance про то как данные адаптируются под применение ИИ агентов и ИИ в принципе. Все в контексте Швейцарии, с конкретными примерами
- The EPA Is Quietly Killing its Web Archive в США Environmental Protection Agency анонсировало удаление их онлайн веб архива archive.epa.gov до конца 2026 года.
- Ontologies for AI in practice автор рассказывает о том как они скормили LLM данные в RDF и с онтологией чтобы получать лучшие результаты чем остальными методами. Эксперимент интересный, но, я бы не считал его панацеей.
- Who’s buying your personal data: Disney, GM, your insurer and bank. Here’s what they get о том как устроен рынок персональных данных в США. Для более ясного понимания важно знать что устроен он гораздо хуже и в странах где граждане защищены больше можно хотя бы узнать что-то, а там где защиты нет, то можно только предполагать худшее

#opendata #data #ai #digitalpreservation #webarchives
✍2👍2
Про обновление инструментов работы с данными. Я чаще всего в работе использую собственный инструментарий для работы с данными, я регулярно писал раньше про эти инструменты и продолжаю их обновлять.

- iterabledata библиотека для Python для универсального чтения и записи любых итеративных файлов и источников с данными (CSV, JSON, JSONl, AVRO, Parquet) и более сотни более редких и подключения к СУБД, вышел релиз 1.1.0 с множеством исправлений и существенным ускорением чтения и записи наиболее популярных форматов файлов. В документации много примеров, а сам инструмент более всего годится когда надо работать с форматами данных которые хочется обрабатывать как JSON или CSV, а для этого надо писать преобразующий код. По охвату форматов ее уже можно почти не расширять, а ускорять есть куда и вот это обновление про ускорение.

- undatum утилита командной строки для всяческих преобразований и анализа данных как в простых и плоских форматах, так и в сложных и иерархичных. Новая версия 2.0.0 включает много обновлений ускоряющих работу, для тех форматов и операций где это возможно используется движок DuckDB даже более чем раньше, а там где такой возможности нет используется iterabledata с учетом последних изменений и оптимизаций, плюс реализован механизм кеширования, плюс много разных других изменений. В документации много примеров использования и подробнее про производительность. Для меня это как полноценный швейцарский нож для работы с данными,

- apibackuper изначально это инструмент архивирования содержимого API, последовательно обходящий по страницам и сохраняющий результаты локально как первичные данные и умеющих экспортировать уже в нужный формат. Работает по спекам описываемым в YAML файле. В новой версии 3.0,0 много исправлений и добавление ряда фич включая возможность выгрузки из API где навигация идет через курсор, ссылки в полях вроде вроде next_url. А также поддержка OAuth2 и уменьшение потребления памяти при скачивании файлов. Я использую этот инструмент для архивации разного рода дата порталов, но можно применять и в задачах скрейпинга данных тоже конечно

#opensource #opendata #datatools
👍5✍2🔥1
Мой маленький-большой пэт проект - это открытые связанные инструменты qddate и newsworker.

qddate - это Python библиотека для ускоренного парсинга и идентификации шаблона дат, заточенная под парсинг миллионов строк в очень быстром режиме. Для Python'а есть библиотеки вроде dateparser и dateutil охватывающие большее число языков, но qddate существенно быстрее и в новом релизе 1.1.0 она была еще сильнее оптимизирована и дает ускорение примерно в 1.5 раза по сравнению с предыдущей версией. На некоторых видах текстов/дат ускорение еще больше.

newsworker - это инструмент командной строки и библиотека для Python для извлечения новостей из HTML страниц и превращения их в данные с экспортом в RSS, ATOM, Markdown, JSON и так далее. Чтобы было понятнее - это не парсер RSS лент, эта штука находит новостные блоки на веб странице, идентифицирует в них даты, заголовки, текст, изображения, ссылки и так далее и извлекает их умным образом так чтобы туда не попадали мусорные блоки и были сгруппированы кластеры новостей. Делалось оно для сбора новостей с сайтов не экспортирующих RSS, превратилось в нечто большее умеющее сохранять спеки, кэшировать, запускать локальный сервер и MCP сервис. Новая версия 1.5.0 также подверглась сильной оптимизации и сейчас дает ускорение, на некоторых страницах, в 20-40 раз (0.39 секунды вместо 15.9 секунд при начальном анализе) и 0.22 секунды вместо 4.7 секунд при работе по спецификации.

Мне все больше нравится то что получается на выходе, даже при том что я не могу найти этому коммерческое применение, лично полезного тут много. А qddate я еще использую активно в инструментах вроде metacrafter по смысловой разметке и документированию наборов данных.

#opendata #opensource #petprojects
👍11🔥6✍2
Forwarded from Open Data Armenia
Для тех кто работает с геоданными и интересуется географией Армении мы открываем сервис Open Data Armenia Atlas https://maps.opendata.am/

Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и объединять их, настраивать уровень прозрачности и даже подключать собственные данные для визуализации.

Сейчас мы подключили геоданные на нашем портале открытых данных data.opendata.am и несколько открытых геопорталов (GBIF, Sustainable Caucasus, GIS Yerevan, Human Development Exchange и другие). Некоторые из них могут быть иногда выключены, тогда эти данные могут быть недоступны, но большая часть доступны и мы будем дублировать данные на data.opendata.am при необходимости.

Также важно упомянуть:
1. Интерфейс сайта на английском, армянском и русском языках. Если Вы найдете ошибки в переводе напишите нам.
2. Свои данные можно загружать на сайт, но они не грузятся на сервер и обрабатываются в браузере.
3. Геопортал ориентирован на настольные компьютеры и ноутбуки и может отображаться медленнее и хуже на телефонах.

Пишите нам при любых найденных ошибках и если Вы знаете какие-то интересные геоданные которые пока отсутствуют на data.opendata.am и на геопортале. Мы обязательно их добавим.

Писать можно нам на opendata@opendata.am и в Github в issues к открытому коду этого проекта https://github.com/opendataam/armterriamap/issues

#opendata #geodata #geoportals #armenia
🔥14❤4✍3👍3
По слухам российский портал открытых данных Москвы data.mos.ru скоро закроется с переносом датасетов оттуда на общий домен города www.mos.ru. Так что он у нас в планах на архивацию уже подвергся архивации. Там если брать последние версии наборов данных то всего 7.7GB данных, а если брать вообще все версии за все время то 70+GB. Есть ли смысл выкачивать все версии я не знаю, а последние версии сохранены и будут куда-то выложены в открытый доступ.

P.S. Когда-то именно Пр-во Москвы были первыми кто портал открытых данных создавали и он у них был и остается лучше федерального. Но,видимо, если опровержений не будет то прошла эпоха

#opendata #datasets #datacatalogs #closeddata #russia #moscow
😢18✍4🕊2💯2😐2
Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее.

Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах.

И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные.

А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро.

В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению.

Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе.

Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре.

#opensource #opendata #datatools #semanticdatatypes #understandingdata
👍8✍4
А вот и вторая книга над которой я работал в этом году Инвентаризация данных. Собрана из десятков моих текстов, лекций и презентаций и посвящена тому как инвентаризировать данные находящиеся в собственном управлении или под свои задачи - тут еще и пересекается с data discovery (поиском и обнаружением данных).

Книга пересекается с книгой Каталоги данных поскольку многое в том как устроены каталоги данных проистекает как раз из задач инвентаризации.

Эта книга только на русском языке и тоже непонятно насколько она может быть полезна внутри РФ поскольку с доступностью данных в стране сейчас скорее идет в сторону ухудшения чем улучшения, но на русском языке говорят и пишут во многих странах так что я решил что в завершенном состоянии она будет более полезна чем если так и останется в виде закрытого черновика.

Как всегда обратная связь приветствуется и более чем ценна. Если найдете ошибки, неточности или чего-то будет нехватать - напишите обязательно.

#opendata #datacatalogs #books #readings #dataengineering
12👍21🔥8🎉6✍4❤1
Forwarded from Open Data Armenia
В продолжение ранее опубликованных данных официальной статистики, на портале открытых данных мы опубликовали полную базу статистики Статбанка Армстата в виде цельного набора данных.

Это не первичные данные, ранее извлеченные и опубликованные "как есть", а собранная из них база данных.

Что о ней важно знать:
1. База данных создана как сводная из 824 таблиц индикаторов к которым теперь можно делать запросы с помощью языка работы с данными SQL.
2. Данные опубликованы в формате Parquet и в виде базы DuckDB. Parquet это популярные компактный формат для распространения данных используемый в data science. А DuckDB - это одна из наиболее популярных настольных баз данных отличающаяся очень высокой производительностью и удобством для аналитических задач.
3. В Статбанке Армстата всего два языка - армянский и английский. Причем в переводе на английский было немного ошибок. В созданной базе данных эти ошибки были исправлены, а также добавлен машинный перевод на русский язык для тех кто хотел бы работать с этими данными используя русскоязычные названия.
4. Вся документация на базу данных представлена также на этих трех языках и включает общее описание и подробности по структуре и схемам данных.
5. Код создания базы данных доступен под свободной лицензией MIT. Если Вы найдете ошибки то можно отправить их прямо в Github или в чате к каналу Open Data Armenia

Самый простой способ использовать эти данные - это скачать базу DuckDB и выполнить команду duckdb armstat.duckdb для работы с командной строки или duckdb -ui armstat.duckdb для запуска веб интерфейса.

Обратная связь от Вас очень важна для нашей команды. Обязательно напишите если найдете ошибки или если будут предложения чего нехватает.

#opendata #opensource #armenia #datasets
🔥5👍3✍2
В рубрике как это устроено у них Fields of The World (FTW) проект от Taylor Geospatial с геоданными по распознанным сельскохозяйственным полям с охватом 241 страны мира.

Отдают данные, код, API, модели для распознавания, плагин к QGIS и тд.

#opendata #opensource #ai #agriculture
🔥5👍2✍1
Есть подозрение что сайт Росстата только выглядит восстановленным, а на самом деле это не так и выборочная проверка файлов на нем показывает 404 ошибку.

Проверял ли кто-то его системно? Насколько там все плохо?

#opendata #closeddata #russia #statistics
🤔5😁1😢1
Я не так давно писал про Internacia DB проект по систематизации метаданных по всем странам и зависимым территориям и по международным блокам и группам в которые они входят. Оно делалось для гармонизации метаданных в Dateno других проектах и существует в открытом репозитории. Недавно я выпустил новый его релиз 4.0 где было много мелких исправлений затронувших в основном правильные наименования стран на разных языках. Полный список изменений можно почитать в CHANGELOG

А также появился веб сайт internacia.io который визуализирует наглядно содержимое этой базы данных и дает некоторые дополнительные фичи вроде сравнения блоков стран по входящим странам, просмотр таймлайна, оценку качества данных и тд.

Обратите внимание - это именно метаданные по странам и блокам, они не включают статистику и статистическое сравнение стран. Такое, конечно, несложно добавить, но оно скорее про совсем другие проекты. А это референсная база данных. А ее веб интерфейс лично мне нужен был для оценки качества ее содержимого. Уже многое мне стало понятнее и хочется улучшить, но это уже несрочно и так проект достаточно зрелый чтобы использовать.

И, конечно, все это открытые данные и открытый код (CC-BY, MIT). Данные в Parquet, есть API и все такое прочее.

#opendata #opensource
✍3❤1👍1🔥1