Ivan Begtin
9.11K subscribers
2.78K photos
5 videos
116 files
5.66K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
Всем спасибо за пройденный ранее опрос, я сейчас веду работу по обновлению сайта ruarxive.org с наполнением ключевых страниц тем за что проголосовали в первую очередь. А заодно обновил сайт с отображением того какие данные собраны, в каком объёме и так далее.

У сайта открытый код он построен на базе Docusaurus и организован изначально как база знаний.

Как помочь:
1. Дополнить/добавить/исправить в содержании страниц
2. Отправить issue если нет возможности внести изменения самостоятельно, но есть понимание что нужно
3. Написать в @ruarxivechat идеи/предложения/критику/что угодно полезное

По текущему статусу, сейчас не все еще заархивированные ресурсы проиндексировались, но работа идет и все будет.
Можно обратить внимание что в последние годы архивация перестала быть регулярной и тут уже более сложный вопрос приоритетов который, я надеюсь, мы все вместе сообществом обсудим и регулярную архивацию возобновим.

#digitalpreservation #opensource #knowledge
👍8🔥3✍1🤝1
Weather Ribbon (Погодная лента?) любопытная визуализация среднемесячной температуры по городам на основе данных за 1991-2020 годы.

На сайте охват городов не такой уж большой, в основном развитые страны и крупные города. К примеру, Алматы там есть, а Еревана нет.

Но интереснее сам подход к визуализации, она доступна с открытым кодом под MIT лицензией и можно применить то же самое к визуализации чего-либо ещё: уровня осадков, качества воздуха и так далее.

А сам сервис работает на открытых данных NASA MERRA-2 и Open Meteo.

#opendata #opensource #dataviz
✍3
В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata
👍4✍3🔥3
Полезные инструменты с открытым кодом для работы с данными и не только:
- DashBeam инструмент быстрой передачи файлов большого размера между двумя компьютерами. Использует пиринговые сети и QUIC via Iroh. Ранее назывался AltSendMe, но автор недавно проект переименовал. Распространяется под GNU Affero GPL
- Plexo инструмент для быстрой выгрузки файлов использующий все подключенные каналы связи. Тоже открытый код, лицензия MIT.
- REA (Reverse Engineering Anything) набор инструментов с открытым кодом для агентского реверс инжиниринга. Один из символов рисков рынка классического ПО которое часто проще подвергнуть разбору и сборке нового с нуля, чем платить за софт по подписке. Под лицензией MIT
- XERJ поисковик по коду, текстам и данным, но для ИИ агентов. Обещает серьезное сокращение расхода токенов. Лицензия Apache 2.0
- Heretic инструмент снятия цензуры с открытых LLM. Инструмент давний, но от этого менее актуальным он не становится. Лицензия GNU Affero GPL

#opensource #datatools #ai
👍4✍3🔥3❤1
В рубрике как это устроено у них Minuomavalitsus официальный портал муниципальной статистики Эстонии. Охватывает все муниципалитеты страны за 2016-2025 годы по каждому из которых собирается 700 метрик доступных для просмотра и сравнения. Все данные доступны в CSV и Excel для выгрузки и также на сайте доступна методология расчетов многих из метрик.

Сайт появился в 2020 году заодно в эти годы возник (проявился более явно) тренд на появление веб сайтов с муниципально статистикой в странах Евросоюза.

К ним можно отнести схожие проекты в Нидерландах, Австрии, Финляндии и многих других странах ЕС и мира. Например, в Южной Америки, в Чили, Бразилии, Перу или Колумбии.

#opendata #opensource #statistics
👍5✍1
Многие российские сайты госорганов и госучреждений перестали открываться из других стран. Это заметили и знают многие, не все знают что многие сайты ещё и перестали индексироваться поисковыми системами и архивами - выпали из индексов Archive.org и Common Crawl и не попадали в их индексы уже более 25 месяцев.

Специальный проект Ruarxive - Российские госсайты уходят из веб-архивов (ruarxive.org/russia-blocked/). В котором собран актуальный статус доступности более чем 2000+ государственных сайтов РФ. Оценивалась доступность сайтов из серверов в Германии и в РФ, проверялось их наличие в индексах Интернет-архива и Common Crawl и была собрана аналитика текущего состояния на октябрь 2026 года.

Это не исчерпывающая картина, поскольку в России еще есть десяятки тысяч сайтов государственных и муниципальных учреждений сайты многих из которых также закрылись, но это возможность оценить "масштаб бедствия". Перечень сайта и результаты мониторинга доступны на сайте в виде открытых данных.

#opensource #opendata #digitalpreservation #webarchives
👍9✍2❤‍🔥2😢2
Полезные ссылки про данные, технологии и не только:
- APM – Agent Package Manager новая система управления пакетами/зависимостями от Microsoft, ориентированная на применение агентами. Скоро все системы управления пакетами будут преимущественно для ИИ агентов, потому что те по нарастающей используются для установки ПО
- Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation препринт статьи от Google Research о том как устроены их ИИ агенты для работы с геоданными на примере Google Earth.
- Polars 2.0 on NVIDIA Vera CPU очередные метрики сравнения работы Polars, DuckDB, DataFusion. На сей раз на базе компьютера NVIDIA Vera. Polars 2.0 уже сильно лучше выглядит по производительности да и раньше было неплохо, но сама конфигурация мне представляется странной. Бенчмарки ClickBench мне нравятся больше и они универсальнее, но и это любопытно

#opensource #ai #datatools #geodata
👍6
RustGIS новая и набирающая популярность GIS система. Имеет множество полезных возможностей которые еще могут сделать ее популярной:
- написана полностью на Rust и это существенно отражается на скорости и реактивность интерфейса
- собирается в WebAssembly и работает на условно любой ОС, а также можно попробовать онлайн на web.rustgis.app
- каждая кнопка веб интерфейса - это команда и ее функции могут быть вызваны через приложение в командной строке
- расширяемо, уже есть набор плагинов
- очень компактно, к примеру,инсталлятор для MacOS занимает всего 22 мегабайта

И, конечно, открытый код, лицензия Apache 2.0

#opensource #geoportals
❤15👍10🔥1
Полезные ссылки про данные, технологии и не только:
- Introducing Clairic, a new System One class of extraction models новая модель от Cloudflare, обещают что она может быстрее, лучше и дешевле извлекать структурированные данные из неструктурированных и лучше прогнозирует данные во временных рядах. Не открытая модель, но доступная через API Cloudflare
- Diffusion at Scale: Introducing Mercury 3 новая модель Mercury 3 заточенная под высокую скорость и с качеством сравнимым с GPT-6 Luna (Medium). Доступна только через API
- Frisket ИИ инструмент работы с табличными данными для расследователей журналистов. Главная фишка в privacy first дизайне и ориентации на работу с локальными моделями по умолчанию, но есть и другие варианты. Выглядит так как мог бы выглядеть OpenDataEditor если бы им занимались прямые руки. Открытый код, лицензия Apache 2.0
- The Agentic Analytics Benchmark, round two: GPT-6, Claude Opus 5.5, Claude Sonnet 5.5 у команды Clickhouse одна из лучших команд по бенчмаркам и тот случай технического маркетинга когда есть что почитать. В этот раз у них обзор применения LLM к агентской аналитике. Полезный бенчмарк

#opensource #ai #dataengineering
👍2✍1
Про обновление инструментов работы с данными. Я чаще всего в работе использую собственный инструментарий для работы с данными, я регулярно писал раньше про эти инструменты и продолжаю их обновлять.

- iterabledata библиотека для Python для универсального чтения и записи любых итеративных файлов и источников с данными (CSV, JSON, JSONl, AVRO, Parquet) и более сотни более редких и подключения к СУБД, вышел релиз 1.1.0 с множеством исправлений и существенным ускорением чтения и записи наиболее популярных форматов файлов. В документации много примеров, а сам инструмент более всего годится когда надо работать с форматами данных которые хочется обрабатывать как JSON или CSV, а для этого надо писать преобразующий код. По охвату форматов ее уже можно почти не расширять, а ускорять есть куда и вот это обновление про ускорение.

- undatum утилита командной строки для всяческих преобразований и анализа данных как в простых и плоских форматах, так и в сложных и иерархичных. Новая версия 2.0.0 включает много обновлений ускоряющих работу, для тех форматов и операций где это возможно используется движок DuckDB даже более чем раньше, а там где такой возможности нет используется iterabledata с учетом последних изменений и оптимизаций, плюс реализован механизм кеширования, плюс много разных других изменений. В документации много примеров использования и подробнее про производительность. Для меня это как полноценный швейцарский нож для работы с данными,

- apibackuper изначально это инструмент архивирования содержимого API, последовательно обходящий по страницам и сохраняющий результаты локально как первичные данные и умеющих экспортировать уже в нужный формат. Работает по спекам описываемым в YAML файле. В новой версии 3.0,0 много исправлений и добавление ряда фич включая возможность выгрузки из API где навигация идет через курсор, ссылки в полях вроде вроде next_url. А также поддержка OAuth2 и уменьшение потребления памяти при скачивании файлов. Я использую этот инструмент для архивации разного рода дата порталов, но можно применять и в задачах скрейпинга данных тоже конечно

#opensource #opendata #datatools
👍5✍2🔥1
Мой маленький-большой пэт проект - это открытые связанные инструменты qddate и newsworker.

qddate - это Python библиотека для ускоренного парсинга и идентификации шаблона дат, заточенная под парсинг миллионов строк в очень быстром режиме. Для Python'а есть библиотеки вроде dateparser и dateutil охватывающие большее число языков, но qddate существенно быстрее и в новом релизе 1.1.0 она была еще сильнее оптимизирована и дает ускорение примерно в 1.5 раза по сравнению с предыдущей версией. На некоторых видах текстов/дат ускорение еще больше.

newsworker - это инструмент командной строки и библиотека для Python для извлечения новостей из HTML страниц и превращения их в данные с экспортом в RSS, ATOM, Markdown, JSON и так далее. Чтобы было понятнее - это не парсер RSS лент, эта штука находит новостные блоки на веб странице, идентифицирует в них даты, заголовки, текст, изображения, ссылки и так далее и извлекает их умным образом так чтобы туда не попадали мусорные блоки и были сгруппированы кластеры новостей. Делалось оно для сбора новостей с сайтов не экспортирующих RSS, превратилось в нечто большее умеющее сохранять спеки, кэшировать, запускать локальный сервер и MCP сервис. Новая версия 1.5.0 также подверглась сильной оптимизации и сейчас дает ускорение, на некоторых страницах, в 20-40 раз (0.39 секунды вместо 15.9 секунд при начальном анализе) и 0.22 секунды вместо 4.7 секунд при работе по спецификации.

Мне все больше нравится то что получается на выходе, даже при том что я не могу найти этому коммерческое применение, лично полезного тут много. А qddate я еще использую активно в инструментах вроде metacrafter по смысловой разметке и документированию наборов данных.

#opendata #opensource #petprojects
👍11🔥6✍2
Когда-то очень давно я сделал такой простой сервис под названием Plain Russian по аналогии с Plain English. В сервисе я тогда адаптировал к русскому языку некоторое число формул оценки простоты текста о чем написал заметку на Хабре.

За много лет сервис не менялся, не доходили руки, если честно. Хотя изначально задумка была в том чтобы кроме русского охватить и другие языки. С появлением ИИ сервисов и LLM вопрос стал еще более актуальным поскольку большинство тех кого я знаю используют сейчас Claude, ChatGPT и др. для оценки правки текста.

Но, у меня есть подозрение, что польза от приватного инструмента есть. Того в котором на сервер ничего не передается, кроме как в специальных случаях когда пользователь этого хочет.

Так что, парам пам пам, новая, бета версия PlainRussian в виде настольного приложения для Mac, Windows и Linux позволяющее делать оценку понятности и ясности языка и с опцией подключения LLM, как локальной таки облачной, тут Вы сами можете решить хотите ли что-то передавать куда-то или нет. Базовые оценки вообще без LLM формируются.

Приложение сделано на WebAssembly и его можно запустить не скачивая прямо в браузере. При этом оно полностью в браузере работает так что его режим работы приватный по умолчанию, как говорят serverless и privacy-first.

У проекта открытый код, на Rust и Typescript.
А из экзотики у настольной версии есть опция интеграции со сберовским Gigachat'ом, но неооттестрованная потому что работа с ним требует установки корневых сертификатов Минцифры РФ и надо создавать там аккаунт. Так что поддержка как бы есть, но она непроверена.


В размышлениях как его улучшить.
- добавить заодно другие популярные языки
- добавить наоборот не самые популярные: армянский, узбекский, казахский и тд.
- добавить опции автопереписывания текста с плюшками которых нет у LLM по умолчанию
- интегрировать с ИИ от Яндекса и других российских провайдеров?

В любом случае сейчас это все существует в форме маленького открытого некоммерческого проекта.

У всего этого версия 0.1.0, сейчас период бета тестирования и если найдутся ошибки, будут идеи и пожелания и тд. то можно писать в чате к этому каналу, мне напрямую или в issues проекта.

#opensource #plainlanguage
❤‍🔥10❤4🔥4👍3🎉2🤔1
Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее.

Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах.

И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные.

А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро.

В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению.

Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе.

Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре.

#opensource #opendata #datatools #semanticdatatypes #understandingdata
👍8✍4
Forwarded from Open Data Armenia
В продолжение ранее опубликованных данных официальной статистики, на портале открытых данных мы опубликовали полную базу статистики Статбанка Армстата в виде цельного набора данных.

Это не первичные данные, ранее извлеченные и опубликованные "как есть", а собранная из них база данных.

Что о ней важно знать:
1. База данных создана как сводная из 824 таблиц индикаторов к которым теперь можно делать запросы с помощью языка работы с данными SQL.
2. Данные опубликованы в формате Parquet и в виде базы DuckDB. Parquet это популярные компактный формат для распространения данных используемый в data science. А DuckDB - это одна из наиболее популярных настольных баз данных отличающаяся очень высокой производительностью и удобством для аналитических задач.
3. В Статбанке Армстата всего два языка - армянский и английский. Причем в переводе на английский было немного ошибок. В созданной базе данных эти ошибки были исправлены, а также добавлен машинный перевод на русский язык для тех кто хотел бы работать с этими данными используя русскоязычные названия.
4. Вся документация на базу данных представлена также на этих трех языках и включает общее описание и подробности по структуре и схемам данных.
5. Код создания базы данных доступен под свободной лицензией MIT. Если Вы найдете ошибки то можно отправить их прямо в Github или в чате к каналу Open Data Armenia

Самый простой способ использовать эти данные - это скачать базу DuckDB и выполнить команду duckdb armstat.duckdb для работы с командной строки или duckdb -ui armstat.duckdb для запуска веб интерфейса.

Обратная связь от Вас очень важна для нашей команды. Обязательно напишите если найдете ошибки или если будут предложения чего нехватает.

#opendata #opensource #armenia #datasets
🔥5👍3✍2
В рубрике как это устроено у них Fields of The World (FTW) проект от Taylor Geospatial с геоданными по распознанным сельскохозяйственным полям с охватом 241 страны мира.

Отдают данные, код, API, модели для распознавания, плагин к QGIS и тд.

#opendata #opensource #ai #agriculture
🔥5👍2✍1
Я недавно писал про продукт Plain Russian, Простой русский, который измеряет сложность русскоязычных текстов. Спасибо всем кто прислал обратную связь, я её систематизировал и вот такие запросы поступили:
- добавить шкалу/измерение для школьных текстов. Они меряются гораздо точнее чем тексты выше школьной программы потому что корпус текстов для обучения алгоритмов как раз основан на школьных текстах
- лучше измерять сложные слова, делать это не по числу слогов в слове, а по базам редких/наиболее популярных слов.
- добавит опцию переписывания текстов с помощью LLM (вот тут мне казалось что для этого проще саму LLM заюзать)

Что-то из этого уже почти готово и будет в новой версии.

Если Вам есть что добавить, обязательно пишите;)

#opensource #plainrussian #tools
🔥9👍4✍2⚡1
Полезные ссылки про данные, технологии и не только:
- Claude Data похоже Claude нацелились на то чтобы поубивать BI системы на корню интегрировав Claude Dashboards переименовав их в Claude Data. Для тех кто уже работает с данными с их помощью это инструмент замены текущего инструментария.
- DBDelve легковесный инструмент на Rust для работы с данными в СУБД. Явно завайбкоденный и с открытым кодом под GPL-3.0. Скоро поубивают и все коммерческие софтинки для работы с СУБД, а таких немало было!
- Is BI Dead? видео с основателями Hex, тетрадками работы с данными о том как они полностью переписали продукт под ИИ агенты.

#opensource #datatools #dataengineering
✍9❤1
Про отличие вендорского открытого кода от открытого кода.

Недавно я занимался тем что подбирал BI решение для одного из своих проектов. Одна из его особенностей была в том что он должен иметь опцию работы внутри локальной сети без внешних подключений. Это не основной сценарий использования, но он есть и его важно было проверить. Что я и сделал перебрав примерно десяток BI инструментов и остановился на том что проще сделать инхаус инструмент на связке DuckDB + Mosaic чем использовать готовые, и даже очень симпатичные продукты. Почему так?

Когда венчурный капитал массово пришел к проектам на открытом коде (или наоборот, проекты на открытом коде массово вышли на венчурный капитал), появилось очень много open source проектов у которых есть бесплатная версия с открытым кодом и SaaS продукт на его основе со множеством улучшений.

Однако коммерческие KPI в таких продуктах практически всегда зависят от степени привязки пользователя к вендору и о том насколько хорошо вендоры о своих пользователях знают. Поэтому почти во всем вендорском открытом коде есть телеметрия, которая активирована по умолчанию и которую почти всегда можно отключить, но о том что ее надо отключать тоже надо знать, а знают это не все. Более того когда Вы ведете разработку с помощью ИИ агента, то скорее всего он будет устанавливать их с включенной телеметрией. И это еще самое безобидное.

Серьезнее когда внутри ПО открытым кодом есть проприетарные зависимости. Например, очень симпатичный BI продукт anfra. Архитектура, логика и визуализация на высоте, выглядит как пригодный к работе BI инструмент адаптированный под генерацию визуализации с помощью ИИ. Проблема в том что внутри открытого кода anfra лежат две зависимости от anfra-node и anfra-canal из их приватных репозиториев. Аналогично Datus хоть и не BI инструмент, но дата инженерный агент помогающий построить промежуточный слой для BI. Внутри Datus'а используется проприетарный dosi-engine.

Из других особенностей:
- смешение открытого и проприетарного кода
- выведение в облачный продукт наиболее востребованных функций и лицензионные ограничения на добавление их в основной код
- зависимость работы от облачной инфраструктуры (авторизация, загрузка веб-ресурсов)

Причем многие из этих продуктов позиционируются как отчуждаемые от вендора, хотя это совсем не так.

Проверка на такие "нюансы" вручную дело довольно длительное и утомительное, а вот ИИ агенты вполне справляются с подобным и весьма эффективно.
...

#thoughts #opensource
✍12❤3👍2
Anaconda выпустили Kilo Desktop 1.0 универсальную оболочку/ИИ агента работающего с условно любой LLM. Он поддерживает множество роутеров моделей вроде OpenRouter или Amazon Bedrock, позволяет работать с локальными моделями причем в том числе через их запуск через свой встроенный сервер (конкуренция с Ollama и LM Studio явная).

А, кроме всего прочего, для тех что хочет погружаться в ИИ кодирование и не хочет/не может платить за это там есть режим бесплатного Auto когда провайдер обучается на вводимых промптах и коде и когда работают недорогие модели ну или модели которые провайдер хочет потестить на реальных пользователях.

Сам интерфейс скорее удобен чем нет, четко заточен под разработку кода и работу в режиме собственных ключей к ИИ провайдерам (BYOK) и еще много чего.

Код доступен, но лицензия Open Core Ventures Source Available License (OCVSAL) нельзя сказать что свободная.

Релиз был всего 3 дня назад, но думаю что продукт быстро наберет популярность поскольку интерфейс сильно приблизился к лидерам рынка - Claude, ChatGPT, Cursor, а подключение условно любых провайдеров очень заманчиво.

#opensource #ai #tools
✍4👍3🔥1
Я не так давно писал про Internacia DB проект по систематизации метаданных по всем странам и зависимым территориям и по международным блокам и группам в которые они входят. Оно делалось для гармонизации метаданных в Dateno других проектах и существует в открытом репозитории. Недавно я выпустил новый его релиз 4.0 где было много мелких исправлений затронувших в основном правильные наименования стран на разных языках. Полный список изменений можно почитать в CHANGELOG

А также появился веб сайт internacia.io который визуализирует наглядно содержимое этой базы данных и дает некоторые дополнительные фичи вроде сравнения блоков стран по входящим странам, просмотр таймлайна, оценку качества данных и тд.

Обратите внимание - это именно метаданные по странам и блокам, они не включают статистику и статистическое сравнение стран. Такое, конечно, несложно добавить, но оно скорее про совсем другие проекты. А это референсная база данных. А ее веб интерфейс лично мне нужен был для оценки качества ее содержимого. Уже многое мне стало понятнее и хочется улучшить, но это уже несрочно и так проект достаточно зрелый чтобы использовать.

И, конечно, все это открытые данные и открытый код (CC-BY, MIT). Данные в Parquet, есть API и все такое прочее.

#opendata #opensource
✍3❤1👍1🔥1