Ivan Begtin
9.09K subscribers
2.73K photos
5 videos
116 files
5.61K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
22 октября я буду участвовать в секции Legal Ops & Автоматизация в рамках
Eurasian Data Protection Congress 2026 (EDPC). О чем я буду говорить? Как всегда о доступности и недоступности данных, в этом случае в юридической сфере, о том какие данные доступны, какие недоступны, в чем основные барьеры и что с этим всем делать.

#events #privacy #opendata
1👍6
Ещё одна мысль вслух о полезных функциях при публикации курируемых датасетов/дата продуктов и дата каталогов. У DuckDB есть опция подключения к базе данных находящейся в где-то в сети. Это выглядит как опция когда хочется распространять данные к которым полезно подключение через SQL, помимо других способов. Я в таком виде распространяю базы internacia-db в папке data/datasets лежит файл intenacia.duckdb к которому можно вот так подключиться напрямую. И в базе реестра порталов данных dataportals-registry в data/datasets лежит файл datasets.duckdb

Это менее удобно чем parquet в части объёмов передаваемых данных поскольку файлы базы DuckDB менее компактны, но достаточно удобно и быстро для справочных и небольших баз данных.

#opendata #datasets #duckdb #dataengineering
✍3👍2
Вот над такой книжкой я сейчас заканчиваю работу, остались финальная вычитка, разного рода визуальные улучшения и тд. Сейчас в целом это 572 страницы (вместе с приложениями), а в основе сотни моих заметок в телеграм канале и на Substack, расширенные и дополненные данными из реестра порталов данных.

Что меня останавливало от публикации ранее, в том что все заметки у меня на русском языке, а аудитория по этой теме в мире, в основном, англо-, испано- и франкоязычная. А в странах где пользуются русским языком применимость книги лишь частичная - она будет актуальной в Центральной Азии более чем в России к примеру. Тем не менее планирую её скоро закончить, до конца года сделать перевод на английский язык, как минимум, а пока рассылаю бета-тестерам на предмет критики и обратной связи.

P.S. Да, книга будет под лицензией CC-BY 4.0, в виде PDF документа и статического сайта. Все подробности будут уже когда все завершу и буду делать ее анонс.

#opendata #readings #book
🔥32👍9✍8❤5❤‍🔥4🙏1
В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata
👍3🔥3✍1