Выступление Hannes Mühleisen на AI Council о DuckDB Quack (серверном протоколе для DuckDB) https://www.youtube.com/watch?v=L_lttD-d1wc

Интересно тем что он целенаправленно сравнивает DuckDB с PostgreSQL (отмечу что не с Clickhouse) и всячески их противопоставляет отчего возникает резонный вопрос можно ли действительно DuckDB теперь рассматривать как полноценную замену PostgreSQL ? Если да, то это потенциальное обновление множества технологических стеков. Как минимум даже серверная версия DuckDB гораздо легче в развертывании.

Видео длинное, но докладчик интересный. Тем кто интересуется развитием и применением СУБД для аналитики будет полезно.

#datatools #dataengineering #opensource

Hugging Science специальный проект Hugging Face по систематизации и доступности датасетов для исследователей в области ИИ. Почти все датасеты по естественным наукам - биология, физика, геномика, инженерия, математика, химия и медицина.

Гуманитарных наук там нет, экономики нет, да и много чего другого нет.

Выглядит интересно, надо наблюдать.

#openscience #opendata

Zero-Click Government (Без-кликовое правительство) свежая книга от одноименной институции Zero-click government institute основанным Gustavo Moreira Maia основателем бразильского govtech стартапа Colab про коммуникацию граждан и госорганов. Книга, по сути, про проактивные госуслуги и проактивную бюрократию. Примеров у них на сайте и, как я понимаю, в книге довольно много и в разных странах. С сильным искажением в сторону опыта который им доступен - англо и испаноязычного потому что такие же проактивные услуги есть и в Восточной Азии, и в Центральной Азии, и в РФ. Разве что в Африке и арабских странах пока маловато или просто знают об этом не все.

Книга пока не опубликована, можно подписаться на уведомление о ней. В моем представлении Без-кликовое правительство/государство - это еще одна попытка придумать маркетинговое название для государства углубленного цифрового патернализма. В РФ на уровне пр-ва это называют "Государство для людей", в других странах иначе.

Собственно выходя за рамки позитивной повестки проблема в том что проактивное государство - не всегда позитивное. И вопрос области применения этой проактивности. Проактивность в автоматическом предоставлении льгот и налоговых вычетов или проактивность в раздаче цифровых повесток и мобилизации?

В любом случае материалы на эту темы интересны и буду эту книжку заказывать когда она выйдет.

#opengov #readings

В рубрике как это устроено у них продолжение про открытые данные Всемирного Банка.

- https://datacatalog.worldbank.org/ - каталог данных Всемирного Банка собранный из многочисленных проектов организации и проектов ей профинансированных. Более 7 тысяч наборов данных, зачастую довольно большого объема
- https://data.worldbank.org - портал статистики и индикаторов публикуемой Всемирным Банком (агрегируемой из национальных и международных источников)
- https://data360.worldbank.org/en/economies - новый портал статистики Всемирного Банка, замещает разделы и страницы портала data.worldbank.org
- https://databank.worldbank.org/ - портал статистики в виде BI системы с возможностью визуализации показателей из базы индикаторов Всемирного Банка
- https://disabilitydata.worldbank.org/en/home - данные проекта по людям. с ограниченными возможностями
- https://wbl.worldbank.org/en/data - данные проекта Women Business and the Law
- https://ssbtax.worldbank.org/ - база данных по налогам на сладкие напитки (напитки подслащенные сахаром). Выгружается через каталог данных
- https://digitalfinance.worldbank.org/country - данные проекта по цифровым финансам (можно скачать в Excel)
- https://opendatatoolkit.worldbank.org - руководство Всемирного Банка по публикации открытых данных, подробный гайдлайн
- https://wits.worldbank.org/ - база данных по международной торговле включая API
_ https://reproducibility.worldbank.org/home - портал воспроизводимости исследований включая код, документацию и данные необходимые для воспроизведени

#opendata #datasets #datacatalogs #data #statistics

Интересные международные базы данных охватывающие почти все или многие страны мира:
- EDGAR - Emissions Database for Global Atmospheric Research https://edgar.jrc.ec.europa.eu/ - база по выбросам в атмосферу по всему миру, охватывает 220 стран, создается в рамках программы ЕС . Охватывает 54 года
- EMBER Energy Data https://ember-energy.org/ - портал с датасетами и показателями по энергетике, ведется одноименным британским мозговым центром, собирают данные из разных официальных источников
- OpenNetZero https://opennetzero.org - каталог данных с датасетами по теме снижения выбросов парниковых газов, данные и статистика по возобновляемой энергии и не только
- Aviation Intelligence Portal https://ansperformance.eu - портал с данными по полетам/авиации в Европейском союзе, редкий случай когда за авиационные данные и статистику не берут деньги. Позволяет, например, смотреть на статистику полетов по странам как показатель идущего кризиса роста цен на авиатопливо

#opendata #data #datasets #statistics #transport #energy #climate #aviation

Мысли вслух по поводу применения ИИ для создания наборов данных. Многие российские ведомства за последние годы удалили немало статистических данных и других датасетов, отчетов и докладов со своих сайтов, но, на самом деле, произошло примерно следующее. Данные пропали в структурированном виде, но фрагментарно публикуются их пресс-службами в виде агргеированных цифр и, реже, публикуются разного рода отраслевыми изданиями.

Иначе говоря, данные не совсем исчезли, но теперь фрагментированы и требуют больше усилий по их сбору. И да, полнота данных уменьшилась, но как бы исчезли они не полностью. Почему это происходит? Потому что совсем не публиковать цифры госорганы не могут, это всегда было часть их коммуникационной стратегии с субъектами регулирования и это как бы публичное подтверждение что они "работают".

Вот, например, Росавиация перестала уже давно в открытом доступе осуществлять публикацию статистики по авиаперевозкам, загруженности аэропортов и тд. В пресс-релизах есть некоторые сведения, но это тексты из которых эти цифры необходимо извлекать. Можно ли реконструировать датасеты из этих пресс релизов и других цифр отрасли? Вообще-то хотя и частично можно, в первую очередь с помощью ИИ ассистентов/агентов которые могут извлекать из текстов цифры и формировать временные ряды.

Можно ли говорить что это позволяет преодолеть проблему отсутствия данных? Лишь отчасти потому что это оправдывает себя только на реально ценных данных для четко сформулированных панелей мониторинга показателей.

Много лет назад я подумывал о том что можно было бы сделать довольно простой проект с набором ключевых показателей, условно, "Россия в цифрах" и транслировать через него панель индикаторов происходящего в экономике и обществе. Есть же в США проекты вроде USAFacts и DataUSA, и в ряде стран есть похожее. Данных было больше, политических ограничений меньше. Сейчас данных меньше, политических ограничений больше, но это все еще реалистично, только руки до такого дойдут уже нескоро. Скорее похоже на задачу под хакатон, причем хакатон скорее про визуализацию данных чем про что-то еще.

А вот, к примеру, в Армении политических ограничений нет, но есть существенные ограничения в доступности данных не по причине их сокрытия, а просто по причине отсутствия структурированных данных и с тем что ИИ агенты до сих пор с армянским языком работают недостаточно хорошо. В случае Армении других вариантов кроме как собирать панель показателей с помощью ИИ агентов нет. Что-то вроде DataArmenia собрать реалистично, но проводить хакатон по визуализации можно только понимая источники данных и их сбора.

В целом же дефицит данных для принятия решения сводится к данным доступных с ежесуточной/еженедельной частотой. Таких данных относительно немного, а по развивающимся странам они в остром дефиците.

#opendata #data #thoughts

По поводу введения "платы за VPN сервисы" в России, давайте называть всё своими именами. Это выглядит как цифровой налог на бедных. Понятно что те кому это критично найдут на это деньги (или способ обойти и это) и понятно что интернет-провайдеров будут люто за это ненавидеть. А для людей с небольшими и средними доходами - это будет очень болезнено. И отличить любой другой зарубежный трафик от VPN будет практически невозможно. И богатых имеющих доступ к зарубежному трафику тоже будут ненавидеть, не так сильно как провайдеров и регуляторов, но тоже. Общий градус злости будет сильно выше

Так что инициатива так себе во всех смыслах. Хуже только тотальный запрет зарубежного трафика.

#thoughts

Data Not Found любопытный доклад про прозрачность данных социальных сетей, в первую очередь для регуляторов и исследователей. Охватывает регулирование ЕС, Бразилии и Великобритании, весьма любопытное по содержанию, не очень практическое лично для меня сейчас - не вижу практического применения. Хотя один аспект важен - нет оценки возможности архивации содержания соц сетей, или же он явно недостаточен. Есть упоминание про оценку доступности данных через API, но это не одно и то же.

#data #readings

Учет населения в Российской империи: на пути ко всеобщей переписи
Часть I. Осознание потребности

Первая и единственная перепись населения Российской империи состоялась в начале 1897 года и была подготовлена и проведена под руководством русского ученого, естествоиспытателя, экономиста и путешественника П.П. Семенова (в дальнейшей историографии известного как П.П. Семенов-Тян-Шанский). Перепись проходила путём непосредственного опроса всего населения на одну и ту же дату, а ее результаты были опубликованы в 1897—1905 годах в 89 томах (119 книг) под общим заглавием «Первая всеобщая перепись населения Российской империи 1897 года».

Необходимость переписи назрела в России давно — не только для целей воинского и налогового учета. Как отмечает Временник Центрального статистического комитета МВД Российской империи в 1890 году*,

собирание подобных сведений приобретает еще более важное значение в таком государстве, как Россия, представляющем крайнее разнообразие географических и экономических условий и заключающем в пределах своих множество этнографических элементов, не утративших еще ни лингвистических, ни вероисповедных, ни бытовых отличий.
Подготовка переписи началась в 1874 году в Комиссии для выработки правил учета населения под председательством А.К. Гирса, созданной при министерстве финансов в бытность министром М.Х. Рейтерна.

Перед комиссией стояла задача*

составить предположения о мерах, какие могут быть приняты для ведения на будущее время правильного счета лиц, подлежащих воинской повинности, и, если будет признано необходимым произвести для сего общую поголовную перепись всего населения, то определить, какими способами и каким порядком она должна быть произведена.
Кроме того, в поле зрения комиссии находилась и грядущая податная реформа: при проведении переписи следовало собрать сведения для осуществления реформы и определить, какие данные могут быть полезны для финансовых задач.

* Цитируется по изданию Центрального статистического комитета Министерства внутренних дел «Очерк развития вопроса о всеобщей народной переписи в России», 1890 г.

#статистика #перепись #история #книга

Подборка ссылок про данные, технологии и не только:
- The Federal Data Field Guide руководство по федеральным открытым данным в США от исследователей из UC Berkeley. Со своей классификацией данных по типам и разъяснением того как они регулируются. Полезно для быстрого погружения
- The 2026-07-28 MCP Specification Release Candidate свежая спецификация (почти принятая) протокола MCP. Полезно для тех кто разрабатывает интерфейсы для ИИ агентов
- Understand Anything превращает код репозитория в граф с интеграцией с основными ИИ инструментами для разработки и с визуализацией наглядно. Для анализа унаследованного кода самое оно. А можно такое не только для кода, а для данных, документов и так далее? Для кода проще, конечно. Лицензия MIT
- Anthropic prepares Mythos 1 for Claude Code and Claude Security похоже что Anthropic готовят модель Mythos к релизу, посмотрим как это затронет рынок инфобеза и новый виток кибервойн/кибератак.
- The Latin Text Archive большой банк данных текстов на латыни. Текстов почти 13 тысяч, они аннотированы, размечены. Есть подробный лексикон, множество дата-инструментов в виде временных рядов и визуализаций. Доступно API. Все под лицензией MIT

#opendata #opensource #ai

Даже не знаю как это прокомментировать, наверное что как бы российские власти не пошли тем же путем. И сейчас ИИ специалистов очень сложно найти, а вообще никого в стране не останется(

#ai #china #regulation

Обзор протокола MCP от NSA (Агентство национальной безопасности США). Если коротко то так

Хотя MCP действительно является многообещающим базовым уровнем для агентных систем, его текущее
состояние безопасности остается неоднородным и в значительной степени зависит от дисциплины реализации, а не от гарантий протокола.

Сам по себе документ небольшой, 17 страниц, обзорный по многим ранее опубликованным проблемам протокола. Почитать его стоит всем разработчикам и архитекторам работающим с MCP протоколом.

#readings #security #ai

Подборка ссылок про данные, технологии и не только:
- Dead on Arrival: The AI Dashboard Problem автор рассуждает о том насколько легко стало делать дашборды с помощью ИИ и насколько они плохи и о том как их улучшить. Полезное чтение для всех кто быстро делает дашборды для себя и других
- SiteRows маленький стартап/проект который позволяет получать данные из сайтов с помощью SQL. На вход много ссылок и SQL запрос - на выход таблицы. Лет 8 назад я проектировал похожий сервис, но к реализации так и не приступил, только сделал автопревращение страниц в RSS ленты. А тут автор пошел дальше и сразу SQL и явно прицел под маленький стартап. По моему бизнес идея там сейчас недостаточно ёмкая, но любопытно
- 2026 State of Analytics Engineering Report от команды dbt и с ожидаемыми выводами о том как растет эта экосистема в первую очередь с акцентом на сам dbt. Полезно для корпоративных аналитиков и дата инженеров
- Digitally delivered services trade dataset набор данных и визуализации по торговле услугами оказываемыми через интернет, включая финансовые услуги, нематериальные ИТ услуги и многое другое. С одной стороны интересно и можно наглядно увидеть, например, резкое падение импорта и экспорта услуг из России с 2022 года (но падение, а не исчезновение). А с другой стороны почему то оценки по услугам из США и по их импорту услуг меньше чем по тому же Евросоюзу в 2.5 раза.Сам набор данных небольшой, CSV файл в 7.5 мегабайт, период охвата 2005-2025 годы.

#opendata #datasets #readings #ai