В рубрике закрытых данных в России портал открытых данных ГД РФ api.duma.gov.ru появился в начале 2010-х, предоставлял доступ к данным системы законопроектной деятельности ГД РФ через API для получения ключа надо было лишь заполнить форму и согласится с условиями. Хотя на сайте об этом нет анонса, но содержание его базы перестало обновляться с февраля 2025 года. Для всех новых данных ГД РФ API более нет и, хотя формально сайт API не закрыт, но де-факто теперь это замороженный проект.

#opendata #closeddata #russia

Полезные ссылки про данные, технологии и не только:
- APM – Agent Package Manager новая система управления пакетами/зависимостями от Microsoft, ориентированная на применение агентами. Скоро все системы управления пакетами будут преимущественно для ИИ агентов, потому что те по нарастающей используются для установки ПО
- Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation препринт статьи от Google Research о том как устроены их ИИ агенты для работы с геоданными на примере Google Earth.
- Polars 2.0 on NVIDIA Vera CPU очередные метрики сравнения работы Polars, DuckDB, DataFusion. На сей раз на базе компьютера NVIDIA Vera. Polars 2.0 уже сильно лучше выглядит по производительности да и раньше было неплохо, но сама конфигурация мне представляется странной. Бенчмарки ClickBench мне нравятся больше и они универсальнее, но и это любопытно

#opensource #ai #datatools #geodata

Полезные ссылки про данные, технологии и не только:
- Introducing Clairic, a new System One class of extraction models новая модель от Cloudflare, обещают что она может быстрее, лучше и дешевле извлекать структурированные данные из неструктурированных и лучше прогнозирует данные во временных рядах. Не открытая модель, но доступная через API Cloudflare
- Diffusion at Scale: Introducing Mercury 3 новая модель Mercury 3 заточенная под высокую скорость и с качеством сравнимым с GPT-6 Luna (Medium). Доступна только через API
- Frisket ИИ инструмент работы с табличными данными для расследователей журналистов. Главная фишка в privacy first дизайне и ориентации на работу с локальными моделями по умолчанию, но есть и другие варианты. Выглядит так как мог бы выглядеть OpenDataEditor если бы им занимались прямые руки. Открытый код, лицензия Apache 2.0
- The Agentic Analytics Benchmark, round two: GPT-6, Claude Opus 5.5, Claude Sonnet 5.5 у команды Clickhouse одна из лучших команд по бенчмаркам и тот случай технического маркетинга когда есть что почитать. В этот раз у них обзор применения LLM к агентской аналитике. Полезный бенчмарк

#opensource #ai #dataengineering

В продолжение про технологический спам, я много лет веду несколько awesome списков на Github'е про открытые данные, дата журналистику и даже про status pages. Ну как веду, когда то завел, и почти не тратил на них времени вообще. Собственно эти awesome списки - это лишь одна из очень облегченных форм закрепления каких-то знаний. Но что произошло с начала ИИ революции в разработке? Число контрибьюторов даже в самые древние списки резко выросло и теперь в неделю я получаю по 3-4 запроса на добавление туда чего-то (раньше было раз в полгода, почувствуйте разницу). Одна особенность - практически все это нейрослоп, причем "дешёвый нейрослоп".

Разница разработкой с помощью ИИ и дешёвым нейрослопом измеряется в том насколько автор был способен/готов подумать вместо быстрой генерации клона чего-то имеющегося. И одно дело пока автор применяет ИИ агентов для написания кода и другое когда он/она задалбывает всех вокруг применяет нейрослоповые техники для рассылки спама и для контрибьютинга в те же awesome списки. Что, в общем-то, тоже спам.

Я таким образом наблюдаю:
- infoculture/awesome-datajournalism 8 новых заявок с августа, все нейрослоп
- infoculture/awesome-opendata-rus 1 заявка с августа, увы, нейрослоп
- ruarxive/awesome-digital-preservation 3 заявки с августа, тоже все нейрослоп
- ivbeg/awesome-data-takeout 2 заявки с августа, нейрослоп
- ivbeg/awesome-forensictools 3 заявки с августа, тоже нейрослоп
- ivbeg/awesome-status-pages 18 заявок с августа, поток нейрослоповых приложений

Все это пока что не критично, 35 контрибьюторов за 2.5 месяца. Но число растет и это еще в моем случае не самых популярных списков. Я подозреваю что уже есть случаи когда число нейрослоповых заявок выходит на десятки в сутки.

Что с этим всем делать - непонятно. Забить, перестать принимать пул реквесты от контрибьюторов или ввести фильтрацию что только открытый код и только набравший от 100 звезд на Github. У меня пока ответа нет.

И, конечно, это лишь иллюстрация в маленькой области роста коммуникационного технологического спама. Похоже что его будет больше и больше и больше и уже надо думать что с этим делать.

#thoughts

Разные мысли вслух и вопросы которые непонятно кому задавать:
1. Странное явление когда в пределах одного года существуют два разных НПА с одинаковыми номерами в рамках одной принявшей организации. А такие есть, с разницей в пару недель их принятия и идентичными номерами, но совершенно разными названиями. Получается что связка год + номер не для всех российских НПА валидна? Или это ошибки и аномалии? А что в других странах, интересно.

2. А вот и Microsoft подтянулись к экономии токенов с проектом TokenEconomizer с препринтом статьи и модулем для разных популярных инструментов Pi, Copilot, Claude Code, Codex. Можно сказать что подрывают бизнес конкурентов;) Больше зрелых инструментов всегда полезно.

3. Разница между фронтирными (дорогими) LLM и дешёвыми особенно хорошо заметна когда с помощью фронтирных моделей перепроверяешь работу LLM попроще. Слишком часто они находят ошибки вплоть до критических. Разница очень существенна и она скорее не сокращается, а то что появляются новые, более эффективные дешёвые модели.

4. Циклы корпоративных инвестиций в ИИ продукты совсем не соответствуют темпам развития ИИ инструментов которые создает ИИ бигтех. Часто они сводятся к тому что "мы посмотрели что текущие ИИ инструменты дают много галлюцинаций на наших задачах и решили сделать свой". Далее возникает ситуация от продумывания продукта до инвестиций проходит минимум полгода, далее ещё полгода разработки (оптимистично), а к тому времени ИИ агенты общего назначения убегают далеко вперед и галлюцинации не то чтобы сходят на нет, но с ними понятно что делать. В итоге "дегаллюцинированность" может быть и является одной из важных характеристик продукта, но не так важной как контекстность - погруженность в данные/среды которых нет у фронтирных продуктов. Особенно когда вопрос стоит о средах где невозможно подключать ведующие/лучшие LLM сервисы через API и передавать запросы в другие юрисдикции.

5. Явная есть потребность в сертификациях/аттестациях/тестировании уже даже базовых навыков на работу с применением ИИ инструментов и без ИИ. Первое несложно, и так используют, второе непросто. Кстати, еще один контур потери работоспособности у человечества. Если раньше список включал:
- наличие электричества
- наличие компьютера
- наличие подключения к Интернету
То теперь сюда же можно добавить наличие доступа к ИИ инструментам. Когда у глобальных игроков будут серьезные длинные сбои и то есть шанс что расцветет, как децентрализованный доступ, так и более эффективные локальные LLM/SLM.

#thoughts

Для тех кто интересуется доступностью юридических данных в мире и в России, моя презентация на EDPC. Это верхнеуровневый обзор, потому что на практике есть очень много нюансов уже практических аспектов доступности данных: несходимость официальных источников, блокировки, отсутствие массовой выгрузки и многое другое. Однако какое-то представление о проблеме это дает даже тем кому не удалось быть на моем выступлении.

При этом не стоит думать что везде хорошо с такими данными, а только в РФ плохо. Не плохо, но становится хуже, главным образом из-за отсутствия цельной госполитики и ужесточающихся блокировок доступа к госсайтам. Для тех кто хочет картинку в хорошем разрешении, она будет несжатой в чате к этому каналу.

#opendata #datasets #legaldata #russia

Команда Microsoft AI пишет что добились существенных результатов с их моделью MAI-DxO когда по их оценкам в 1.7 раз лучше диагностирует сложные случаи медицины чем врачи. Всё это интересно по множеству причин и чуть не важнейшая тема для обсуждения теперь будет в том что расходы на медицину будут смещаться от самих врачей в сторону ИИ Бигтеха что может привести к куда более глубокой трансформации этой отрасли чем может показаться сейчас.

#ai #medicine

В продолжение моей презентации с EDPC и размышлений вслух про применение ИИ к интеллектуальной деятельности. Как наблюдение, не вызывающее удивления, юристы в последнее время любят говорить про вайб-кодирование, но не любят про ту автоматизацию которая им не помогает, а их заменяет. В то время как многие другие (не-юристы) думают то как раз про это.

Размышления и действия в сторону новых ИИ продуктов это не про то как облегчить юристам работу, а про то как у них её отнять. И, если посмотреть на многие общественные или открытые проекты в области юридических данных, то они тем более открыты чем больше в их командах не-юристов.

Юристы, в данном случае, это пример, важный в ощущениях окружающих болезненной несправедливостью. Когда необходимо платить юристам за консультации. Точно также как и с врачами, и, будем уж честными, с программистами/ИТ-шниками для очень многих.

Это такой накопленный за долгое время социальный негатив к социальным стратам которые кто-то и иногда и они сами относят себя к привилегированным (врачи не везде, а за пределами госмедицины, но вот юристы и ИТшники почти везде). Иначе говоря многие профессии находятся под угрозой не только потому что появляются ИИ инструменты которые которые их заменяют, но и из-за острого желания как-минимум у части общества сократить на них расходы.

Возвращаясь к юристам. Самое главное их отличие - это возможность нормативного сопротивления (термин можно записать в словарик). Ограничивая и запрещая применения ИИ инструментам к чувствительным для них темам. Например, это когда во Франции законодательно запрещего профилировать судей (составлять с помощью ИИ или вручную даже их профиль для понимания из каких принципов судья выносит решения). Или нарастающее регулирование персональных данных создает существенные барьеры в создании обучающих датасетов договоров и тд. с перс данными контрагентов, клиентов, сотрудников и автоматизация сюда придет еще не скоро.

В этом смысле врачи защищены гораздо хуже, они не могут ограничить использование данных пациентов для обучения ИИ, но прекрасно понимают что с развитием инструментов рыночная ценность специалистов по диагностике болезней может сильно упасть.

#thoughts #aiagents

Читаю немало сообщений о том что Anthropic начали активно блокировать и ограничивать инструменты реверс инжиниринга вроде REA причем есть подозрение что инициаторы этих ограничений это Samsung после реверс инжиниринга из TV и Adobe когда в рамках проекта ArtCraft Брендан Томас решил воспроизвести их инструменты.

Что бы тут такого сказать. В закрытом коде, и в весьма обфусцированных бинарниках крупные корпораты прячут немало всякого дерьма. Причем часть этого дерьма именно такая которую знать обществу надо, например, когда компаниями которые типа не следят за пользователями собирается много чего такого что они, как бы и не должны собирать. Такое можно выявлять реверсным инжинирингом, и иногда так и делают. Но есть еще и другая часть, это всяческий древний унаследованный код по которому разработчики уже давно недоступны, неизвестно существует ли вообще исходный код чтобы его патчить. Это такие слепки цифровых окаменелостей на которых, при этом, работают миллионы цифровых устройств. Устройств с необновляемыми или тяжело обновляемыми прошивками.

Вторая часть - это нечто гораздо более опасное в руках опытного реверс инженера ранее, а теперь и в руках пока неопытного, но вооруженного LLM + современными инструментариями. Массовый поиск ИИ инструментами брешей в популярном софте (PHP, LiteLLM и др) покажется детскими шалостями по сравнению с тем как кто-то может решиться натравить эти инструменты на прошивки устройств.

Тут может показаться что я призываю к запрету применения LLM в таких задачах. Но это не так, я такое применение считаю неизбежным. Если OpenAI и Anthropic ограничат их использование, то найдутся модели с открытыми весами где ограничений нет. Да и в китайских онлайн сервисах тоже пока без ограничений, в какой-нибудь Minimax Code так вообще рекомендует REA (Reverse Engineer Anything) в избранных скиллах. Неизбежность этого породит рано или поздно событие X когда одномоментно станут известны уязвимости в десятках устройств которые можно будет только отключить от сети чтобы защитить.

С ненешней скоростью развития ИИ агентов и LLM такое событие уже может наступить в любой момент.

#thoughts #ai

В Нидерландах Пр-во намеряно заменить 25 тысяч госслужащих на ИИ и собираются сэкономить до 3.5 миллиардов евро к 2035 году. 25 тысяч госслужащих - это примерно 16% от общего их числа, иначе говоря очень много. Не так много как руководство Microsoft хочет сократить 60 тысяч (25%) сотрудников. Говорить хорошо это или плохо рано, сейчас это отражение неизбежного тренда на автоматизацию и замену офисных сотрудников занятых интеллектуальной работой и не занятых коммуникацией с людьми на ИИ инструменты.

Одна из важных особенностей этих изменений в их необратимости. К примеру, предположим они реально сократят 25 тысяч человек, а потом в какой-то момент облачные сервисы отваляться из-за солнечной вспышки, ядерного взрыва, китайской диверсии какого-то маловероятного события. Будут ли власти стремительно набирать назад этих 25 тысяч человек? Может оказаться что быстрее и дешевле будет подключиться к другому ИИ сервису ну или переключиться на заранее подготовленный резервный ЦОД.

Почему мало что грозит госслужащим в РФ ? Потому что дефицит мощностей и чипов в РФ никуда не денется в ближайшие годы. Но секвестр и желание экономить никто не отменял.

В других странах все будет зависеть от внедрения национальных ЦОДов, их надежности и тд.

#thoughs #ai #government #netherlands