Новый подход в Data engineering - ECL (Extract Contextualize Link). Через адаптацию подхода ETL к применению ИИ.

Концепция не бесспорная, но интересная. Как верно указывают автору в комментариях она не решает проблему владения процессами, данными и так далее, но дает опору для переосмысления роли дата инженеров в среде где ИИ для обработки данных становится новой нормой.

Подробнее в тексте https://www.dataengineeringweekly.com/p/data-engineering-after-ai

#dataenginering #data

Новая версия DuckDB 1.5 обещают поддержку типа GEOMETRY для геоданных, обновленную утилиту командной строки, подключение к ODBC, обновление спецификации DuckLake и больше поддержки озер данных и множество других изменений.

#opensource #datatools #duckdb #dataengineering

В рубрике как это устроено у них Water Data for the Nation портал данных о воде в США созданный государственной геологической службой страны.

Включает открытые API, открытые данные, визуализацию и графики мониторинга уровня и качества воды в реальном времени.

Довольно комплексная штука на самые разные аудитории.

#opendata #water #usa

В рубрике как это устроено у них MCP сервис для доступа к данным французского национального портала открытых данных data.gouv.fr.

Опубликовано под MIT лицензией, внутри FastMCP, много примеров и рекомендаций по подключению для разных инструментов.

Выглядит интересно, отложил на попробовать и посмотреть в деле.

#opendata #opensource #ai #mcp

Я слегка выпал из злободневных событий с тем что у меня буквально за пару дней сломался ноутбук, сначала частично, а потом полностью отказала матрица.

А почти все осмысленные тексты в телеграм я пишу только с клавиатуры.

О чем хочу написать, но пока откладываю так это про ИИ и открытые данные. Это тема для большого числа дискуссий в мире и я об это тоже ранее писал, но не столь целенаправлено.

Так что как решу мелкие неурядицы, то вернусь к этой теме.

#offtopic #opendata

Этот канал я буду вести, пока ведение каналов в телеграме не станет напрямую караемым делом. Если просто заблокируют в ноль, найду человека в сопредельных странах, которому дам доступ и буду пересылать посты раз в неделю по почте. В отпусках и поездках можно включать комментарии. Вот это получится арт-проект!

К каналам в Max я отношусь скептически. Даже не потому что сама ситуация отвратительна: чтобы загнать пользователей в этот сервис, уничтожаются наши блогерские активы на миллионы рублей и, как сказал один деятель, намеренно разрушаются социальные связи. И даже не потому что аудитория у сервиса будет здорово отличаться от аудитории телеграма, благодаря особенностям которой и востребован сложный контент.

Я думаю, что феномен телеграма как мессенджера и медиа-платформы, где клубятся миллион активных каналов, чатов и закрытых сообществ нельзя повторить в 2026 году, даже если волшебным образом воспроизвести весь существующий функционал не в скандальном Максе, а в ненасильственном, модном и благонравном сервисе Другаксе.

Наша с вами экосистема появилась десять лет назад, в ответ на определенные условия и ситуации. Десять лет! Вечность уже прошла. Сейчас с таким же успехом можно попробовать сделать новый Инстаграм, Твиттер, (тоже запрещенные в РФ сети) или ЖЖ, повторив старый. Это так не работает. Никому сейчас не нужен новый Инстаграм (запрещенная в РФ сеть), даже если старый запретят во всем мире. Сложившиеся 10-15 лет назад платформы с большой аудиторией живут на старых дрожжах, но это инерция, а не повод их копировать.

Фокус общественной жизни перетечет еще куда-то. Как средневековые крестьяне после разорения деревни враждующими баронами, заново отстроимся. Хотя было бы классно уже начать строить вольные города, потому что надоело это раз за разом переживать.

Я обещал начать более системно записывать взаимосвязь открытых данных и ИИ и их пересечения и, в том числе, посмотрел конференцию The Future of Open Data которую OKFN провело ко дню открытых данных в мире.

Сессия эта с участием разных предсавителей сообщества открытых данных, разработчиков CKAN, академических и других исследователей. С сильным акцентом на экосистему CKAN'а, но это специфика OKFN откуда разработчики и изначальные создатели CKAN'ат вышли.

Так вот про взаимосвязь ИИ и открытых данных, это довольно сложная история про разные взгляды и восприятие:
1. Отношение к ИИ в среде открытых данных (тусовке) довольно неоднозначное, главным образом из-за довольно сильно левых взглядов у тусовки в целом, неприятию Бигтехов в целом и ИИ Бигтехов в частности. Если, к примеру, я рационализирую применение ИИ инструментов проприетарных или открытых в зависимости от ситуации и стоимости, то многие в среде open data рассматривают только открытые ИИ модели для практического использования. Это не вся тусовка, конечно, но существенная её часть.
2. Одно из очевидных применений - это попытки создавать MCP сервисы как неотъемлимую или дополняемую часть порталов открытых данных. Я ранее писал про MCP сервис французского национального портала данных data.gouv.fr, а также есть MCP сервисы у CKAN'а и PortalJS и других
3. В целом активность тех кто работал над наиболее заметными и известными доступными наборами данных можно разделить на две части. Существенное усиление тех кто поставляет данные для обучения ИИ и сохраняет некоммерческий статус - пример, Common Crawl. Они получили существенно большее финансирование в последние годы (но и это копейки в сравнении с объёмом ИИ рынка), и многих других кто создавал открытые данные, а теперь понимает что их монетизируют другие (ИИ бигтехи в основном).
4. Тут важно понимать что открытые данные сами по себе не являются профессией или специализацией. Профессией может быть дата инженерия или биоинформатика, к примеру. А главные выгодоприобретатели от идущей ИИ революции в данных являются люди с глубоким отраслевым или профессиональным погружением. Поэтому, если честно, то существенная часть мировой тусовки по открытым данным выглядит всё маргинализированной в сравнении с профессиональными дата продуктами. Я ранее ругался про то куда ушла разработка Open Data Editor, который OKFN делали для подготовки данных для публикации в CKAN и это лишь один из многих примеров. Продукт откровенно свернул не туда, ИИ фичи в нем оказались очень плохо реализованными и в целом программная реализация скорее плохая чем какая-либо иная.
5. К примеру, то что мы делаем в Dateno сильно лучше (без хвастовства) чем практически все попытки делать ИИ ассистенты, поисковики и тд в экосистеме открытых данных, но если сравнивать с профессиональными продуктами и сервисами то ещё есть куда расти. MCP сервис у нас уже есть, про ИИ асситентов я расскажу еще позже, но в целом из изучения что делают разные команды в среди именно в тусовке open data никаких инсайтов не дает, увы.
6. Очень много разговоров в среде открытых данных про этику применения ИИ, OKF, к примеру, пытается еще и заниматься AI Literacy, но объективно компетенций в этом немного и это далеко от открытости данных, объективно.

В целом, как я неоднократно вслух рассуждал, с одной стороны открытые данные как уже не настолько sexy тема как лет 10 назад, а с другой стороны сама тема никуда не исчезла и имеет много институционального закрепления во многих странах, сильнее всего в ЕС. Однако видно как многие кто этим занимались десятилетия уже устали, а смены им не будет, потому что ИИ пожирает всё, и интересы активных технарей интересующихся открытостью меняются.

А в целом лично мне нехватает глубины что ли в разговорах про ИИ и про открытость. Например, может ли возникнуть такая ситуация что государства могут отойти от политики открытых данных и вместо этого будут предоставлять ИИ модели обученные на них?

Типа, а зачем вам данные? Вот вам ГосЧат, им и пользуйтесь! А все что есть данные у него внутри и только так.

#opendata #ai #thoughts

В качестве регулярных напоминаний, помимо телеграм канала я также пишу в рассылке на Substack, электронную почту (пока что) в России не блокируют так что можно на нее подписаться и получать мои тексты на почту. Ранее я туда писал редко и, в основном, длинные тексты поскольку большая часть читателей была в Телеграм, сейчас подумываю о том что дублировать тексты из Телеграм канала и там тоже. Тогда письма будут приходить сильно чаще, но это будет удобнее кому в Telegram теперь будет тяжело.

По поводу ведения Телеграм канала, я придерживаюсь того же мнения что и Катерина Аксенова, я ее пост пересылал недавно. Любой информационный канал очень сильно зависит от платформы, в VK или Max'е повторить эффект накопления аудитории и дискуссий очень сложно и непонятно зачем. Поэтому нет, я не буду заводить канал в Max'е и давно прекратил дублировать тексты в VK, это требует слишком много усилий с непонятным результатом при том что и телеграм канал я создавал не как медиа, а как открытую записную книжку. Я потому и проставляю теги у каждого поста потому что регулярно ищу и читаю написанное ранее. Если кому-то полезно написанное мной, то и хорошо.

А также про Dateno и на английском я чаще пишу в LinkedIn и сильно реже в Medium

#blogging #thoughts

По поводу законопроекта Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации [1] который многие сейчас обсуждают и который вступит в силу в сентябре 2027 г. если будет принят.

Содержательно его и без меня многие разберут по косточкам, а я могу лишь с небольшой иронией озвучить "в воздух вопросы":
1. Будет ли создано министерство духовно-нравственных ценностей? А то дело то серьезное, во многих законах уже есть (думаю что де-факто есть засекреченное)
2. Все незарегистрированные ИИ ассистенты и агенты заблокируют или китайские ИИ агенты еще останутся доступными? (а есть сомнения? все заблокируют)
3. И самое главное, а чего полтора года то тянуть? Это что же такое, целых полтора года российские суверенные и национальные модели будут бездушные и безнравственные?! (вопрос риторический)

Ссылки:
[1] https://regulation.gov.ru/projects/166424/

#ai #russia #regulation #laws

Подборка ссылок про данные, технологии и не только:
- Kagi онлайн переводчик умеющий переводить на токсично-позитивный язык LinkedIn'а. Переводы смешные, особенно для тех кто в LinkedIn с таким не сталкивался, а те кто сталкивался уже не смеются, там реально многие так пишут;)
- Gdb-engines маленький сайт сравнения 67 движков графовых баз данных с открытым кодом. Полезно для тех кто выбирает графовую базу с нуля или на замену имеющейся
- Gdotv в ту же тему графовых баз, графический клиент ко многим графовым базам, есть версии для Windows, Macos и Linux. Код, увы, не открыт, но есть бесплатная версия
- Lightpanda Browser headless браузер для автоматизации с помощью ИИ агентов, живет в виде Docker контейнера, под AGPL лицензией. Самое интересное что он написан с нуля на языке программирования Zig и не является форком Chromium'а или Webkit'а. Это важно из-за радикально меньших объемов потребления памяти. Продукт как хорошая реклама языка Zig
- DeerFlow (Олений поток) от Bytedance обещают агента умеющего исследовать и кодировать и творить. Открытый код, MIT лицензия. Поддерживает условно любую LLM

#opensource #ai

Среди нас очень много интересующихся языковыми корпусами, разметкой, NLP и прочими ключевыми словами современности.

6-10 июля в Ереване пройдёт международная летняя школа, посвященная малоресурсным языкам и возможностям армянского в частности.

Участие бесплатное, рабочий язык – английский, приём заявок до 30 марта, все остальные подробности по ссылке.

Во Вьетнаме Министерство науки и технологии приняло National Artificial Intelligence Ethics Framework - этический кодекс разработки и эксплуатации ИИ. Сам текст на английском языке пока что найти не удалось, только новость о том что регулирование принято и начнет действовать сразу же, с марта 2026 года.

Как появится текст на английском языке можно будет обсуждать его подробнее, а на вьетнамском он доступен. Что важно так его обязательность, это не саморегулирующий добровольный документ, а набор требований.

И что не менее важно он написан в соответствии с глобальными документам ОЭСР, ЮНЕСКО и EU AI Act

#ai #regulation #vietnam

Написал про российский законопроект регулирования ИИ скучным текстом на Substack и картинкой для тех кто любит смотреть картинки, а не читать (в тексте подробностей больше, если что).

Картинку, конечно, рисовал с помощью ИИ агента.

#ai #regulation #russia

Для тех кто интересуется глобальными геодатасетами Global Canopy Heights (Глобальная высота растительного покрова) эти обновленные данные совсем недавно Meta опубликовали как открытую модель на 22ТБ и появился уже сервис chm.geocarpentry.org для выгрузки из него по странам или по конкретным блокам. Он позволяет извлечь из датасета слепки по интересующим территориям.

#opendata #datasets #geodata

Подборка ссылок про данные, технологии и не только:
- Blocking the Internet Archive Won’t Stop AI, But It Will Erase the Web’s Historical Record заметка в EFF о том что New York Times начали блокировать Интернет Архив поскольку опасаются что через него ИИ компании получат доступ к материалам издания. Подробнее на сайте NiemanLab и с упоминанием других изданий. Издателям не нравится что у Интернет Архива есть открытое API, а смысл публикаций в том что теперь они де-факто создают ситуацию когда их материалы не будут сохранены.
- Snowlake уволили всю команду документирования для тех кто не слышал о них - это компания одна из лидеров облачных дата платформ, и вот они пошли по пути полной замены всего подразделения документирования на ИИ. К чему это приведет скоро узнаем, однако тенденция эта не нова и новости про большие сокращения команд документирования проходили и ранее. Такими темпами скоро профессия технического писателя вымрет и заменится на профессию Developer experience engineer (DEE) которая может и должна включать коммуникацию с пользователями.
- Open Technology Research анонсированная глобальная платформа помощи исследователям создаваемая партнерством Open Knowledge Foundation, Open Source Initiative и OpenForum Europe. Интересное - акцент на открытой инфраструктуре. Но смущает отсутствие в инициаторах организаций выделяющих средства и самих исследовательских центров. Такой проект был бы логичнее от университетского консорциума или от консорциума доноров исследовательских проектов. А участие 3-х даже и уважаемых НКО про открытость не выглядит чем-то устойчивым.

#opensource #digitalpreservation #webarchives #documentation

Ещё порция размышлений и предсказаний вслух по поводу ограничений Телеграм'а и не только:
- практически неизбежно появится сервисы проксирующие пересылку сообщений и чтение каналов через использование почты и сервисов хранения файлов вроде почты mail.ru, Яндекс Почты, Яндекс Диска и других находящихся в "белых списках". Технически это вполне реализуемо, вопрос лишь когда их сделают и в том что они будут работать с не-мультимедиа контентом преимущественно. Вопрос как долго почтовые сервисы останутся в белых списках и останутся ли ?
- затронут ли ограничения интернета в РФ электронную почту? Например, появятся ли блокировки на по почтовым доменам и IP адресам вне Рунета? Если появятся, то это будет еще более катастрофично чем блокировки мессенжеров.

#russia #internet

Для тех кто, возможно, еще не читал, полезный материал Coding agents for data analysis от Саймона Уиллисона про применении ИИ агентов в анализе данных. Более всего полезно дата журналистам, даже аналитикам и в разного рода аналитических проектах.

Главное достоинство - все хорошо и просто объяснено, хоть переводи и курс делай по этому материалу.

#opendata #ai #dataanalysis