Полезные ссылки про данные, технологии и не только:
- mnemiq - текст-в-SQL движок с открытым кодом и подробным рассказом почему его сделали, как он устроен и чем отличается от ранее существующих. Если кратко, то создатели сфокусировались на разных SQL диалектах и преодолении ограничения в 30 таблиц у движка Genie от Databricks. Полезно для всех кто работает с большими корпоративными хранилищами данными, сложно устроенными и с большим числом таблиц.
- Pandas Should Go Extinct текст где автор рассуждает о том что давно уже не надо использовать Pandas в разработке и аналитике потому что альтернативы Polars и DuckDB лучше настолько что непонятно почему ими не пользуются.
- Tau ещё один терминальный кодирующий агент, пока не могу сказать чем он лучше других, но он есть и его можно попробовать
- Cline Desktop настольное приложение для запуска моделей с открытыми весами. Обещают много разного полезного и есть версии для Mac и Windows. С открытым кодом
- OpenResearch параллельно работающие исследовательские агенты в локальном окружении. Приложение для Windows и Mac, с открытым кодом. По мне так в описании маловато кейсов описано

#opensource #ai #tools #data

Яндекс выпустил AliceAI-Foundation-80B-A3B-Base базовую языковую модель с открытыми весами и акцентом на лучшую поддержку русского языка.

Пишут что модель была обучена полностью с нуля и приводят множество результатов бенчмарков в сравнении с:
- Qwen3.5-35B-A3B-Base
- GLM-4.5-Air-Base (106B-A12B)
- Nemotron-3-Super-120B-A12B-Base
- DeepSeek-V4-Flash-Base (284B-A13B)

Это хорошая новость, больше открытых моделей, больше конкуренции!

Важно чтобы релизов было больше, потому что конкуренты работают очень быстро выпуская новые модели чуть ли не еженедельно.

#ai #opensource #yandex

Полезные ссылки про данные, технологии и не только:
- Search минималистичный браузер на базе WebKit для MacOS. Всего 3MB футпринт и почти мгновенный запуск.
- Why SQL won интервью с создателем DuckDB о том почему SQL побеждает (победил?) альтернативные подходы к хранению и доступу к данным.
- Open Code Review от команды Alibaba для автоматического ревью кода по правилам и с помощью ИИ агентов. Большая пользовательская база, плагины для множества сред и
- В Китае расширили ограничения на выезд на семьи топовых ИИ спецов даже не знаю как это комментировать. Вот если, к примеру, в России это еще не внедрели значит ли это что в России полноценной ИИ индустрии нет и топовых спецов в мировом понимании не осталось? А если остались то где их реестр? Можно уже анекдоты придумывать на тему "если ты такой умный то почему тебе еще выезд не запретили?"

#opensource #ai #sql #dataengineering

Полезные ссылки про данные, технологии и не только:
- Diving Through Data at OpenAI: How a Data Agent Navigates 70,000 Datasets видео с конференции Rows&Columns о том как устроен внутренний ИИ агент к данным более чем 70 тысяч наборов данных и более 600 петабайт обрабатываемых ежесуточно
- Microsoft, Google back Apache Ossie to make enterprise data and AI platforms more interoperable время новых стандартов для обмена данными, впрочем Ossie не то чтобы сильно новый, но похоже что активно внедрямый
- I Quit OpenAI Because Its Culture Is Broken (очередной) чувак ушел из OpenAI и рассказывает о том что AI бигтехам надо больше внимания уделять безопасности. Похоже что рассуждения в этом жанре нас ждут ещё не один раз
- Introducing Web Search API via AI Gateway Cloudflare сделали универсальное API для веб поиска через сервисы Ceramic.ai, Exa, и Linkup. Вообще к Cloudflare стоит присмотреться к их текущим и грядущим продуктам, они явно играют создание универсальной инфрасируктуры для ИИ инструментов и агентов и имеют хорошие шансы занять большие и малые ниши в этой области.

#opensource #ai #data #search

Я почти год назад писал про инструмент с открытым кодом filerepack для пересжатия файлов. Это такой мой очень давний пэт проект, порожденный изначально необходимостью регулярно пересжимать какие-то файлы потому что базовые инструменты слишком часто делали их чрезмерно большими их можно было пересжать в 1.5-2 раза без потери функционала, то есть без необходимости распаковки перед тем как использовать. Живой пример - это все файлы в современных форматах MS Office OOXML - .docx, .xlsx, .pptx и все из этого семейства. Во первых все версии MS Office сжимают ZIP контейнер, которыми эти форматы являются, довольно плохо и просто распаковать файл и запаковать с максимальным сжатием уже давало результат. Во вторых большая часть изображений в этих файлах поддаются эффективному сжатию без потерь и могут уменьшиться в диапазоне 10-75% и итоговый файл уменьшится весьма существенно.

Как бы то ни было этот инструмент я делал давно и в нем было одно существенное ограничение - это то что старые форматы файлов MS Office (.doc, .xls, .ppt и др.) такому пересжатию не поддавались. Причина в том что они и ряд других форматов файлов придуманных Microsoft имели в своей основе Compound File Binary Format к которому есть очень ограниченное число открытых реализаций и большая их часть только на просмотр двоичных потоков внутри и не более того.

При этом у меня в архивах файлов в этих старых форматах MS Office накопилось немало, всегда хотелось их пересжать. И тут я подумал, а почему бы не попробовать и скормил подробное ТЗ в Claude Code с помощью которого в итоге собрал версию которая умеет пересжимать теперь еще и эти файлы. Это было непросто, для пересжатия используется анализатор OLE файлов в виде Python кода и пересборщих в виде кода на Rust поскольку только в Rust'е есть реализация кроссплатформенной библиотеки записи Compound файлов.

В итоге filerepack начиная с последней версии 0.4.0 умеет пересжимать основные старые форматы MS Office .ppt, .xls, .doc и это самое большое и самое сложное изменение в инструменте с момента его создания. Остальные правки по мелочи - поддержка большего числа форматов использующих ZIP как контейнер, поддержка большего числа файлов с данными и тд. Подробнее есть в документации включая примеры, руководства и так далее.

Отвечая на важный вопрос "А зачем?" который очень важно задавать и другим и, обязательно, себе. Казалось бы цена хранения файлов снижается и нет нужды лишний раз заморачиваться еще и сжатием контента. Это и так и не так.

Во первых многие файлы хранятся в облачных файловых хранилищах которые могут менять условия и стоимость хранения и с легкостью забиваются однотипными/похожими файлами и в этом случае лучше положить туда пересжатую версию этого файла и сэкономить на лишних расходах.

Во вторых многие личные архивы хранятся в криптоконтейнерах. Например, я лично ничего из личной чувствительной информации не храню просто на дисках и складываю файлы в криптоконтейнеры ограниченного размера. У этого есть ряд плюсов для параноиков, но есть и минус, там нет динамического увеличения размера по мере наполнения файлами. Место надо предвыделить и если еще и этот криптоконтейнер где содержимое часто меняется и его надо бэкапить то чем меньше он тем лучше. Тут то вопрос про сжатие файлов становится актуальным, но так чтобы без потери функциональности.

Есть и множество других кейсов использования, а это мои личные.

Поддержка файлов в старых форматах MS Office всё еще экспериментальна, если надумаете ее попробовать и столкнетесь с ошибками, пишите мне, лучше всего в issues на Github. Там же можно писать если какие-то популярные форматы есть и еще не поддерживаются или их рекомпрессия работает с ошибками.

Вообще же не могу вспомнить периода жизни когда я что-то не архивировал. Начиная с первых жестких дисков на 10МБ, дискетами на 360КБ. Все моё детство состояло из попыток что-то куда-то сжать чтобы не удалять потому что места всегда нехватало. Насколько проще стало все сейчас, но всегда найдется чем занять любые объемы хранения, так что сжимать файлы всегда актуально;)

#opensource #compression #data

Полезные ссылки про данные, технологии и не только:
- Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных
- License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите".
- LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты.
- helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно.

#opendata #opensource #dataengineering #ai

Weather Ribbon (Погодная лента?) любопытная визуализация среднемесячной температуры по городам на основе данных за 1991-2020 годы.

На сайте охват городов не такой уж большой, в основном развитые страны и крупные города. К примеру, Алматы там есть, а Еревана нет.

Но интереснее сам подход к визуализации, она доступна с открытым кодом под MIT лицензией и можно применить то же самое к визуализации чего-либо ещё: уровня осадков, качества воздуха и так далее.

А сам сервис работает на открытых данных NASA MERRA-2 и Open Meteo.

#opendata #opensource #dataviz

В рубрике как это устроено у них Free Law Project открытый агрегатор юридических данных в США. Охватывает базы судебных решений и всего что с ними связано. Предоставляют данные для массовой выгрузки, через API. Существуют в форме НКО с общей выручкой около $1-1.5 миллиона, львиная часть которой это услуги предоставления данных и их обработки для коммерческих компаний. Общий объём данных измеряется в терабайтах структурированных данных распространяемых, преимущественно, в виде сжатых CSV файлов и API. Также распространяют набор инструментов с открытым кодом для работы с этими данными.

#opensource #opendata

Полезные инструменты с открытым кодом для работы с данными и не только:
- DashBeam инструмент быстрой передачи файлов большого размера между двумя компьютерами. Использует пиринговые сети и QUIC via Iroh. Ранее назывался AltSendMe, но автор недавно проект переименовал. Распространяется под GNU Affero GPL
- Plexo инструмент для быстрой выгрузки файлов использующий все подключенные каналы связи. Тоже открытый код, лицензия MIT.
- REA (Reverse Engineering Anything) набор инструментов с открытым кодом для агентского реверс инжиниринга. Один из символов рисков рынка классического ПО которое часто проще подвергнуть разбору и сборке нового с нуля, чем платить за софт по подписке. Под лицензией MIT
- XERJ поисковик по коду, текстам и данным, но для ИИ агентов. Обещает серьезное сокращение расхода токенов. Лицензия Apache 2.0
- Heretic инструмент снятия цензуры с открытых LLM. Инструмент давний, но от этого менее актуальным он не становится. Лицензия GNU Affero GPL

#opensource #datatools #ai