Microsoft Fabric сложил все туториалы в одном месте https://community.fabric.microsoft.com/t5/Fabric-Updates-Blog/Fabric-Jumpstart-Discover-what-s-possible-with-Microsoft-Fabric/ba-p/5182277

Мне так и не довелось с ним поработать глубоко, а вам?

За последнее время мне удалось пообщаться со многими компаниями Enterprise-уровня, и у всех одна и та же проблема — криво внедренный Databricks.

Что значит криво? Значит неудобно и неинтуитивно.

Почему так? Потому что «а кто ж его знает, как надо».

Добавим сюда, что Databricks в такие конторы внедряется подрядчиками, которые ездят по ушам VP-уровню и другому персоналу, который уже мастер спорта по митингам и презентациям, но у которого есть сложности с технической составляющей организации, в которой они работают годами.

Вот и получается: хотели как лучше, а получилось как всегда.

Зато таких картин нет в историях со Snowflake.

Что бы там ни говорили про цены, производительность и другие особенности платформ, я ни разу не видел косячного внедрения Snowflake.

Ну, максимум ценник выше, чем должен быть, но люди работают, пишут запросы, и вопросов, как получить доступ к данным, не возникает.

У всех всё понятно: dbt, Airflow, GitHub. Всё работает как и должно, легко найти специалиста, легко подключить Claude Code.

А как у вас дела?

PS фото с paddle board, скоро будет экспедиция на 5 дней, тренируюсь.

Добавил пост про то, как и где учить Databricks https://blog.surfalytics.com/p/navigating-databricks-learning-a

Собрал материал про AI workloads и видео карты на спутниках https://blog.playeronespace.com/p/brains-in-orbit-a-complete-guide

Решил, что IoT спутниковая сеть это очень банально. Узнал про LEO PNT - gps на низкой орбите с точностью до см. Очень круто и дорого. А вот Edge AI интересный кейс и можно начать с небольшого, если просто сфокусироваться на сам спутник, который будет делать расчеты на борту.

Послушал подкаст Data Engineering Central - там разговор с Джейкобом Мэтсоном, Developer Advocate из MotherDuck (это облачная версия DuckDB).


1. Индустрия устала от сложности
После лет оверинжиниринга (Spark, Kafka, огромные кластеры) - маятник качнулся обратно. Всё больше задач решается на одной машине. DuckDB - яркий пример: просто, быстро, без инфраструктуры.

2. AI не убьёт дата-инженеров - наоборот
Казалось бы, если AI генерирует SQL - зачем инженеры? Но тезис обратный: AI будет генерировать больше запросов, значит нужно больше людей, которые следят за качеством данных и моделями. Роль дата-инженера вырастет, а не исчезнет.

3. Data Modeling снова в моде
Когда AI пишет запросы, он опирается на структуру данных. Если модель данных плохая - AI будет давать мусорные ответы. Хорошая модель данных становится критически важной. По сегодняшнему опыту, AI очень хорошо помогает в моделировании. Ведь моделирование - это набор правил, которым следуют разработчики. Если мы создадим правила для AI, добавим необходимый контекст, то получится очень эффективно.

4. DuckDB vs Spark
Spark всё ещё нужен для реально больших данных. Но огромная часть "больших" задач на практике - это просто неоптимизированные маленькие задачи. DuckDB справляется с ними в разы проще и дешевле.

Вывод: Простота побеждает. AI не заменяет инженеров, а меняет их фокус - от написания SQL к проектированию данных и контролю качества.

Наш любимый dbt стал еще лучше - встречайте dbt core v2

• dbt Core v2.0 — это новая open-source (Apache 2.0) основа, которая теперь написана на Rust вместо Python. По сути, dbt Labs взяли движок Fusion (который они разрабатывали отдельно), открыли его исходники и сделали новым фундаментом dbt Core. Сейчас в альфе.

Fusion vs Core v2 — в чём разница?
• dbt Core v2 — open-source Rust-движок, быстрый парсинг, новые артефакты. Это база.
• dbt Fusion — надстройка над Core v2 с пониманием SQL, column-level lineage, богатым dev-опытом в VS Code. Это расширенная версия.

Грубо говоря: Core v2 = фундамент, Fusion = фундамент + суперспособности.

Что нового в Core v2:
⚡ Скорость — парсинг до 30x быстрее, чем в старом dbt Core на Python. Компиляция всего проекта в 2x быстрее. Это ощущается сразу.
📐 Строгая языковая спецификация — теперь нельзя случайно написать ⁠desciptin вместо ⁠description и не заметить. Чёткая схема языка = меньше глупых ошибок, стабильный интерфейс для интеграций.
📦 Parquet-артефакты — вместо огромных JSON-файлов. Можно напрямую запрашивать через DuckDB или любой AI-агент. Намного быстрее и удобнее для больших проектов.
📚 Новый локальный docs-опыт — полностью переработан, работает на новых артефактах, масштабируется на проекты любого размера.
🦀 Весь Rust-код теперь в репозитории dbt-core — то, что раньше было в dbt-fusion под лицензией ELv2, теперь открыто под Apache 2.0.

Нужно ли мигрировать?
Пока v2 в альфе. dbt Labs выпустили инструменты для миграции (⁠dbt-autofix), которые помогут подготовить проект. Python-версии dbt Core никуда не делись — они остаются доступными.

Я пока мигрировать не собираюсь. Проблем в старых версиях нет. В dbt core вообще проблем нет, поэтому никто не хочет покупать платную версию.