Почему ваша команда дата-инженеров всегда выглядит несчастной и выгоревшей:
1. Они тратят большую часть времени на переработку плохо спроектированных таблиц в SQL
2. На них кричат, когда ломается чужой код
3. Никто не пишет тесты, но все ожидают, что они будут отлаживать сбои
4. Дежурство — это кошмар
5. Качество данных не ценится так, как функции с очевидным ROI
6. Сколько бы времени они ни тратили на сокращение облачных расходов — этого всегда мало
7. Им редко удаётся заниматься инновационной работой
8. Они — одна из наименее публично признаваемых инженерных команд (привет, Безопасность)
9. Это крайне сложная роль для замещения = долгое время с открытыми вакансиями
10. У них маленький бюджет для огромной и дорогостоящей проблемы
11. Они чаще всего первыми получают обвинения и последними — похвалу
12. Количество сервисных тикетов никогда не уменьшается
13. Плохое моделирование данных делает их жизнь радикально сложнее
14. «Больших побед» для празднования значительно меньше
15. Им не хватает контроля для внедрения лучших практик управления данными
16. Управление данными никогда не в приоритете… пока внезапно не становится им
17. Их редко привлекают, когда стартует новый крупный дата-проект…
18. …но в итоге именно им приходится разгребать весь беспорядок
19. Их редко уведомляют об изменениях в upstream-системах, вызывающих сбои пайплайнов
20. Никаких контрактов с поставщиками данных!
1. Они тратят большую часть времени на переработку плохо спроектированных таблиц в SQL
2. На них кричат, когда ломается чужой код
3. Никто не пишет тесты, но все ожидают, что они будут отлаживать сбои
4. Дежурство — это кошмар
5. Качество данных не ценится так, как функции с очевидным ROI
6. Сколько бы времени они ни тратили на сокращение облачных расходов — этого всегда мало
7. Им редко удаётся заниматься инновационной работой
8. Они — одна из наименее публично признаваемых инженерных команд (привет, Безопасность)
9. Это крайне сложная роль для замещения = долгое время с открытыми вакансиями
10. У них маленький бюджет для огромной и дорогостоящей проблемы
11. Они чаще всего первыми получают обвинения и последними — похвалу
12. Количество сервисных тикетов никогда не уменьшается
13. Плохое моделирование данных делает их жизнь радикально сложнее
14. «Больших побед» для празднования значительно меньше
15. Им не хватает контроля для внедрения лучших практик управления данными
16. Управление данными никогда не в приоритете… пока внезапно не становится им
17. Их редко привлекают, когда стартует новый крупный дата-проект…
18. …но в итоге именно им приходится разгребать весь беспорядок
19. Их редко уведомляют об изменениях в upstream-системах, вызывающих сбои пайплайнов
20. Никаких контрактов с поставщиками данных!
💯87🙈12❤🔥3🐳2
Наш любимый dbt стал еще лучше - встречайте dbt core v2
• dbt Core v2.0 — это новая open-source (Apache 2.0) основа, которая теперь написана на Rust вместо Python. По сути, dbt Labs взяли движок Fusion (который они разрабатывали отдельно), открыли его исходники и сделали новым фундаментом dbt Core. Сейчас в альфе.
Fusion vs Core v2 — в чём разница?
• dbt Core v2 — open-source Rust-движок, быстрый парсинг, новые артефакты. Это база.
• dbt Fusion — надстройка над Core v2 с пониманием SQL, column-level lineage, богатым dev-опытом в VS Code. Это расширенная версия.
Грубо говоря: Core v2 = фундамент, Fusion = фундамент + суперспособности.
Что нового в Core v2:
⚡ Скорость — парсинг до 30x быстрее, чем в старом dbt Core на Python. Компиляция всего проекта в 2x быстрее. Это ощущается сразу.
📐 Строгая языковая спецификация — теперь нельзя случайно написать desciptin вместо description и не заметить. Чёткая схема языка = меньше глупых ошибок, стабильный интерфейс для интеграций.
📦 Parquet-артефакты — вместо огромных JSON-файлов. Можно напрямую запрашивать через DuckDB или любой AI-агент. Намного быстрее и удобнее для больших проектов.
📚 Новый локальный docs-опыт — полностью переработан, работает на новых артефактах, масштабируется на проекты любого размера.
🦀 Весь Rust-код теперь в репозитории dbt-core — то, что раньше было в dbt-fusion под лицензией ELv2, теперь открыто под Apache 2.0.
Нужно ли мигрировать?
Пока v2 в альфе. dbt Labs выпустили инструменты для миграции (dbt-autofix), которые помогут подготовить проект. Python-версии dbt Core никуда не делись — они остаются доступными.
Я пока мигрировать не собираюсь. Проблем в старых версиях нет. В dbt core вообще проблем нет, поэтому никто не хочет покупать платную версию.
• dbt Core v2.0 — это новая open-source (Apache 2.0) основа, которая теперь написана на Rust вместо Python. По сути, dbt Labs взяли движок Fusion (который они разрабатывали отдельно), открыли его исходники и сделали новым фундаментом dbt Core. Сейчас в альфе.
Fusion vs Core v2 — в чём разница?
• dbt Core v2 — open-source Rust-движок, быстрый парсинг, новые артефакты. Это база.
• dbt Fusion — надстройка над Core v2 с пониманием SQL, column-level lineage, богатым dev-опытом в VS Code. Это расширенная версия.
Грубо говоря: Core v2 = фундамент, Fusion = фундамент + суперспособности.
Что нового в Core v2:
⚡ Скорость — парсинг до 30x быстрее, чем в старом dbt Core на Python. Компиляция всего проекта в 2x быстрее. Это ощущается сразу.
📐 Строгая языковая спецификация — теперь нельзя случайно написать desciptin вместо description и не заметить. Чёткая схема языка = меньше глупых ошибок, стабильный интерфейс для интеграций.
📦 Parquet-артефакты — вместо огромных JSON-файлов. Можно напрямую запрашивать через DuckDB или любой AI-агент. Намного быстрее и удобнее для больших проектов.
📚 Новый локальный docs-опыт — полностью переработан, работает на новых артефактах, масштабируется на проекты любого размера.
🦀 Весь Rust-код теперь в репозитории dbt-core — то, что раньше было в dbt-fusion под лицензией ELv2, теперь открыто под Apache 2.0.
Нужно ли мигрировать?
Пока v2 в альфе. dbt Labs выпустили инструменты для миграции (dbt-autofix), которые помогут подготовить проект. Python-версии dbt Core никуда не делись — они остаются доступными.
Я пока мигрировать не собираюсь. Проблем в старых версиях нет. В dbt core вообще проблем нет, поэтому никто не хочет покупать платную версию.
Getdbt
dbt Core v2 is here: still open source, now rebuilt for what's next | dbt Developer Blog
The two-engine era is drawing to a close: from now on, dbt Core and Fusion will be built on a shared foundation.
❤🔥40🐳10⚡9
В наше время самый кайф это попасть в зону, где нет сети. Следующие 5 дней буду плавать на paddle board в тихом океане и ничего делать🏄♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥101⚡2🦄1
Закончилась экспедиция на sup. 5 дней и 4 ночи вокруг Vargas Island, это на острове Ванкувер со стороны Тихого океана. Погода была разная от +4 до +20, были и дожди и ветра. По расстоянию мы не очень много проплывали в день. В основ упор был на изучение навигации, карт, компаса, погоды и планирования. Группа была маленькая- 5 человек и 2 организатора. С одной стороны это очень дорогой тур, чтобы пожить в палатке и мерзнуть под дождем, с другой стороны он бесценный с точки зрения опыта и эмоцией. Следующим летом обязательно запишусь еще раз, но уже в другой локации.
❤🔥44🐳6
Сегодня прошла замечательная история. На моем любимом проекте в Technical Safety BC, где работают пенсионеры и полу пенсионеры (в прямом смысле ждут свою пенсию), где текущий дата инженер использует голосовые помощники, чтобы делать пайплайны в SSIS, потому что потерял зрение на старости лет - меня уволили одним днем, за то, что в проекте по миграции on-premises на AWS я сделал s3 bucket public.
Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте.
PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.
Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте.
PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.
🫡37❤🔥12💯6