Вопросы к стриму

Запись трансляции
🧠 dbt: С ЧЕГО НАЧАТЬ? | Вебинар с Дмитрием Аношиным 🚀

Всем доброе утро! Мы начинаю 2ю часть!

Запись стрима

Если вы делали проект в vk cloud, не забудьте удалить БД, а то она будет кушать кредиты

Завтра у нас вкусные завтраки в Т Банк, сбор уже в 9 утра, но нужно записаться https://meetup.tbank.ru/event/data-zavtrak/

А кто не смог оффлайн, будет онлайн, но нужно зарегестрироваться, чтобы ссылку на стрим прислали.

Dbt labs купили SDF стартап.

SDF — это высокопроизводительный набор инструментов для разработки на SQL, объединённый в одну CLI. Он включает в себя мультидиалектный SQL-компилятор, систему типов, фреймворк для трансформаций, линтер и сервер языка. Написанный на Rust, он обладает высокой степенью параллелизации и рассчитан на масштабирование.

Этот набор инструментов основан на передовых разработках в понимании SQL. SDF представляет каждый SQL-диалект (Snowflake, Redshift, BigQuery и др.) как полную ANTLR-грамматику с определениями всех типов данных, правил приведения, функций, тонкостей областей видимости и многого другого.

В отличие от исторического подхода dbt (где SQL воспринимался как строки текста), SDF видит объекты, типы, синтаксис и семантику.

Точно так же, как виртуальные машины (VMs) эмулируют физическое оборудование, SDF эмулирует SQL-компиляторы, нативные для используемых вами платформ данных.

SDF основанная дуэтом отец/сын (Лукас и Вольфрам Шульте, CEO и CTO соответственно) и с основной командой исследователей баз данных из Microsoft Research, Meta и других организаций, компания включает в себя одних из самых квалифицированных специалистов на планете для решения задачи надежного и масштабируемого понимания SQL.

Почему это важно:

1. dbt исторически рассматривал SQL как текстовые строки с некоторым Jinja-шаблонированием. SDF (SQL Development Framework) приносит настоящую поддержку SQL — парсинг, системы типов и семантический анализ для различных диалектов.

2. Практическое влияние огромное: примерно в 100 раз быстрее компиляция, поддержка IDE и детализированная lineage без подключения к вашему хранилищу данных.

3. Самое интересное, SDF эмулирует компиляторы SQL нативно, так что может обнаруживать ошибки на этапе разработки, а не во время выполнения.

Это действительно полезная покупка, так как одна из главных задач dbt это генерация (compile) SQL запросов.

Для бесплатной версии dbt core пока ничего нового.

Личный пример использования VSCode + Claude. Нашел плагин для VSCode - Cline (раньше назывался Claude Dev). Он позволяет открыть окно чата. Ему нужен ключ API от Claude.

У меня была простая и скучная задача - для поля type сделать CASE WHEN для 40+ сценариев. Я скопировал исходный код из приложения, показал пример в prompt и плагин сразу обновил мой файл с dbt моделью, даже написал сколько это стоило.