Всем доброе утро! Мы начинаю 2ю часть!

Запись стрима

Если вы делали проект в vk cloud, не забудьте удалить БД, а то она будет кушать кредиты

Завтра у нас вкусные завтраки в Т Банк, сбор уже в 9 утра, но нужно записаться https://meetup.tbank.ru/event/data-zavtrak/

А кто не смог оффлайн, будет онлайн, но нужно зарегестрироваться, чтобы ссылку на стрим прислали.

Dbt labs купили SDF стартап.

SDF — это высокопроизводительный набор инструментов для разработки на SQL, объединённый в одну CLI. Он включает в себя мультидиалектный SQL-компилятор, систему типов, фреймворк для трансформаций, линтер и сервер языка. Написанный на Rust, он обладает высокой степенью параллелизации и рассчитан на масштабирование.

Этот набор инструментов основан на передовых разработках в понимании SQL. SDF представляет каждый SQL-диалект (Snowflake, Redshift, BigQuery и др.) как полную ANTLR-грамматику с определениями всех типов данных, правил приведения, функций, тонкостей областей видимости и многого другого.

В отличие от исторического подхода dbt (где SQL воспринимался как строки текста), SDF видит объекты, типы, синтаксис и семантику.

Точно так же, как виртуальные машины (VMs) эмулируют физическое оборудование, SDF эмулирует SQL-компиляторы, нативные для используемых вами платформ данных.

SDF основанная дуэтом отец/сын (Лукас и Вольфрам Шульте, CEO и CTO соответственно) и с основной командой исследователей баз данных из Microsoft Research, Meta и других организаций, компания включает в себя одних из самых квалифицированных специалистов на планете для решения задачи надежного и масштабируемого понимания SQL.

Почему это важно:

1. dbt исторически рассматривал SQL как текстовые строки с некоторым Jinja-шаблонированием. SDF (SQL Development Framework) приносит настоящую поддержку SQL — парсинг, системы типов и семантический анализ для различных диалектов.

2. Практическое влияние огромное: примерно в 100 раз быстрее компиляция, поддержка IDE и детализированная lineage без подключения к вашему хранилищу данных.

3. Самое интересное, SDF эмулирует компиляторы SQL нативно, так что может обнаруживать ошибки на этапе разработки, а не во время выполнения.

Это действительно полезная покупка, так как одна из главных задач dbt это генерация (compile) SQL запросов.

Для бесплатной версии dbt core пока ничего нового.

Личный пример использования VSCode + Claude. Нашел плагин для VSCode - Cline (раньше назывался Claude Dev). Он позволяет открыть окно чата. Ему нужен ключ API от Claude.

У меня была простая и скучная задача - для поля type сделать CASE WHEN для 40+ сценариев. Я скопировал исходный код из приложения, показал пример в prompt и плагин сразу обновил мой файл с dbt моделью, даже написал сколько это стоило.

Немножко метрик и проверки гипотез.

Гипотеза
Использование социальных сетей на ежедневной основе, чтобы публиковать туда shorts/reels по тематике поможет вырасти аудиторию Surfalytics (условно дата сообщества) и вырасти свой бренд.

Что было сделано

Начиная с Апреля 2024 до Января 2025 года (8 месяцев) почти каждый день сначала и потом 3 раза в неделю мы постили shorts/reels в 4 социальных сети:
- LinkedIn
- TikTok
- Youtube shorts
- X/Twitter

Я использовал сервис Buffer (6$ в месяц за одну соц сеть). Сервис по расписанию загружает видосы и посты по всем соц сетям. И конечно я сам не делал нарезку, так как это огромное кол-во время. Я платил товарищу и он создавал реально крутые и интересные reels/shorts.

Результаты

TikTok:
- 825 likes
- 43 followers
- просмотры от 200 до 700 для одного видео

X:
- 24 followers

Youtube:
- сложно понять ценность shorts, обычно просмотры в районе 70-500 для одного видео
- сам YouTube Surfalytics смог вырасти до 1630 подписчиков (data learn например 17800 подписчиков)

Linkedin за 365 дней:
- 355,812 Impressions
- 64,836 Members reached
- топ 3 поста, которая я сам написал, 2 из них про книгу O’Reilly (Trino, Power BI)
- топ 2 поста по likes - пост про день пап (фотка меня с детьми) и пост про день свадьбы (меня с женой)
- видосики обычно собирали по 10-20 likes от членов Surfalytics
- сейчас у меня 7681 follower, я не смог найти сколько было раньше, но думаю где-то в районе 6000.

Еще есть блог на Substack, туда я пишу редко, но очень качественный контент связанный с развитием data карьеры, там 5660 подписчиков, правда я сам загрузил туда возможно 5500 emails:)

Вообще метрик в каждой соц сети или инструменте хоть отбавляй, возможно, если бы я из изучал более детально, смог бы улучшить показатели.

Какие выводы
- Соцсети — это как океан, и моя идея использовать их для привлечения аудитории на западном рынке не работает так, как хотелось бы. Прямолинейный подход — создать канал, блог и ожидать, что аудитория придёт сама — неправилен. Причём даже качество аудитории здесь не играет решающей роли.

- Например, я публиковал свой контент в группах Facebook и LinkedIn, где состоят сотни тысяч человек, но результата это не принесло.

- LinkedIn полезен сам по себе, как часть резюме. Если у вас хороший профиль, вам иногда могут написать рекрутеры, но, честно говоря, я ни разу не находил работу таким способом.

- Возможно, если бы у меня вообще не было соцсетей, мой доход остался бы прежним, а свободного времени стало бы больше. Однако у блогинга есть одна особенность — он заполняет карьерную пустоту и создаёт ощущение, что вы становитесь более ценным экспертом. Это своего рода ментальный буст к уверенности.

- Безусловно, «глупые» посты с мемами или провокационные записи набирают намного больше охватов. Но для такого контента нужна предрасположенность. Чем больше «чёрнухи», тем выше охваты — ничего нового.

- Аналогично, мой интернет-магазин https://shop.surfalytics.com/, на который я потратил $8–10 тысяч (дизайн + интеграция на Shopify), — это ещё один эксперимент, который не сработал.


Почему всё так плохо?
Как я уже говорил, дело вовсе не в контенте, а в том, что ниша занята. В 2020–2021 годах было очень мало блогеров на тему дата-аналитики, и они смогли завоевать хорошую репутацию, став лидерами мнений. Сейчас таких лидеров много, поэтому мой контент — это всего лишь «ещё одно видео», которое для западного зрителя теряется среди сотен других похожих.

Я считаю, что завершил свой эксперимент с shorts/reels и соцсетями. Теперь я вернусь в обычный режим, буду делать видеоуроки для своего бессмертного курса по аналитике и инжинирингу данных, а также добавлять ценность для сообщества Surfalytics через проекты, карьерные консультации и поддержку.

Я абсолютно спокойно отношусь к отсутствию результата. Чтобы достичь классных результатов или создать что-то действительно стоящее, нужно сначала многое попробовать и потерпеть несколько неудач. Это даёт реальную обратную связь о том, что работает, а что нет, и позволяет принимать более осознанные решения о дальнейших действиях.

Время AI War, кто первый одержит вверх, того уже не догнать.

Наступает эра «войны ИИ»: кто первым одержит верх, того уже не догнать.

На изображении — реклама из The Washington Post от 21 января 2025 года.

Окружение нового президента состоит из представителей BigTech. Их цель ясна: они уже пообещали вложить 500 млрд в создание инфраструктуры для искусственного интеллекта.

Полагаю, Китай тоже не отстаёт: у них уже машины прыгают на автопилоте.

В России, к сожалению, пока не слышно о громких инвестициях в ИИ.

Что ж, нам остаётся лишь самостоятельно изучать, как искусственный интеллект может помочь нам работать эффективнее.

Если раньше на собеседованиях мы рассказывали о том, как консолидировать данные в одном месте (хранилище данных) и построить дашборд с KPI для бизнес-пользователей, то теперь надо думать о сценариях использования ИИ-инструментов и о том, какую ценность они могут принести.

Важно понимать, как с помощью инженерии данных можно добавить функциональность продукту, повысить его качество или улучшить клиентский опыт.

На данном этапе мы ещё только в начале пути:

Шаг 0: ChatGPT помогает нам писать код.

Шаг 1: Наша IDE может работать с ИИ и сама генерировать код.

Шаг 2: Вендорские решения (Snowflake, Databricks) или сторонние ИИ-агенты позволяют использовать «коробочные» решения для генеративного ИИ и автоматизации рутинных задач (Customer Service, чаты и т. п.).

В целом необходимо нарабатывать экспертизу в области сценариев применения ИИ для работы с данными, ведь скоро наше резюме будет выглядеть совсем по-другому. Вместо built data pipelines в нём появятся integrated AI agents, built RAG on top of data warehouse и другие похожие формулировки.

В продолжение прошлого поста

У меня сформировалось мнение, что в РФ нет увольнений, специалисты ИТ востребованы. Но вот сегодня в сети обсуждают новости про В «дочках» Сбербанка массовые увольнения. Под ударом программисты и разработчики.

В Северной Америке уже давно так, как говорится welcome to the club.

Есть подробности?

Совсем недавно, чтобы выделиться нужно было использовать ChatGPT, чтобы написать красивое и вежливое письмо.

Теперь, достаточно просто самостоятельно написать 1-2 предложения, и вы уже будете не такой как все.