Инжиниринг Данных
22.4K subscribers
1.68K photos
49 videos
177 files
2.98K links
Делюсь новостями из мира аналитики и карьерными советами;)

15 лет в Аналитике и Инжиниринге Данных, 9 лет в FAANG

🛠️ dataengineer.ru

🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Немножко метрик и проверки гипотез.

Гипотеза
Использование социальных сетей на ежедневной основе, чтобы публиковать туда shorts/reels по тематике поможет вырасти аудиторию Surfalytics (условно дата сообщества) и вырасти свой бренд.

Что было сделано

Начиная с Апреля 2024 до Января 2025 года (8 месяцев) почти каждый день сначала и потом 3 раза в неделю мы постили shorts/reels в 4 социальных сети:
- LinkedIn
- TikTok
- Youtube shorts
- X/Twitter

Я использовал сервис Buffer (6$ в месяц за одну соц сеть). Сервис по расписанию загружает видосы и посты по всем соц сетям. И конечно я сам не делал нарезку, так как это огромное кол-во время. Я платил товарищу и он создавал реально крутые и интересные reels/shorts.

Результаты

TikTok:
- 825 likes
- 43 followers
- просмотры от 200 до 700 для одного видео

X:
- 24 followers

Youtube:
- сложно понять ценность shorts, обычно просмотры в районе 70-500 для одного видео
- сам YouTube Surfalytics смог вырасти до 1630 подписчиков (data learn например 17800 подписчиков)

Linkedin за 365 дней:
- 355,812 Impressions
- 64,836 Members reached
- топ 3 поста, которая я сам написал, 2 из них про книгу O’Reilly (Trino, Power BI)
- топ 2 поста по likes - пост про день пап (фотка меня с детьми) и пост про день свадьбы (меня с женой)
- видосики обычно собирали по 10-20 likes от членов Surfalytics
- сейчас у меня 7681 follower, я не смог найти сколько было раньше, но думаю где-то в районе 6000.

Еще есть блог на Substack, туда я пишу редко, но очень качественный контент связанный с развитием data карьеры, там 5660 подписчиков, правда я сам загрузил туда возможно 5500 emails:)

Вообще метрик в каждой соц сети или инструменте хоть отбавляй, возможно, если бы я из изучал более детально, смог бы улучшить показатели.

Какие выводы
- Соцсети — это как океан, и моя идея использовать их для привлечения аудитории на западном рынке не работает так, как хотелось бы. Прямолинейный подход — создать канал, блог и ожидать, что аудитория придёт сама — неправилен. Причём даже качество аудитории здесь не играет решающей роли.

- Например, я публиковал свой контент в группах Facebook и LinkedIn, где состоят сотни тысяч человек, но результата это не принесло.

- LinkedIn полезен сам по себе, как часть резюме. Если у вас хороший профиль, вам иногда могут написать рекрутеры, но, честно говоря, я ни разу не находил работу таким способом.

- Возможно, если бы у меня вообще не было соцсетей, мой доход остался бы прежним, а свободного времени стало бы больше. Однако у блогинга есть одна особенность — он заполняет карьерную пустоту и создаёт ощущение, что вы становитесь более ценным экспертом. Это своего рода ментальный буст к уверенности.

- Безусловно, «глупые» посты с мемами или провокационные записи набирают намного больше охватов. Но для такого контента нужна предрасположенность. Чем больше «чёрнухи», тем выше охваты — ничего нового.

- Аналогично, мой интернет-магазин https://shop.surfalytics.com/, на который я потратил $8–10 тысяч (дизайн + интеграция на Shopify), — это ещё один эксперимент, который не сработал.


Почему всё так плохо?
Как я уже говорил, дело вовсе не в контенте, а в том, что ниша занята. В 2020–2021 годах было очень мало блогеров на тему дата-аналитики, и они смогли завоевать хорошую репутацию, став лидерами мнений. Сейчас таких лидеров много, поэтому мой контент — это всего лишь «ещё одно видео», которое для западного зрителя теряется среди сотен других похожих.

Я считаю, что завершил свой эксперимент с shorts/reels и соцсетями. Теперь я вернусь в обычный режим, буду делать видеоуроки для своего бессмертного курса по аналитике и инжинирингу данных, а также добавлять ценность для сообщества Surfalytics через проекты, карьерные консультации и поддержку.

Я абсолютно спокойно отношусь к отсутствию результата. Чтобы достичь классных результатов или создать что-то действительно стоящее, нужно сначала многое попробовать и потерпеть несколько неудач. Это даёт реальную обратную связь о том, что работает, а что нет, и позволяет принимать более осознанные решения о дальнейших действиях.
Всем привет, буду в LA 1,2 го февраля в районе Irvine. Если есть народ с LA можно где-нибудь выпить некрепкого и не поздно, просто покупаться🥶, или погреться у огонька🔥 в элитном районе LA.

Чатик https://t.me/+gay7oVPZyqA0MmJh
Please open Telegram to view this post
VIEW IN TELEGRAM
Время AI War, кто первый одержит вверх, того уже не догнать.

Наступает эра «войны ИИ»: кто первым одержит верх, того уже не догнать.

На изображении — реклама из The Washington Post от 21 января 2025 года.

Окружение нового президента состоит из представителей BigTech. Их цель ясна: они уже пообещали вложить 500 млрд в создание инфраструктуры для искусственного интеллекта.

Полагаю, Китай тоже не отстаёт: у них уже машины прыгают на автопилоте.

В России, к сожалению, пока не слышно о громких инвестициях в ИИ.

Что ж, нам остаётся лишь самостоятельно изучать, как искусственный интеллект может помочь нам работать эффективнее.

Если раньше на собеседованиях мы рассказывали о том, как консолидировать данные в одном месте (хранилище данных) и построить дашборд с KPI для бизнес-пользователей, то теперь надо думать о сценариях использования ИИ-инструментов и о том, какую ценность они могут принести.

Важно понимать, как с помощью инженерии данных можно добавить функциональность продукту, повысить его качество или улучшить клиентский опыт.

На данном этапе мы ещё только в начале пути:

Шаг 0: ChatGPT помогает нам писать код.

Шаг 1: Наша IDE может работать с ИИ и сама генерировать код.

Шаг 2: Вендорские решения (Snowflake, Databricks) или сторонние ИИ-агенты позволяют использовать «коробочные» решения для генеративного ИИ и автоматизации рутинных задач (Customer Service, чаты и т. п.).

В целом необходимо нарабатывать экспертизу в области сценариев применения ИИ для работы с данными, ведь скоро наше резюме будет выглядеть совсем по-другому. Вместо built data pipelines в нём появятся integrated AI agents, built RAG on top of data warehouse и другие похожие формулировки.
В продолжение прошлого поста
У меня сформировалось мнение, что в РФ нет увольнений, специалисты ИТ востребованы. Но вот сегодня в сети обсуждают новости про В «дочках» Сбербанка массовые увольнения. Под ударом программисты и разработчики.

В Северной Америке уже давно так, как говорится welcome to the club.

Есть подробности?
Совсем недавно, чтобы выделиться нужно было использовать ChatGPT, чтобы написать красивое и вежливое письмо.

Теперь, достаточно просто самостоятельно написать 1-2 предложения, и вы уже будете не такой как все.
Я давно подписан на Financial Samurai блог, автор живет в San Francisco и пишет про финансы, про рынок США и экономические события, которые влияют на рынок США.

Сегодня я узнал, что автор азиат🙌, почему-то читая его последние пол года я представлял white американца, такой вот bias.

A pioneer of the FIRE (Financial Independence, Retire Early) movement in 2009, Sam previously worked at Goldman Sachs and Credit Suisse before retiring at age 34 as a multi-millionaire.

На картинке хорошо видно алокация пассивного дохода, где недвижимость составляет 56%. То есть не акции, не ценные бумаги, бонды, ETF и крипта, а недвижимость. Ключевой момент, что вся недвижимость без ипотеки. И это ключевой момент.

Что в Москве, что в Ванкувере, или в другом любом городе ключевой момент доходности от недвижимости это отсутствие ипотеки.

А вы еще хотите инвестировать в недвижимость?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
В последнем проекте для Surfalytics мы изучали SQLMesh.

Раньше я думал, что это имеет отношение к Data Mesh подходу. Оказывается, это конкурент dbt. То есть, решает такие же задачи, как dbt - трансформация с помощью SQL внутри хранилища данных. (T в ELT).

Инструмент тоже open source. Некоторые вещи реализованы по другому, например у них главная фишка - это виртуальные среды. Если в dbt мы сами выбираем физическое место (схему, базу), где dbt будет создавать таблицы и вьюхи, то в SQLMesh у нас этот процесс управляется виртуальными средами. (Тут больше про envs https://tobikodata.com/virtual-data-environments.html)

Есть и другие плюшки, например встроенный CRON (ставить модели на расписание), SQL клиент в UI, CI/CD бот, аналог SDF (SQL компилятор на базе SQLglot).

У них есть интеграция для dbt/dlt, то есть вы можете легко мигрировать ваши dbt проекты на SQLMesh.

Еще из интересного - они не пустили основателя на конференцию dbt.

Вот что пишут в статье про сравнение dbt и SQLMesh:

Стоит ли выбрать SQLMesh вместо dbt?
На мой взгляд, если вас заботят инженерные аспекты построения конвейеров данных (а это важно), или если дата-инженеры создают и управляют "T", то вам стоит выбрать SQLMesh.

Нужен ли вам широкий набор интеграций с различными платформами и инструментами для работы с данными и/или хотите использовать что-то с более крупным, зрелым сообществом? Тогда, возможно, стоит остановиться на dbt.

Если кратко, я бы сказал, что выбор между SQLMesh и dbt сводится к тому, стоит ли дополнительная сложность SQLMesh того для вас и вашей команды. Интеграции с другими инструментами и зрелость сообщества со временем подтянутся.

Следует отметить, что SQLMesh совместим с dbt, что означает возможность использования SQLMesh поверх существующего проекта dbt в качестве обёртки, используя функции SQLMesh, такие как виртуальные среды данных. Возможно, стоит попробовать и посмотреть, понравится ли вам SQLMesh?

Также не забывайте, что SQLMesh НЕ заставляет писать огромное количество yaml и Jinja. Некоторым нравится иметь всё в yaml, но я предпочитаю определять метаданные прямо в файлах моделей. Меньше переключений контекста - лучше для меня. Мне также никогда не нравился синтаксис Jinja. SQLMesh позволяет использовать чистый Python, что является большим плюсом.


Мое мнение: я бы не стал изучать SQLMesh, так как dbt очень популярный, работает отлично, большое сообщество, есть VC деньги на развитие продукта и есть спрос на такие скилы. SQLMesh это нишевой продукт, который больше подходит энтузиастам, которые любят плыть против течения и у них много свободного времени, чтобы внедрять такие решения. Главная цель пробовать такие нишевые продукты - быть в теме и такие insights порождают хороший диалог с нанимающим менеджером.

По плану дальше на проектах изучить:
- open source BI: Metabase, Superset, Evidence
- локальная оркестрация контейнеров (docker stack, kind, Minikube)
- GenAI функциональность Snowflake и Databricks

Из этих кубиков мы можем строить более большие проекты.
На январских праздниках я успел заехать в Питер, сходил на Щелкунчика в Мариинский театр (сравнил его с Щелкунчиком в Большом театре и в Ванкувере), посетил кафе Счастье и ресторан Joli. Покатался на льду по тротуарам (реально опасно передвигаться зимой).

Но самое прикольное, я встретился с 2мя дата профи, это Николай Валотти, автором Left Join и Сергей Громов, основатель компании BI Consult (самый аутентичный дизайн сайта, который я видел).

С Колей мы попили утром кофе и дальше он побежал по дата делам. А к Сергею я попал на экскурсию в офис, выпил чай с баранками, узнал об истории компании, посмотрел на крутецкую картинную галерею известных русских художников и коллекцию старинных компьютеров и артефактов.

Так же познакомился в BI Consult с Жанной, руководителем направления обучения. Они рассказали, что хотели бы найти человека, кому интересно преподавать корпоративным клиентам. Я попросил поделится информацией, чтобы расшарить в канале, вдруг кому интересно и у кого-то есть желание диверсицировать свои доходы и подрабатывать преподавателем.

Учебный центр "BI Consult" успешно функционирует с 2018 года. В числе слушателей курсов сотрудники компаний нефтегазовой и финансовой отрасли, розничной торговли и производства.

Сейчас учебный центр в поиске эксперта в области DWH для прочтения курсов “
Современная архитектура хранилища данных” и "Курс по DWH".

Что важно:
✔️Практический опыт сбора, хранения и обработки больших объемов данных с использованием OLTP, ETL, DWH и Data Lake, также работы с различными типами баз данных, включая традиционные SQL-базы данных и современные NoSQL-базы данных
✔️Понимание специфики столбцовой организации хранения данных
✔️Умение проектировать хранилища данных, используя методики Data Vault и Anchor Modeling
✔️Опыт работы с инструментами оркестрации и обработки данных в реальном времени
✔️Понимание принципа работы средств визуализации данных (BI)
✔️Понимание принципа работы машинного обучения в контексте инженерии данных и различий разновидностей машинного обучения в области анализа данных (Data Mining) и машинного обучения (Machine Learning)
✔️Желание рассказать и научить других строить архитектуру данных

Формат работы: Онлайн-курсы, несколько раз в год.

Своё резюме высылайте Жанне в личные сообщения:
@Ghannaleto
До этой недели, я даже не знал, что такое DeepSeek, звучит почти как дикпик, думал ругательство какое-то.

Но теперь, мы все обсуждаем насколько акции Nvidia были раздуты и какие все-таки китайцы молодцы!🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
Вы наверно уже видел и слышали про курс Анастасии Кузнецовой, автора канала Настенька укротительница диких графиков? Если нет, то я тоже поделюсь ссылкой.

Курс “Гибкий График” - 11 глав, куча домашек с обратной связью от графиков до дэшбордов 🤓

Курс текстовый, можно читать даже с телефона и проходить в своем темпе. Максимально комфортно будет проходить 1-2 главы в неделю, чтобы успевать практиковаться.


Почему я его рекомендую?

1. Мне нравится узкая специализация и экспертиза Анастасии про создание бизнес дашбордов (или дэшбордов).
2. Сам курс это агрегация многолетнего опыта в создание эффективных dashboards.
3. Я сам лично уже написал пару статей с Настей и мы пишем сейчас еще одну про подход Amazon - Weekly Business Review.
4. Я всегда рад поддержать экспертов, которые своими силами создают полезный контент, которые rise the bar в русско-язычном дата сообществе.
Forwarded from Alexandr Popov
Вакансии по аналитике и системному анализу в Data Analytics Team компании Атом, создающей электромобиль-гаджет 🚙  и его версии для семьи, такси, каршеринга и службы доставки

Тут можно посмотреть ролик о проекте ▶️🎥

Senior BI Analyst

Ищем биай аналитика, который будет заниматься визуализацией данных в дашбордах

Основные задачи:
Разрабатывать дашборды в Yandex DataLens 📊
Собирать и ставить требования на создание и доработку витрин данных
Анализировать данные для поиска инсайтов и презентовать результаты
Вести документацию по проектам

Нужны:
Опыт в аналогичной роли от 5 лет
Продвинутые навыки визуализации и знание UX/UI подходов 🎨
Уверенное владение Yandex DataLens или другими BI-инструментами
Глубокие знания SQL и понимание моделей и баз данных (PostgreSQL, ClickHouse)
Широкий кругозор в бизнес-доменах и понимание их специфики

Как откликнуться:
Отправить резюме в Telegram @FiestaTS, на почту Tatiana.Suslina@atom.team или оставить отклик на Hh.ru 📲📩

Senior System Analyst

Ищем системного аналитика, который будет работать на стыке бизнеса и разработки

Основные задачи:
Анализ и формализация бизнес-требований
Проектирование процессов и интеграций
Участие в разработке технической документации
Взаимодействие с командами разработки, тестирования и бизнес-заказчиками 🤝

Нужны:
Опыт работы системным аналитиком от 4 лет в сфере DWH/Datalake
Работа с потоковыми и пакетными данными
Понимание различий между Datalake и DWH и их задач
Владение SQL на уровне сложных запросов (оконные функции, CTE и т.д.)
Уверенное знание Python 🐍
Опыт работы с базами данных: ClickHouse, PostgreSQL, Hive/Impala, Trino
Построение моделей данных: Data Vault, Inmon, Kimball
Опыт проектирования API (REST, GraphQL)

Как откликнуться:
Отправить резюме в Telegram @FiestaTS, на почту Tatiana.Suslina@atom.team или оставить отклик на Hh.ru 📲📩
💡Как сделать правильное предложение, правильному человеку, адресованное правильным потребностям этого человека?

Казалось бы просто?
Но, чтобы исполнить такой простой на первый взгляд финт нужен опыт и тонна здравого смысла. Люди, у которых все это в наличии - редкий и штучный ресурс.
Вот реальный кейс:
Звонит представитель банка, где мы открыли дополнительный расчетный счет и предлагает подключить зарплатный проект.

CEO&Founder спрашивает: «Есть ли хоть одна рациональная причина — это сделать?»

Ответ восхитил: «Мы бесплатно выпускам карты нашего банка для сотрудников и ваш главный бухгалтер получит бонус как физическое лицо за оформление каждой карты».

Да, предложение не лишено смысла…Но его правильно делать главному бухгалтеру, а не CEO. Т - это значит Талант 👍💯

Другие размышления о мире IT-бизнеса, клиентском опыте и интересные кейсы и истории, например, о том, как выиграл в суде против Oracle и создал собственную IT-компанию, вы можете найти в авторском телеграм-канале CEO & Owner ИТ компании Александра Окорокова.

Полезные материалы на канале Александра:

«Барин делает, что хочет» или у собственника тоже есть функции?

Пример открытой коммуникации - реальная история из опыта моей работы в Oracle или как Ларри Эллисон лично просматривал резюме всех новых сотрудников.

Не успеваете делать все что запланировали? Вы на правильном пути!

Если хотите познакомиться с реальными кейсами как западных так и российских компаний, о мире IT-бизнеса без прикрас, клиентском опыте и продажах жмите 👉Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
Snowflake in Talks to Acquire Analytics Startup Redpanda By Kevin McLaughlin

Что такое Snowflake вы знаете. Snowflake это хранилище данных это аналитическая платформа, которая позволяет:
- создавать хранилище данных
- работать с данными в браузере (SnowSight) используя SQL или Python (SnowPark)
- возможность создавать веб-приложения на базе Streamlit (open source решение, которое Snowflake купил)
- создавать Stored Procedures прям как в PL/SQL в Oracle или T-SQL в SQL Server (можно на SQL, можно и на другом языке). Работает отлично - бесплатная замена dbt для трансформации данных
- ставить на расписание ваши запросы (jobs) с использованием Tasks
- интеграция с Apache Iceberg, свой Iceberg каталог Polaris
- поддержка стриминга через Pipes, Dynamic таблиц
- своя кривая LLM Arctic
- возможность хостить контейнеры (сам еще не проверял)
- создавать Data Apps на любой цвет и вкус (для монетизации своих данных)
- Data Sharing, большой маркетплейс различных приложений, вендоров, данных

Это первое, что пришло в голову про Snowflake. То есть это целая платформа. И стриминг - это не сильная сторона Snowflake.

А что такое RedPanda?

Redpanda – это высокопроизводительный потоковый движок, совместимый с Apache Kafka.

🔹 Ключевые особенности Redpanda:
1. Совместимость с Kafka API – поддерживает основные API Kafka (Producers, Consumers, Streams), что позволяет использовать Redpanda без изменения существующего кода Kafka-приложений.
2. Отказоустойчивость и высокая производительность – написан на C++ и использует локальную память и NVMe-диски для ускорения обработки событий.
3. Не требует Zookeeper – в отличие от Kafka, в Redpanda отказались от Zookeeper в пользу встроенной системы управления метаданными.
4. Меньше ресурсов, выше скорость – за счет оптимизированного использования процессора, памяти и хранения данных Redpanda показывает на 5-10 раз меньшую задержку, чем Kafka.
5. Поддержка WebAssembly (Wasm) – можно писать кастомные трансформации данных прямо в стриме, без внешних обработчиков.

6. Лучше работает в Kubernetes – Redpanda легче масштабируется и лучше интегрируется с облачными средами, чем Kafka.

Если Snowflake купит их, то они усилят свои позиции по стримингу, потому что у их главного конкурента Databricks все очень хорошо в этом плане с Apache Spark Structured Streaming.
Про A/B-тесты


Вы заметили, что во многих разделах Авито поменялся интерфейс? Особенно это заметно в разделе Авто. Фотографии стали больше. А еще их можно полистать, не проваливаясь в само объявление. UX точно стал лучше!

С точки зрения аналитики интересно, как команда Авито измеряет эффективность таких изменений? Ответ — через свою платформу для A/B-тестов Trisigma. Это внутренний инструмент, который уже раскатили на внешнюю аудиторию. Через него аналитики прогоняют все изменения: от размера карточек до фич.

И этот эксперимент с изменением ленты Авито Авто тоже прошел через Trisigma: баерский опыт улучшился. Например, в категории новых авто пользователи после изменения ленты стали совершать на 14% больше целевых действий.

Посмотреть, как устроен инструмент и, конечно, протестировать его самостоятельно можно, оставив заявку на сайте платформы.
Как-то я видел пост чувака, который нанял ассистента и посадил его за своей спиной и оплачивал фулл-тайм.

Главная задача ассистента - не давать чуваку отвлекаться от работы. Эффект был настолько крут по эффективности, что окупил все затраты.

Я даже сам проводил эксперимент, рядом сажал жену и она меня гоняла каждый раз как я пытался открыть телеграмм или LinkedIn.

Одно время я хотел снять коворкинг с товарищем, чтобы двоем там работать и подгонять друг друга.

А сегодня я узнал про термин для этого в посте у Кати - body doubling
На днях у меня произошла замечательная история про помощь AI (Claude, ChatGPT).

Задача:

На одном из проектов я использую Snowflake. Для повышения безопасности я решил обновить сервисных пользователей и перевести их с User/Password на User/Key-pair (private/public key).

Многие системы поддерживают этот метод из коробки, например dbt Labs, Sigma BI, Azure Data Factory. Однако некоторые не поддерживают его вовсе, что, конечно, не очень хорошо. Например, сервис блокнотов DeepNote.

Также, как и на нашем недавнем вебинаре по dbt core на Postgres, у меня есть CI (Continuous Integration) шаг, который запускает dbt.

Раньше я передавал пароль пользователя в GitHub Actions через GitHub Secrets.

Теперь же решил передать private key.

Вместо того чтобы просто скопировать ключ в GitHub Secret как есть, я решил спросить у чата, как сделать это быстро и правильно.

Чат не предложил просто вставить ключ (copy-paste), а начал чудить с декодированием, типа:


cat rsa_github_dbt_dev_user.p8 | base64


Base64 кодирует данные в этот формат, и я сохраняю результат в GitHub Secret.

Затем он предложил в YAML-файле GitHub Action обратно декодировать его с помощью:


base64 --decode


При этом вместо secret он предложил использовать переменную env, из-за чего мой ключ попадал в логи в открытом виде.

В итоге простая задачка неожиданно превратилась в небыструю.

Чат предлагал столько разных вариантов работы с ключами, вплоть до модификации логов, чтобы спрятать ключ от посторонних глаз.

В конце концов я просто сохранил ключ как есть – и всё заработало.

Кажется, у всех бывают такие истории. Хотел как лучше, а получилось как всегда. Уже даже мемы на эту тему есть – как бот пишет код за 5 минут, а мы потом часами его траблшутим. 😅