Инжиниринг Данных
23.7K subscribers
2.28K photos
64 videos
194 files
3.35K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Недавно был интересный случай. Моя компания Rock Your Data попала в небольшой тендер на разработку хранилища данных.

Моим оппонентом была небольшая консалтинговая компания, которая решила предложить стартапу внедрить Microsoft Fabric + Power BI. Это была их фатальная ошибка.

А я предложил Snowflake + dbt (внутри Snowflake), Metabase BI (6$ за место в месяц) и оставить оркестрацию внутри Snowflake.

А самое главное — сказал, что сразу буду использовать Claude Code и сделаю для них фреймворк, где разработка будет на Claude, а их единственный аналитик-джун станет дата-инженером.

На картинке — изначальный план агентства.

Агентство, конечно, лукавило, когда говорило, что сделает им всё за небольшие деньги на Microsoft Fabric.

Решения Microsoft — для Enterprise-компаний, когда у вас есть несколько команд по 10 человек и вы можете позволить себе ничего не делать месяцами (создавать видимость работы).
💯32🌚13❤‍🔥6🐳2
В новой статье Headed for the Exit: the Great Engineering Leader Career Break, автор делится наблюдениям про высокие инженерные должности.

CTO, VP of Engineering, Head of Engineering — люди, которые ещё вчера были на вершине карьеры — сейчас пачками уходят с позиций. Без нового места. Просто уходят.
The Pragmatic Engineer опросил почти 20 таких руководителей. Вот что они говорят:
Почему уходят:
1️⃣ Работа стала невыносимой — фаундеры с «AI-психозом» сами пишут код и сливают 60к строк в продакшн, ожидая магии. А разбираться с последствиями — CTO
2️⃣ Equity сгорает — сложные структуры инвесторских предпочтений делают даже 2% акций бесполезными. Зачем терпеть, если выхлопа не будет?
3️⃣ Без AI-опыта ты уже устарел — рынок хочет тех, кто уже трансформировал компанию под AI. Сидишь в «медленной» компании — отстаёшь
4️⃣ Команды сжались — один fullstack-инженер с AI делает работу пяти. VPE просто не нужен при команде из 4 человек
5️⃣ Fractional CTO выгоднее — зачем один работодатель, если можно работать с пятью параллельно?
6️⃣ AI-стартапы платят рядовым инженерам больше, чем обычные стартапы платят своим CTO. Математика не в пользу руководства
7️⃣ Выгорание — давление со всех сторон, нереалистичные ожидания, и ощущение что ты Дон Кихот


Роль инжиниринг менеджера в 2020 и в 2026 сейчас очень разные, и многие не хотят работать в таких условиях. Я полагаю сейчас вырастает новый тип руководителей, которым легче вариться в таких условиях.

Особенно хорошо написано про деньги - AI направления = больше денег у IC, чем у C уровня не AI. А еще лучше несколько fraction ролей (part time).

А как у вас ощущения?
🙈9🙊6🤷3🐳1
Поделюсь своими ощущениями по использованию AI агентов. Этап эйфории прошёл.

Немножко поподробней про этот этап. У вас есть Claude Code и больше ни у кого его нет. У вас уже настроены MCP ко всем дата-сервисам и базам, и Claude делает за вас 100% работы. Любую задачу вы решаете мгновенно. Коллеги не понимают, что такое Claude Code, и все делают по старинке руками. На их фоне вы просто монстр производительности, даже можете менять и траблшутить Source Code.

Дальше компании начинают инвестировать в подписки Claude Code, и уже волей-неволей у всех появляется Claude. Ты им показываешь, как с ним работать и как всё работает. 2–3 месяца — и коллеги уже могут сами использовать MCP и делать PR через агентов.

Первый звоночек — обычно что-то вроде: «Ты слишком быстро всё сделал, и агент написал лабуду». То есть надо уже больше смотреть за агентом, всё перечитывать и перепроверять. Особенно сложно это делать, когда открыты несколько активных серий в разных репозиториях с серьёзными изменениями.

Также изначально Claude создавал код поверх кода, написанного руками. Этот код очень понятен, ведь ты его сам писал. Но спустя полгода код весь написан уже агентом, и мы уже на 100% зависимы от агента, ведь без него уже очень сложно разобраться, как там всё устроено и как это дело быстро подправить.

И теперь мы приходим к тому, что все одинаково умеют использовать агентов, друг другу проверяют PR, пишут огромные простыни текста — что починить, что исправить. То есть человек как proxy между общением агентов. 😄

Вся скорость и производительность выветриваются, и по факту вам надо больше и тяжелее работать. Если раньше вы работали на 120%, а команда лишь на 20%, то теперь это уже 115% на 120%, то есть в лучшем случае вы немного лучше, но какой ценой?!

Таким образом, мы пришли к тому, о чём говорили всегда: работы стало больше, задачи стали сложнее, а требования по скорости и качеству — выше. Я вижу на примерах, как растут аппетиты у VP-уровня, особенно когда они сами могут общаться с данными и находить инсайты. Они хотят больше и быстрее. У бизнеса теперь много идей, которые надо внедрить.

Да, даже элементарно — частота стендапов возросла до ежедневной, и уже не скажешь «я там ковыряю код», ведь за тебя агент может всё перековырять — сиди и читай, читатель-инженер.

Что будет дальше? А дальше требования будут расти. Даже от новичков будут требовать больше. Вам ведь думать не надо — за вас агент думает, поэтому просто сидите и общайтесь с ним, разбирайтесь. Задач будет больше, требований больше, свободного времени меньше. Людей однозначно нужно больше. Агенты ещё те шалунишки — нужен глаз да глаз за ними, а то положат продакшн. Это ещё не так критично в области data, а вот в customer-facing apps — там ещё сложнее.

Я спросил агента про известные концепции:

Jevons Paradox (Парадокс Джевонса)
Чем эффективнее технология, тем больше её потребляют. Производительность выросла → бизнес поднял планку → работы стало больше, а не меньше. Классика, описанная ещё в 19 веке применительно к паровым машинам.

Automation Bias
Склонность доверять автоматизированным системам больше, чем следует. Отсюда и «агент написал лабуду, но никто не заметил» — люди перестают критически проверять вывод системы.

Skill Atrophy / Deskilling
Деградация навыков из-за делегирования задач инструментам. Ты описал это точно: «код весь написан агентом, и без него уже сложно разобраться». Это активно обсуждается сейчас применительно к junior-разработчикам, которые никогда не научатся думать самостоятельно.

Productivity Paradox (Парадокс производительности)
Технологии растут, а реальная производительность и удовлетворённость сотрудников — не обязательно. Впервые описан в контексте IT-революции 80-90х годов (Solow Paradox).

Alert Fatigue / Review Fatigue
Когда объём вещей, требующих внимания, превышает когнитивные возможности человека. У тебя это — несколько открытых PR в разных репозиториях одновременно.

Shifting Bottleneck
Узкое место не исчезает, оно перемещается. Раньше бутылочное горлышко — написание кода. Теперь — ревью, понимание, верификация того, что написал агент.
💯115❤‍🔥17🐳107😭4
В пятницу отправимся в небольшой поход с палатками. Если вы в Ванкувере, можете присоединиться.

Из Deep Cove до Granite Falls (до конца Indian Arm).

Пример маршрута с фотками.

Возможно уже лосось приплыл и плещется рядом с Indian River, вот и проверим. Можно использовать кану, каяк, падл борд.
❤‍🔥16🐳8
Поделюсь наблюдениями за enterprise-компаниями.

1.Большие и скучные enterprise (Finance, Insurance, Government, Health и т.д.) сидят на Microsoft.

2. У них большие команды, которые умеют эффективно посещать митинги, тренинги и кивать головой, когда старший по званию выступает.

3. На данном этапе эволюции AI у них есть бесплатный Copilot в Microsoft Teams. Правда, он бесполезный для работы. Все другие инструменты заблокированы — на всякий случай, ведь служба безопасности делает свою работу (ради работы).

4. Инфраструктуру поддерживает отдельная команда в IT, которая никому и ни за что не даст доступ. При этом от вас кое-что хотят. У вас будет 3 среды — DEV/TEST/PROD, и каждая среда будет иметь свой целевой бранч: dev/test/main. Также будет процесс релиза — неважно, нужно это или нет.

5. Никто не может сделать ничего. Любое изменение требует множества митингов, а любой косяк будет обсуждаться неделями как критичный и опасный для всей компании. Возможно, поэтому никто не хочет ничего делать, чтобы не накосячить.

И это не единичный случай — это большинство компаний, где мне приходилось работать как контрактору. Тут ещё может наложиться душный микроменеджер-руководитель, который является экспертом по созданию и мониторингу задачек и подзадачек на доске. Ваша эффективность = количеству закрытых (и созданных) задачек.

Во всей этой истории я нашёл единственный workaround — Azure DevOps. Это отдельный сервис, в котором есть Git Repos, Pipelines, Wiki, Board/Tickets. Microsoft позаботился о том, чтобы вы могли подключаться к нему через PAT-токен и SSH-ключ (в репозитории). Таким образом, вы можете смотреть на код, создавать тикеты, писать документацию с помощью своего Claude Code.

Но в целом для любителей классики без AI-агентов это прямо идеальная среда. Соответственно, если вас попросят уйти, то уж извините — ваши навыки Excel и Power BI могут понадобиться разве что такой же enterprise-организации.
💯46🍌12🙈9
Классно, что есть бесплатные ресурсы, где можно посмотреть как использовать AI в работе. Даже если это не best practices, все равно можно узнать что-то новое, увидеть новые инструменты.

Уверен в AI Dev Tools Zoomcamp: AI-Native Software Engineering можно подчерпнуть знания. Я сам не проходил, но знаю Zoomcamps подход - уверен, что есть полезная информация., тем более бесплатно.
❤‍🔥19💯84
Каждый раз когде мне прилетает PR, а прилетает много и часто - у меня в голове играет эта песня - “постой, паровоз....кондуктор нажми на тормоза

Надо бы им перевести🤬
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥122🌚2
Ну и чтобы понять как выглядит средний PR от Product Manager кто еще не знал ни dbt, ни snowflake несколько месяцев назад.

Это еще цветочки))
🌚23🙈17🐳3
Оказывается Claude remote часто заблокирован, поэтому если в рабочий день вам нужно быть на природе, Happy Engineering вам в помощь - удаленный терминал в Claude code.
❤‍🔥6💯1
Если кто есть в Salt Lake City, на родине мормонов, дайте знать, отправляюсь на конференцию.
🍌1
Как ИИ помогает создавать и сопровождать Spark-задачи в облаке ☁️

На вебинаре 27 августа эксперты Cloud․ru расскажут, как автоматизировать работу с Apache Spark с помощью Evolution Managed Spark c ИИ.

В программе:
▶️как Evolution Managed Spark упрощает разработку и сопровождение Spark-задач;

▶️как использовать ИИ-агента для создания, запуска и анализа Spark-приложений;

▶️каким образом работать с данными в Evolution Object Storage без ручной настройки;

▶️где искать причины ошибок и получать рекомендации по их устранению;
▶️как анализировать производительность Spark-задач и находить точки для оптимизации;

▶️как MCP-серверы помогают ИИ-агенту взаимодействовать с managed-сервисами платформы данных Cloud․ru.

А в практической части покажут работу ИИ-агента для создания Spark-задачи и обработку данных в Evolution Object Storage.

Регистрация — по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥3🐳1
В Salt Lake City встретился всего лишь с одним подписчиком - Виктором.

Виктор рассказал, как работал электриком в маленьком городе в Беларуси и уехала в Польшу еще давно.

Электриком там было не устроиться, и с помощью datalearn он получил основы дата профессии стал работать в дата, потом выиграл green card и уже переехал 1,5 года назад в LA. Прокачался немного в Surfalytics и стал работать дата инженером.

Цены в LA высокие (если у вас одна работу на семью), поэтому они решили переехать в SLC, где у нас и состоялся data&drinks на космической конференции🥂
❤‍🔥13218👨‍💻1
AWS купили DuckLabs. Интересно как это отразиться на продукте.

Хотя с другой стороны всем нравится 🦆 , но я никого не знаю, кто их использует серьезно.
❤‍🔥11🤷73😭3
Ещё один success case на Surfalytics.

Звучит всё просто и понятно, но это очень высокий стресс, когда вы теряете работу и у вас нет визы.

Поэтому поддержка сообщества — это важно, ну и в целях экономии времени и максимальной отдачи лучше учить то, что нужно. В данном случае это джентльменский (ну и дамский) набор инструментов: dbt, Snowflake, Airflow, Git, CLI + AI development.

В результате тяжёлой и последовательной работы можно добиться любой цели.

Моя задача — лишь направить в правильную сторону, и уже каждый решает, готов ли он вкалывать.
❤‍🔥5111💯2
Продолжаю список благодарностей - мне сегодня чувак написал СПАСИБО за менторство в 2019 году! Это я почитал нашу переписку в LinkedIn. Я его реферил и в Амазон, и в Майкрософт, но не помогало. Они мне записывал года 3. Я его даже не видел. Он тоже был в списке “мертвых душ” Rock Your Data :)

В итоге живет в Калифорнии, работает в Мете. Вот что значит база хорошая!

PS эх забыл процент от зарплаты взять💰 Но позитивная энергия и искренняя благодарность дает намного больше!📈
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥79🫡1
Сразу 2 документа на похожую тему:
The New SDLC With Vibe Coding by Google
The AI-Native SDLC playbook by Claude

Но чтобы их читать и понимать лучше начать с того, что каждый день использовать агентов в работе (Claude, Cursor и тп)
8💯2😭1
Pollen Robotics выпустили новинку; У робота Mini Reachy (https://t.me/rockyourdata/5899) появился младший собрат Micro Duck, c ногами.
❤‍🔥1
Notion решил записать звонок на русском сегодня. Первую фразу он хорошо уловил - каникулы, дети дома….
🙊26🐳7💯5