Мне понравилась статья Zака - The 2025 AI-enabled Data Engineering Roadmap.

По самому названию понятно, о чём идёт речь — как AI будет влиять на инженеров данных. Мне эта тема тоже интересна и близка. На текущий момент использование AI скорее приветствуется: важно понимать, какие есть инструменты, какие бывают сценарии и как можно сделать команду эффективнее. То есть угрозы полной замены инженера пока нет (хотя Цукерберг и другие боссы скажут вам обратное — но они, возможно, пока больше продают, чем предсказывают).

Конечно, всё развивается настолько быстро, что может произойти что угодно. Например, блэкаут — и мы, как испанцы и португальцы недавно, останемся без электричества.

Давайте посмотрим на его инсайты.
Он разделил задачи инженеров на три категории в зависимости от степени угрозы:

🟢 Минимальный риск замещения
🟡 Средний риск замещения
🔴 Высокий риск замещения

📉 Что автоматизирует AI:
🔴 Отладка пайплайнов (on-call) – почти полностью автоматизируется (много ложных алертов от data quality-чеков или out-of-memory, AI отлично справляется)
🟡 Писать SQL и Spark код – уже частично автоматизируется через Cursor, Windsurf и пр., но всё ещё нужен человек для ревью и тестирования
🟡 Документация – шаблоны и черновики пишутся AI, но бизнес-контекст пока вне его зоны компетенций
🟡 Планирование спринтов – AI может помочь с оценкой задач, но согласование и приоритезация — это человеческая коммуникация
🟡 Писать тесты – генерация мок-данных и шаблонов тестов возможна, но продумать edge cases должен инженер
🔴 Ответы на бизнес-вопросы – если модель данных хорошо оформлена и задокументирована, AI может закрыть до 90–95% типовых запросов
🟡 Автоматизированные data quality-чек-листы – AI хорошо пишет базовые проверки (Great Expectations, SQLMesh), но без бизнес-контекста малоценны

📈 Что останется за инженерами:
🟢 Архитектура пайплайнов и фреймворков (Airflow, Spark и др.) – требует глубокого понимания систем, AI пока не справляется
🟢 Концептуальное моделирование данных – нужно много переговоров и знания бизнеса, AI здесь лишь помощник
🟢 Создание best practices и общих процессов – требует согласования, доверия, культуры — не заменяется быстро
🟢 Создание процессов генерации пайплайнов – организационные процессы требуют участия людей, особенно на старте

📐 Ключевые дизайн-паттерны (по убыванию полезности):
🟢 Kimball (факт/измерения)
🟢 OLTP (3NF)
🟢 SCD Type 2
🟢 One Big Table (NoSQL/широкие аналитики)
🟢 Feature Store для ML
🟢 Kappa-архитектура (Apache Flink)
🟡 Микробатчинг/часовые пайплайны

📚 Вывод:
AI не заменит data-инженеров, но изменит их фокус — от ручной работы к концептуальному проектированию и бизнес-интеграции. Чтобы быть востребованным, нужно понимать архитектуру, паттерны и процессы, а не только писать SQL.


В любом случае выбор у вас только один, учиться/развиваться или стагнировать. Для меня все это уже давно напоминает эскалатор в метро. Вы идет наверх, а он едет вниз. Вот только вы остановились, и все, уехали вниз🪦

Алексей Колоков все время что-то придумывает!

Вот в этот раз для своих (и не только) аналитиков, он придумал Crazy Data Quizzzz, потому что от обычных уже все устали. Вы можете собрать команду из 4х человек, встретиться в 16:00, напиться (можно квасом), и к 18:00 уже прийти в полной готовности отвечать на дата вопросы.....Алексей, еще сказал, что для девушек будет автограф сессия🍸


15 мая в клубе анонимных аналитиков пройдет Крейзи Дата Квиз!

Это тематическая вечеринка в формате квиза, адаптированного под аналитиков! Рекомендую всем, кто будет в Москве

Вы можете собрать свою команду (от 4 чел), либо попасть в рандомную (так больше нетворкинга)

Расписание:
18:00 - знакомимся, рассаживаемся по командам
19:00 - старт квиза
20:30 - призы победителям, нетворкинг
21:00 - завершение, афтепати для самых отчаянных

Розыгрыш билета
Напишите в комментарии самый забавный вопрос, который вам задавали на собеседовании. И я рандомайзером выберу счастливчика, который получит билет.

Регистрируйтесь, будет весело!
https://alexkolokolov.com/data-quiz

Про дату пока нет новостей, зато могу рассказать про недвижимость. Вообще эта тема заслуживает отдельного поста на хабр, так как там много всяких нюансов и скрытых расходов.

Если вам интересно как живется в Канаде, то приглашаю ознакомиться с моей garage sale распродажей.

С 2016 по 2020 год мы жили в Виктории, настоящий остров в Тихом Океане, самый южный город Канады. Дом купили за 600к CAD (взяли ипотеку) и он вырос до 1.2 млн CAD, и потом стал снижаться, и уже продается в районе 1млн CAD. Идеальный семейный дом.

Одна из особенностей дома, в них есть basement suite, в котором можно делать свой Airbnb. В сезон окупает ипотеку.

Потом стало понятно, что Виктория это деревня с точки зрения развития детей и там ничего нет. Я перешел в Microsoft из Amazon (хотя тупанул, мог бы остаться в Amazon, так как был remote), они оплатили переезд, и мы купили таун хаус в Port Moody. Очень классное место было, большой гараж, горы за окном, рядом пляж и highway. Купили новый за 1.1 млн CAD (взяли ипотеку). А дом сдали в рент.

Потом нам показалось, что мы далеко от центра, и мы перебрались в Северный Ванкувер за 1.5 млн CAD (взяли ипотеку). Но постройку задержали на 7 месяцев и мы скитались по знакомым и Airbnb. То еще веселье было. Прошлый таун хаус сдали в рент. Новый таун дороже, но размером меньше, и как то в нем стало тесновато. И мы решили его продать за 1.54млн CAD, впринципе за тоже самое, что и купили + комиссия риэлторам.

Недавно в Port Moody тенанты попросили скидку, а я попросил их съехать и мы решили его продать за 1.2 млн CAD.

Сейчас достаточно плохое время продавать, так как кол-во иммигрантов уменьшилось, ставки на ипотеку еще высокие по канадским меркам (4-5%), цены высокие, зарплаты маленькие, да еще Трамп хочет 51 штат. Но сдавать новым жильцам мы тоже не готовы. Ведь дома здесь хрупкие, и потом нужно делать ремонт после выселения. А самое печальное, что законы тут на стороне жильцов. Если вы сдали жилье, у вас нет никаких прав, ваша задача обслуживать жилье, чтобы было пригодное для жильцов. Даже если они перестанут платить, это ваша проблема, но самим их нельзя выгнать. Поэтому, не хочется такого счастья, лучше продать. Провинция все делает, что люди процветали и богатели (шутка). Airbnb кстати почти везде прикрыли.

Кол-во скрытых комиссий, налогов на capital gains, legal fees и другое просто зашкаливает. Расходы на обслуживание недвижимости, налоги на недвижимость и utilities тоже недешево.

Вообще invest property стало main stream в 2020-2021 году, у меня у всех знакомых такая есть, и практически все доплачивают каждый месяц.

В нашем случае, мы не покупали недвижимость как инвестицию, просто оставляли старую, так как разницы не было продать или взять еще одну ипотку, а прошлую недвижимость сдать. И ежегодный рост в 10% очень стимулировал.

Сейчас я понимаю, что если хочется инвестировать в недвижимость желательно выкупить 60-70% от стоимости, тогда у вас будет прибыль на покрытие расходов и будет время найти хороших жильцов.

Если сравнить рост ценных бумаг и недвижимости с 2016 года по сейчас, то окажется, что акции технологических компаний проявили себя лучше.

А если вы читали книгу - The Bitcoin Standard, то еще в 2018 году вы смогли купить bitcoin. Сейчас мы с детьми слушаем эту книгу, в ней очень интересно рассказывают про историю денег, про золотой стандарт и многое другое. Дети размышляют о том, чтобы перевести все свои накопления в bitcoin. Но мы еще слушаем.

PS хотите купить недвижимость в Канаде, всего за 1000$ 500$ я смогу вам рассказать, как чего🤑

Письмо от CEO Fiverr.

"Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.

Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.

Если что, на собеседовании говорите - вы за AI, и благодаря AI вам теперь возможно невозможное и вы безмерно рады, что простые задачки больше не надо делать самому! 🍸

Давненько никто никого не увольнял! Вот хоть Microsoft “порадовал”.

The company reported better-than-expected results and an upbeat quarterly forecast in late April.

Поэтому самое время еще людей уволить, и акции пойдут вверх.

А еще благодаря AI, который помогает людям

We have made huge investments in AI because we are optimistic about what it can do to help people

Кстати интересный факт, все написали про 3% работников, и у кого-то получилось 6000, а у кого-то 7000 сотрудников.

Как в РФ хоть кто-нибудь увольняет массово людей, или пока ждём, когда AI дозреет?🤑

Вопрос для валютных удаленщиков. Недавно я узнавал сколько стоит открыть юр лицо в Дубае.

Цены просто космос:
- Коммерческая лицензия на год 14900AED (4k$ US), а если понлный пакет и резидентской визой будет 26835 AED (7.3k $)
- Корпоративный Банковский счет 12500 (AED 3.4k$ US), Индивидуальный будет 5000 AED.

Мне сказали, чтобы открыть счет в банке, нужна виза. То есть если я хочу быть котрактором с налогом 9% на доход свыше 100к$ US, то надо вот это все.

Я то думал, можно за 500$ открыть фирму удаленно и получать на нее платежи🤪 В Канаде это реально так и стоит.

Upd: говорят в Грузии всего 1% и хачапури вкусные, получается Дубай оставим для sugar daddies😃

Может быть и другие европейские города (стабильные), где можно так удаленно открыть юр лицо?

PS если есть ссылки, лучше их как код шарить

Из интересного - на днях мне чувак написал из Пакистана, он работал два года на удаленке на Европу через deel (виртуальный payroll для контактеров), я от него узнал, что компании сейчас охотней работают напрямую с контракторами через deel и другие похожие площадки. То есть вариант с ДубаЯми неплохой для этого сетапа, для всех резидентов РФ и не только, да еще соглашение о взаимных налогах.

А еще - Fact Sheet: President Donald J. Trump Secures Historic $600 Billion Investment Commitment in Saudi Arabia прям на сайте белого дома. Хотя недавно 600 лярдов хотели в AI, но потом DeepSeek в 100 раз дешевле получил схожий результат и вроде как проехали эту тему.

Вообще корпортавная работа на full time выглядит все менее безопасней (пост выше). Она отлично подходит, чтобы стать экспертом в какой-нибудь области, получить необходимые навыки, но совершенно не гаранитирует никакой job security и имеет ряд других недостатков. Возможно ее приятней иметь как хобби для ностальгии по офисным ништячкам, печенькам и сплетням с коллегами. Мир движутся децантрализованном направлении, и мне кажется, быть глобальным экспертом очень рабочий вариант в будущем.

Fun Fact: пока писал пост, на фоне играли Руки Вверх🙌

Сегодня произошел интересный случай, к которому я был не готов.

Во время 1:1 инженер попросил повышения зарплаты на 25-30%. И уже почти поставил мне ультиматум.

Я передал его просьбу VP, на что он на меня наехал, что это я его надоумил, ведь я сказал, что у него низкая зарплата и негоже инженеру за такие деньги работать. Буквально врастил в нем идею, что у него маленькая зарплата.

Получается такая дилемма. Как руководитель я должен защищать интересы компании, так же как и hr. И стараться сделать так, чтобы люди дальше работали за низкую зарплату и были счастливы, а я должен найти морковку для осла мотивацию, чтобы сотрудники работали и были счастливы. Ведь другие вообще без работы сидят. А как инженер, я хочу защищать интересы инженеров.

Инженеру я тоже сказал, что раз он all-in, то надо чтобы оффер был на руках. А оффера нет, и по Surfalytics я то уж точно знаю как дела на рынке обстоят и сколько месяцев люди работу ищут, поэтому я его расстроил, ведь он даже не начал на собесы ходить.

А как вы просите денег? Или как вы отказываете другим, когда у вас просят повышения?

Пост написал пока на заправке стоял, я там частый гость👉

Spark-митап в Москве 29 мая!

IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!

🟢Когда и где пройдёт?
29 мая в 18:30 в Музее криптографии

🟢Кому Spark Meetup полезен?
🔹инженерам данных и аналитикам данных
🔹программистам со знанием Spark и Scala
🔹всем смежным специальностям из телекома, банков, промышленности и ретейла

🟢Кто будет выступать с докладами?
Эксперты из «Криптонита», Positive Technologies и М2. Программу можно посмотреть тут

🟢Как зарегистрироваться?
Вот по этой ссылке

🟢Будет ли трансляция?
Обязательно будет. Ссылку разместим позже на странице мероприятия — поэтому советуем зарегистрироваться на оффлайн-встречу, даже если вы не сможете прийти. Так вы точно не потеряете ссылку на онлайн

🟢Нужно что-то платить?
Нет, митап бесплатный — ждём всех неравнодушных к программированию на Spark!

Зарегистрироваться

Реклама АО НПК «Криптонит» ИНН 9701115253 Erid:
2VtzqufQAvG

Сегодня прочитала в одном канале интересную мысль. СЕО одной компании (РФ) делился взглядом на сторонние проекты сотрудников.

Если коротко, он написал: личная узнаваемость — это не угроза, а актив. И для компании, и для самого человека. В его команде поощряли сотрудников выступать, делиться опытом. И даже если кто-то после этого находил более интересную работу — он был рад. Потому что это тоже заслуга команды, компании — вырастить сильного, востребованного специалиста.

И мне это близко. И не могу не вспомнить свой пример (читайте - ошибку).

Когда я еще работала HR, то ещё во время пандемии пошла учиться карьерному консалтингу и уже знакомилась с коучингом.

Цели были простые:
— применить знания внутри компании,
— и «на всякий случай». Мало ли что.

Но я так и не начала практиковать.
Почему? Где-то в разговорах промелькнула фраза: «Не хотелось бы, чтобы тебя ассоциировали с брендом компании». Я услышала. И не стала ничего делать. Только опубликовала сертификат — и всё.
По этическим причинам. Из лояльности (и из страха быть «неудобной». Ведь увольняться я не собиралась и к чему эти недопонимания...)

А потом... Прошло больше трёх лет. Переезд. Увольнение. Новая страна. Неизвестное будущее.
И я осталась без привычной опоры в виде моей работы и собственной зарплаты.

И вот тогда — пожалела. Что не начала строить свою практику параллельно с наймом.

Потому что тогда у меня уже была бы хоть какая-то узнаваемость, финансовая подушка, новый опыт в новой роли. Я бы уже успела совершить свои ошибки, нарастить навыки.

А не начинать всё с нуля в новой точке, да и еще в условиях высокой неопреденности.

Поэтому сейчас я точно знаю: личный бренд — это не про тщеславие. Это про выбор. Про свободу. Про устойчивость.

И его масштаб может быть разным. Кому-то комфортно вести блог на 300 подписчиков. Кому-то — выступать на конференциях.

Вопрос не в формате, а в том, чтобы вас видели и знали — как специалиста, как личность, как эксперта.

Потому что если вы не видимы внутри компании — вас будто бы нет. Любое повышение будет идти медленнее, если нужные люди не знают, кто вы и в чём ваша ценность.

Да, кому-то из руководителей может не понравиться, что вы развиваете что-то своё.
Есть риск, что энтузиазм «гореть» корпоративными задачами у вас снизится.
И да — это возможно.

Снимаю с себя белое пальто идеального HR, который будет говорить: «Работайте только на компанию, всё остальное — опасно и неправильно». Нет. Не нужно. Много рисков.

Компания — это не ваша семья. Это партнёрство. Где вы обмениваете своё время, энергию и компетенции на деньги и опыт.
И ваш ресурс, когда вы молоды, горите, полны сил и идей — ограничен. Помните об этом.

Поэтому, что важнее: ваша жизнь — или чей-то комфорт в корпорации?

Некоторым компаниям неудобно, когда вы просите повышения, хотите больше свободы, пробуете новое. Им проще, когда вы молчите и «благодарны за то, что есть». Но это их позиции, ведь цель у бизнеса только одна - зарабатывать.

А ваша цель какая?

📌Если вы хотите расти в доходе, обрести свободу, накопить ценный опыт, чтобы однажды продать себя дороже — вы обязаны использовать все возможности.

Ваш главный актив — это вы.
Ваше время, энергия, навыки.
Не сливайте их в один сценарий, в который не верите на 100%.

Как я говорю своим клиентам: если компании нужно будет вас уволить — она это сделает.

Холодно. Быстро. Рационально. Потому что у неё есть своя цель — сократить расходы, сохранить бизнес, поменять стратегию.

Задайте себе вопросы:
- Что вы хотите от своей работы?
- Какие потребности она должна закрывать — кроме «выжить»?

Пока вы нужны — думайте шире.

Развивайте свой актив (себя). Выступления, проекты, соцсети, обучение — это инвестиции в ваш профессиональный капитал.

И это ваша зона ответственности - развивать свою карьреу с целью Х.