Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
https://www.rpdoyle.com/ Еще пример классного дизайна сайта
🙈3❤‍🔥2🐳1
Еще один товарищ пробился в Клуб 500.

PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.

У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=)
11⚡32🌚7🐳1
Кстати про пятьсот и миллион.

Логично спросить, а миллион гросс реально?

Ответ, можно сказать такой - “можно, а зачем”

Математика простая. Я могу говорить за Канаду и канадский доллар, который не особо ценен сам по себе по отношению к баксу.

Если взять работу дата инженера и прикинуть, что у вас от 160к до 250к в год, то можно посчитать сколько нужно параллельно посещать митингов в неделю, чтобы в год получить млн канадских и соответственно, сколько нужно, чтобы настоящий миллион долларов.

Проблема в том, что разница в качестве жизни от 500 в год до млн в год не сильно измениться. Налоговая (CRA) вам не даст расслабиться, ваше инвестиции просядут (политика и экономика позаботятся об этом), микроменеджеры вас будут спрашивать, почему вы опоздали на митинги, почему без камеры, и делать вам всякие пакости, как например посадить вас на PIP. Но на PIP вас посадят не потому что вы плохо работаете, а потому что вы не хотите играть по глупым правилам корпоративных сплетен, жополизства, ябедничество и других прелестей коллективного труда.

В общем там целый список trade offs. Одно я знаю точно, это прям EPIC SHIT, как говорится.
💯21🫡2🌚1
Кстати, у нас в Ванкувере был митап по dbt. А у вас?

Хороший получился ивент, на нем был главный эксперт по замене Snowflake Compute на DuckDB, у них есть продукт Greybeam - multi engine движок.

Был еще товарищ - местный менеджер по DE, рассказывал красивую историю, что вакансии теперь это не как раньше - data engineer, data analyst, а просто data person.

Класс! Я бы посмотрел как он с резюме data person искал бы работу🤣

Вообще 95% аудитории руками код уже не пишет, проводился опрос.

Если вы еще не начинали учить SQL, то не тратье время! Тратьте лучше деньги на ТОКЕНЫ, ведь скоро IPO антропиков. (Шутка)

Там же я узнал, что dbt 2.0 тоже поддерживает multi engine, что дает огромные возможности.

PS теперь у меня есть кепка dbt❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥31🫡4⚡2
Коллега нахваливает этот IDE https://www.onorca.dev/
• удобно MD файлы смотреть
• интеграция с ticket системой, код привязан к branch и тикету
• сразу имеет git worktree
• мобильная версия
• позволяет запускать несколько разных агентов для одной задачи
• можно удаленно управлять агентами
•
❤‍🔥11🐳4🌚1
Интересная ситуация на рынке сложилась. Пост на картине хорошо подчеркивает это:

• Джуны и выпускники не могут найти работу, и найм выпускников сократился на 20-30 процентов.
• Сеньеров увольняют. И последних новостей Microsoft предложил 60т сотрудникам добровольно выйти за cash.
• А кто по серединке - просто зашиваются от нагрузки

Мне понравилось интервью -
«Впереди 12 лет ада. Потом будет библейский рай» | Бывший топ Google Х о том, чего ждать уже к 2027

Мужик реалист, не топит за AI и размышляет про текующую ситуацию.

Конечно, он слишком пессимистичен, но правда, как всегда где-то посередине.

Это интервью с Мо Гавдатом, бывшим топ-менеджером Google X. Его основные тезисы:

1. Впереди 10–15 трудных лет, потом утопия. Пик кризиса он ожидает в 2027 году.

2. Акроним FACE RIPs описывает семь сфер, которые изменит ИИ:

Freedom & Power: власть сконцентрируется у владельцев ИИ, как раньше у лучших охотников, землевладельцев и магнатов.
Reality & Connection: реальность размывается из-за фейков, ИИ-инфлюенсеров и ИИ-отношений. Привязанность к алгоритмам становится инструментом контроля.
Innovation & Economics: ИИ — «последняя инновация человека». Дальше машины изобретают сами, а экономику придётся придумывать заново.
Accountability: главная буква. Всё происходит потому, что никто ни за что не отвечает, а будущее строят «альтманы», которых никто не просил.

3. Рынок труда сильно изменится за 2–3 года. Первыми уйдут рутинные профессии: колл-центры, клерки, бухгалтеры, ассистенты, ресёрчеры. Найм выпускников уже упал на 23–30%. Уволенный менеджер среднего звена оказывается в положении выпускника. ИИ пока не заменяет топ-менеджеров только из-за «человеческих интерфейсов», но это временно.

4. Экономика рискует схлопнуться. Около 70% экономики США — потребление. Если у людей не будет дохода, бизнесу некому будет продавать. Безусловный базовый доход он считает «откупом», а в итоге видит какой-то «коммунистический» путь.

5. Предпринимательство теперь похоже на сквош, а не на шахматы. Долгосрочная стратегия уступает скорости и гибкости, пивоты происходят каждую неделю. Вывод: шанс теперь есть у каждого. Ориентир — «тест зубной щётки» Ларри Пейджа: продукт, которым миллиард людей пользуется утром и вечером.

6. Нейросети стоит сталкивать между собой. Ни одной модели нельзя верить как истине. Он прогоняет ответы по кругу через Gemini, DeepSeek, ChatGPT и Grok и ищет, чего не хватает. ИИ делает глупее того, кто перекладывает на него всё мышление, и гениальнее того, кто делегирует вычисления и поиск, а сам управляет процессом («арендую 80 пунктов IQ»).

7. Образование в нынешнем виде мертво. Экзамены устарели, человека нужно оценивать в связке с ИИ, с планкой «IQ 300–700». Копить детям на колледж он не советует: через 10 лет колледжей в нынешнем виде, по его мнению, не будет.

8. Четыре навыка для выживания:

Освоить ИИ на уровне лидера.
Быть гибким: минимум час в неделю следить за ИИ в своей сфере и действовать, ведь цена теста почти нулевая.
Требовать этичности: строить «добрый» ИИ и выступать против трат на слежку и автономное оружие.
Перестать быть наивным и не верить пропаганде и ленте.

9. Почему он всё же оптимист. AGI он ожидает до конца 2026 года. Гонка вооружений гарантирует, что ИИ возьмёт под контроль все процессы. Но истинный интеллект, по его логике, стремится к минимуму потерь, поэтому сверхразумный ИИ откажется выполнять глупые разрушительные приказы. Человечеству, как с ядерным оружием, придётся дойти до края, чтобы перейти от «взаимного гарантированного уничтожения» к «взаимному гарантированному процветанию».


К какой бы точке зрения вы не относились про ИИ и будущее, очевидно одно, что компании не очень понимают как им быть, тренд пока на AI эффективность, через увольнение людей и повышение нагрузки на оставшихся.

Я согласен с автором, что AI как супер сила, если его правильно использовать, то можно получить много пользы, он сказал - «ИИ делает сильных сильнее, а слабых слабее».
❤‍🔥28🍌10🙈6😭2🫡1
Настроил себе Orca IDE, добавил в телефон их приложение. Пока выглядит все очень хорошо, я даже готов платить им.

Работал утром дома, продолжаю в дороге с телефона. Каждый агент еще умеет читать slack, email и через MCP имеет доступ везде где нужно. Реально эффективно получается.
🦄20👨‍💻2🙈1
Новая книга: Data Engineering for Multimodal AI

Мультимодальный AI — это не только про сложные модели и промпты, а в первую очередь про тяжёлую инфраструктуру данных. Новая книга раскладывает архитектуру мультимодальных систем по полочкам: от сбора разнородных данных до продакшн-деплоя и контроля расходов.

О чём книга:

Хранение и пайплайны: семантические слои, data contracts и валидация текста, аудио, видео и картинок.

Фичи и поиск: мультимодальные feature stores, слияние признаков (fusion), векторный поиск + графы знаний (hybrid retrieval).

MLOps и стриминг: выравнивание событий, мониторинг, версионирование и автопереобучение.

Продакшн и безопасность: распределённый инференс, оптимизация костов и data lineage.
⚡40🤷6❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Скоро 40 лет🤦‍♂️. По Российским ИТ меркам я дед и меня не возьмут на работу.

Я думал надо будет написать пост с результатами, а решил лучше вебинар - дата инженер в 40 лет миф или реальность? Можно столько всего интересного рассказать, собрать метрики и подумать над вопросом - «стакана на половину пуст, или на половину полон».

Главный вывод - это не результат, а мои действия на любой запрос, идею, мысль.

Даже если нет успеха, знать, что я выложился на 💯 не жалея себя, значит это и есть хороший результат.

В комментах напишите вопросы, я постараюсь осветить их в вебинаре.

PS 40 не отмечают, но я потом покажу как я отметил день рождение в прошлом, что месяц назад меня уволил Microsoft до 6 лет не хватило 1го месяца (с запаздыванием). Как обычно, EPIC SHIT🤣
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡56❤‍🔥12💯3🙈2