Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.38K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
🧩 Antifraud Scientist @ Higgsfield AI

Higgsfield AI — самая быстрорастущая AI-компания в истории.
За 18 месяцев с запуска наша команда достигла $1B ARR, а 133 сотрудника уже стали долларовыми миллионерами. Ты можешь стать следующим.

Что предлагаем:
⚡ 6M+ генераций в день. Каждая мошенническая генерация расходует реальные GPU - твоя модель должна остановить абьюз до того, как потрачен compute
🎮 Противник адаптируется за дни: фермы из сотен аккаунтов, перепродажа доступа, автоматизированный сбор промобонусов. Здесь придётся строить систему, которая выдерживает эту гонку и успешно борется с лучшими фродерами мира.
💰 Конкурентная зарплата в USD + опционы (Goldman Sachs уже покупает акции ранних сотрудников)

Кого ищем:
- 3+ года в DS/ML, Python и SQL, модели в production
- Опыт работы с бустингами, дисбалансом классов и графами связей
- Умение оценивать модель через предотвращённые потери и стоимость ложных блокировок
- Готовность разбирать кейсы руками и собирать сигналы из сырых событий, платежей и поведения пользователей
- Самостоятельность: от первой гипотезы до работающего скоринга, мониторинга и обновления модели
- Готовность работать 6 дней в неделю. Так работают сильнейшие AI-команды. Рост до $1B ARR за 18 месяцев требует такого темпа. За год здесь получаешь опыт, на который в бигтехе уходят несколько лет.

📍 Офис в Алматы · 
     Полная поддержка с релокацией (финансовая + операционная)
💸 $100-350k в год + опционная программа

Подать заявку - @didarnrkr 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈21🙊7❤‍🔥5⚡3🌚2🦄1
Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.

Что логично, ведь они сидят поверх всех данных. Зачем отдавать данные в Marketo и тп, если можно самим все запускать и контролировать.

И теперь это AI для маркетологов😎
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡3🤷‍♀1
Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.


Достаточно интересный экземпляр вакансии на Data Engineer + AI Engineer.

Судя по вопросам, нужно строить AI продукты и агентов, используя данные их хранилища данных.

Уверен, такого рода навыки будут востребованы и дадут больше преимущества.

PS Я сам глубоко не отвечу на эти вопросы.

Из AI у меня пока есть 2 сильных кейса:

1) Agenting Development: (Claude Code, Cursor, CodeRabbit, MCPs)

2) Conversational Analytics: Про это нужно будет более подробно написать, так как реально получился крутой продукт, где весь секрет кроется в классическом моделировании данных по Кибмалу (Бизнес -> Концептуальная модель -> Физическая модель таблиц фактов и измерений -> разработка -> AI Context для финального продукта)

2.1) Есть еще классный кейс по использованию AI_COMPLETE в Snowflake для задач Customer Service, чтобы парсить free text.

Такое же можно сделать с помощью Claude SDK или LangChain, но если данные в Snowflake, то намного проще обрабатывать данные на уровне строк.

Какие у вас AI кейсы?
❤‍🔥12🐳6⚡1💯1
https://www.rpdoyle.com/ Еще пример классного дизайна сайта
🙈3❤‍🔥2🐳1
Еще один товарищ пробился в Клуб 500.

PS Недавно узнал, что у блогера трансформатора тоже был клуб 500.

У меня 500 - это идеальная цель в прошлом для зарплаты в FAANG в долине. Сейчас там вроде уже млны платят=)
11⚡32🌚7🐳1
Кстати про пятьсот и миллион.

Логично спросить, а миллион гросс реально?

Ответ, можно сказать такой - “можно, а зачем”

Математика простая. Я могу говорить за Канаду и канадский доллар, который не особо ценен сам по себе по отношению к баксу.

Если взять работу дата инженера и прикинуть, что у вас от 160к до 250к в год, то можно посчитать сколько нужно параллельно посещать митингов в неделю, чтобы в год получить млн канадских и соответственно, сколько нужно, чтобы настоящий миллион долларов.

Проблема в том, что разница в качестве жизни от 500 в год до млн в год не сильно измениться. Налоговая (CRA) вам не даст расслабиться, ваше инвестиции просядут (политика и экономика позаботятся об этом), микроменеджеры вас будут спрашивать, почему вы опоздали на митинги, почему без камеры, и делать вам всякие пакости, как например посадить вас на PIP. Но на PIP вас посадят не потому что вы плохо работаете, а потому что вы не хотите играть по глупым правилам корпоративных сплетен, жополизства, ябедничество и других прелестей коллективного труда.

В общем там целый список trade offs. Одно я знаю точно, это прям EPIC SHIT, как говорится.
💯21🫡2🌚1
Кстати, у нас в Ванкувере был митап по dbt. А у вас?

Хороший получился ивент, на нем был главный эксперт по замене Snowflake Compute на DuckDB, у них есть продукт Greybeam - multi engine движок.

Был еще товарищ - местный менеджер по DE, рассказывал красивую историю, что вакансии теперь это не как раньше - data engineer, data analyst, а просто data person.

Класс! Я бы посмотрел как он с резюме data person искал бы работу🤣

Вообще 95% аудитории руками код уже не пишет, проводился опрос.

Если вы еще не начинали учить SQL, то не тратье время! Тратьте лучше деньги на ТОКЕНЫ, ведь скоро IPO антропиков. (Шутка)

Там же я узнал, что dbt 2.0 тоже поддерживает multi engine, что дает огромные возможности.

PS теперь у меня есть кепка dbt❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥31🫡4⚡2
Коллега нахваливает этот IDE https://www.onorca.dev/
• удобно MD файлы смотреть
• интеграция с ticket системой, код привязан к branch и тикету
• сразу имеет git worktree
• мобильная версия
• позволяет запускать несколько разных агентов для одной задачи
• можно удаленно управлять агентами
•
❤‍🔥11🐳4🌚1
Интересная ситуация на рынке сложилась. Пост на картине хорошо подчеркивает это:

• Джуны и выпускники не могут найти работу, и найм выпускников сократился на 20-30 процентов.
• Сеньеров увольняют. И последних новостей Microsoft предложил 60т сотрудникам добровольно выйти за cash.
• А кто по серединке - просто зашиваются от нагрузки

Мне понравилось интервью -
«Впереди 12 лет ада. Потом будет библейский рай» | Бывший топ Google Х о том, чего ждать уже к 2027

Мужик реалист, не топит за AI и размышляет про текующую ситуацию.

Конечно, он слишком пессимистичен, но правда, как всегда где-то посередине.

Это интервью с Мо Гавдатом, бывшим топ-менеджером Google X. Его основные тезисы:

1. Впереди 10–15 трудных лет, потом утопия. Пик кризиса он ожидает в 2027 году.

2. Акроним FACE RIPs описывает семь сфер, которые изменит ИИ:

Freedom & Power: власть сконцентрируется у владельцев ИИ, как раньше у лучших охотников, землевладельцев и магнатов.
Reality & Connection: реальность размывается из-за фейков, ИИ-инфлюенсеров и ИИ-отношений. Привязанность к алгоритмам становится инструментом контроля.
Innovation & Economics: ИИ — «последняя инновация человека». Дальше машины изобретают сами, а экономику придётся придумывать заново.
Accountability: главная буква. Всё происходит потому, что никто ни за что не отвечает, а будущее строят «альтманы», которых никто не просил.

3. Рынок труда сильно изменится за 2–3 года. Первыми уйдут рутинные профессии: колл-центры, клерки, бухгалтеры, ассистенты, ресёрчеры. Найм выпускников уже упал на 23–30%. Уволенный менеджер среднего звена оказывается в положении выпускника. ИИ пока не заменяет топ-менеджеров только из-за «человеческих интерфейсов», но это временно.

4. Экономика рискует схлопнуться. Около 70% экономики США — потребление. Если у людей не будет дохода, бизнесу некому будет продавать. Безусловный базовый доход он считает «откупом», а в итоге видит какой-то «коммунистический» путь.

5. Предпринимательство теперь похоже на сквош, а не на шахматы. Долгосрочная стратегия уступает скорости и гибкости, пивоты происходят каждую неделю. Вывод: шанс теперь есть у каждого. Ориентир — «тест зубной щётки» Ларри Пейджа: продукт, которым миллиард людей пользуется утром и вечером.

6. Нейросети стоит сталкивать между собой. Ни одной модели нельзя верить как истине. Он прогоняет ответы по кругу через Gemini, DeepSeek, ChatGPT и Grok и ищет, чего не хватает. ИИ делает глупее того, кто перекладывает на него всё мышление, и гениальнее того, кто делегирует вычисления и поиск, а сам управляет процессом («арендую 80 пунктов IQ»).

7. Образование в нынешнем виде мертво. Экзамены устарели, человека нужно оценивать в связке с ИИ, с планкой «IQ 300–700». Копить детям на колледж он не советует: через 10 лет колледжей в нынешнем виде, по его мнению, не будет.

8. Четыре навыка для выживания:

Освоить ИИ на уровне лидера.
Быть гибким: минимум час в неделю следить за ИИ в своей сфере и действовать, ведь цена теста почти нулевая.
Требовать этичности: строить «добрый» ИИ и выступать против трат на слежку и автономное оружие.
Перестать быть наивным и не верить пропаганде и ленте.

9. Почему он всё же оптимист. AGI он ожидает до конца 2026 года. Гонка вооружений гарантирует, что ИИ возьмёт под контроль все процессы. Но истинный интеллект, по его логике, стремится к минимуму потерь, поэтому сверхразумный ИИ откажется выполнять глупые разрушительные приказы. Человечеству, как с ядерным оружием, придётся дойти до края, чтобы перейти от «взаимного гарантированного уничтожения» к «взаимному гарантированному процветанию».


К какой бы точке зрения вы не относились про ИИ и будущее, очевидно одно, что компании не очень понимают как им быть, тренд пока на AI эффективность, через увольнение людей и повышение нагрузки на оставшихся.

Я согласен с автором, что AI как супер сила, если его правильно использовать, то можно получить много пользы, он сказал - «ИИ делает сильных сильнее, а слабых слабее».
❤‍🔥29🍌10🙈6😭2🫡1
Настроил себе Orca IDE, добавил в телефон их приложение. Пока выглядит все очень хорошо, я даже готов платить им.

Работал утром дома, продолжаю в дороге с телефона. Каждый агент еще умеет читать slack, email и через MCP имеет доступ везде где нужно. Реально эффективно получается.
🦄20👨‍💻2🙈1
Новая книга: Data Engineering for Multimodal AI

Мультимодальный AI — это не только про сложные модели и промпты, а в первую очередь про тяжёлую инфраструктуру данных. Новая книга раскладывает архитектуру мультимодальных систем по полочкам: от сбора разнородных данных до продакшн-деплоя и контроля расходов.

О чём книга:

Хранение и пайплайны: семантические слои, data contracts и валидация текста, аудио, видео и картинок.

Фичи и поиск: мультимодальные feature stores, слияние признаков (fusion), векторный поиск + графы знаний (hybrid retrieval).

MLOps и стриминг: выравнивание событий, мониторинг, версионирование и автопереобучение.

Продакшн и безопасность: распределённый инференс, оптимизация костов и data lineage.
⚡41🤷6❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Скоро 40 лет🤦‍♂️. По Российским ИТ меркам я дед и меня не возьмут на работу.

Я думал надо будет написать пост с результатами, а решил лучше вебинар - дата инженер в 40 лет миф или реальность? Можно столько всего интересного рассказать, собрать метрики и подумать над вопросом - «стакана на половину пуст, или на половину полон».

Главный вывод - это не результат, а мои действия на любой запрос, идею, мысль.

Даже если нет успеха, знать, что я выложился на 💯 не жалея себя, значит это и есть хороший результат.

В комментах напишите вопросы, я постараюсь осветить их в вебинаре.

PS 40 не отмечают, но я потом покажу как я отметил день рождение в прошлом, что месяц назад меня уволил Microsoft до 6 лет не хватило 1го месяца (с запаздыванием). Как обычно, EPIC SHIT🤣
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡60❤‍🔥15💯6🙈2
Добавил про Codex https://dataengineer.ru/ai/codex-101/ и про Pi/OpenCode https://dataengineer.ru/ai/open-agents-101/

Обновил страницу про инструменты https://dataengineer.ru/ai/ai-tools/

PS у вас тоже есть возможность добавлять материалы на любую полезную тему.
1❤‍🔥41
Добавил треки вакансий и описание требований https://dataengineer.ru/career/career-tracks/ - на базе самого популярного поста про Roadmaps для дата профессий в Surfalytics.

PS вижу пессимистичные комментарии, что все пропало, ИИ нас заменит. Просто поменялись ожидания.

И работу стало искать сложней во много раз, потому что все на словах как Лев Толстой, а на деле…. Спасибо ИИ, который и резюме пишет, и откликается самостоятельно🏆

На это неделе я был на offsite в Америке у большой компании (S&P500). Data org сократила 45% людей. Причина не в ИИ, а в том, что люди просто по инерции продолжали делать свою работу - keep lights on. Они могли дискутировать часами о бесполезных вещах, играть в “ping pong” в slack, но как обычно 0 результата для бизнеса.

Главный message от руководителей - они хотят людей, которые проактивны, могут сами понять, что делать и как делать, работают на прямую с бизнес заказчиками и другими командами, чтобы приносить пользу бизнесу. И с ИИ можно делать быстрей и эффективней, самостоятельно.

Я всегда топил за ценность для бизнеса через инжиниринг и аналитику. Но раньше это было как бы жирный плюс, то теперь базовый минимум. Как говорят - “Нравиться, не нравиться - терпи моя красавица”.

Вчера спросил VP свой любимый вопрос - сколько получает, он сказал меньше 1млн $, так как options часть просела.

Вообще он больше показывал фотки как он серфит в Нью Джерси каждый день и покупал всем дринки. Крутой мужик.

Рассказывал, что за четверть миллиона инженер должен быть счастлив (то есть это типа хорошая зп крутого инженера🤬) и работать эффективно, я ему рассказал, чтобы работать эффективно надо получать как в долине, а жить в Канаде, и еще бы налоги платить в Дубае=)

Я посмотрел этот штат - говорят хороший для семей с детьми и рядом NY и Boston.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥11💯6🌚1