Инжиниринг Данных
23.9K subscribers
2.11K photos
61 videos
194 files
3.27K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
ИИ все глубже встраивается в бизнес-аналитику — и это уже не эксперимент, а рабочий инструмент. По данным свежего исследования, каждый пятый корпоративный пользователь обращается к ИИ-агенту (нейроаналитику) за поиском бизнес-инсайтов.

На практике это выглядит так: 73% пользователей просят ИИ писать формулы, а 50% — объяснять графики. Причем не просто «что нарисовано», а с выявлением аномалий и проверкой гипотез на естественном языке. Это качественный сдвиг — BI перестает быть инструментом только для аналитиков и становится доступным бизнесу напрямую.

Активнее всего ИИ в BI используют ИТ (40%), ритейл (25%), финтех (10%), логистика (5%) и медицина (4%). И причина проста — скорость. Например, в ритейле задержка в обнаружении падения маржи всего на несколько дней может стоить десятки миллионов. ИИ сокращает этот лаг до часов, позволяя делать десятки срезов и находить отклонения почти в реальном времени.
🤷‍♀96💯33❤‍🔥2🍌2🦄1
Один из участников подкаста из Кремниевой Долины All - In со сложным именем записал видео - 30 Years of Business Advice in 13 Minutes (from a Billionaire)

Советы простые и многие очевидные, но мы часто о них забываем.

Про жизнь и цели
Не стройте жизнь как список галочек. Погоня за титулами останавливает, как только «добился». Сильнее — ориентир на постоянный рост, риск и правильное окружение. Успех — это процесс, а не финишная черта.

Практические правила
Избегайте долгов — они заставляют бросить обучение и гнаться за быстрыми деньгами. Будьте честны о своей ситуации — с собой и другими. Общайтесь с теми, кто моложе вас: у них другие модели мышления, и они как радар изменений.

Карьера и деньги
Лестница должностей — ловушка. Директор → VP → партнёр → больше equity может превратить вас в карикатуру на самого себя. Оптимизируйте возможности, а не зарплату. Держите запас ходов. И идите туда, где сгусток возможностей: финансы — Нью-Йорк/Лондон, технологии — Кремниевая долина, крипто — Абу-Даби.

Отношения
Партнёр должен прикрывать вас на 100% — и это работает только при радикальной честности. Называйте и успехи, и проблемы вслух.

Про статус
Списки, клубы, приглашения — крючки. Внешняя валидация даёт другим рычаг над вами. Отказ от игры в статус — это суперсила.

Про соцсети
Кураторские ленты — не реальная жизнь. Онлайн-«успех» вводит в заблуждение о том, как «надо» жить.

Главная мысль
Оставайтесь вечным учеником. Молодые слушатели часто отмахиваются от этого — и усваивают через более жёсткий опыт.
❤‍🔥26🙈322
Всем привет, мне нужен дизайнер, чтобы сделать лого, цветовую палитру, ну может еще какую красоту навести придумать, плачу рублями или $.

Можете написать на почту, прислать портфолио + цену dima@playeronespace.com

Спасибо!

PS сегодня пришлось пожертвовать своим Linkedin - https://www.linkedin.com/in/dmitryanoshin/ , ведь так если подумать я там нашел работу только один раз в Dandy (стоматологический стартап, когда мне их дата босс написал) и это были худшие 3 месяца за 10 лет в Канаде и самая высокая зарплата + 1 месяц они подарили, чтобы я сильно не бухтел ☺️
❤‍🔥2
На Surfalytics у нас 2 новых видео и целый модуль:

1. DBT Semantic Layer - Никита рассказал и показал нам что такое dbt semantic layer и для чего он нужен.

Интересный факт, Никиты был первым членом Surfalytics и у него самый высокий доход среди канадских дата инженеров членов нашего тайного общества Club 500.

Вообще-то с учетом инфляции его надо менять в Club миллион 💰.

Я всегда говорю - ваша проактивность коррелирует с вашими доходами. Чем больше отдаешь, тем больше получаешь. Закон вселенной?🛸

2. Data Ingestions Patterns | Part 1 - я начал серию видео для System Design DE по подходу от простому к сложному, где мы загружаем данные из API в базу 10ью разными способами. Пока только 1/4 покрыл, потратил много времени на разговоры про security, infra as a code, evn variables и как сразу делать правильно. Сразу гонял Cursor Agent и Claude и видно насколько Cursor тупее Claude, зато дешевле.

3. Я записал на 95% модуль про Cloud Computing.

Сделать курс дата инженера от начала до конца это прям моя мечта, так что не смотря ни на что, я его доделаю🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤‍🔥7413🫡5
Сегодня в Microsoft Garage увидел классную аркаду. Я ее изучил и решил с детьми такую же построить.

Мы загрузили фотки в Claude Code и попросили его дать нам список частей.

Пока заказали hardware и попробуем все настроить. А дальше с товарищем сделаем корпус.
❤‍🔥333
DataLens внутри вашего продукта: как это сделать? 📊

Аналитика «под капотом» — это стандарт хорошего UX. Если вы хотите внедрить дашборды в свои сервисы, не заставляя пользователей логиниться в сторонних системах, подключайтесь к эфиру Yandex DataLens.

Когда: 15 апреля.

О чем: Встраивание аналитики в ЛК и корпоративные порталы.

Профит: Минимум костылей, безопасный доступ и готовые механики от команды DataLens.
Регистрируйтесь заранее, чтобы не пропустить.
🙈41🌚1
Semantic Layer vs. Text-to-SQL: 2026 Benchmark Update

В статье сравнили dbt Semantic Layer (YML документация о моделях и метриках) и LLM модели.

Очевидно, что LLM будет очень хорошо работать, если у нее будет правильный контекст и semantic layer это как раз и делает. Но и без SL уже модели хорошо сами все находят.

Качественная документация очень ценна и она поможет использовать AI более эффективно.
1❤‍🔥11💯4🙈1
Обожаю ситуации, когда приходит новый консалтинг бутик и начинает учить как надо делать data warehouse.

И что же они предлагают - модернизацию аналитики! В стартапе, где и так все новое и модернизированное=)

• внедрить orchestration tool (Dagster). Почему Dagster? Зачем? Почему понятно - у них есть экспертиза. Внедрение тулов и миграции это круто, особенно с AI.
• добавить CI/CD (куда? Зачем?)
• data governance (почему и для кого?)

То есть любой консалт готов день и ночь писать код (генерить код) и показывать эффективность в PRs, tickets, sprints и тп. Как будто в этом ценность. А для VP ролей это нормально, в их понимании все плохо, бизнес не до получает инсайтов и вот придет консалтинг и все сделает=)

Для надежности они открыли роль на Manager Data Analytics. На мой вопрос, почему менеджер? У нас нет ни одного аналитика, они сказали, что manager это, как бы, experienced senior аналитик.

В общем меня сейчас научат, как надо! А я с вами поделюсь!🏆
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡468😭7🙈6🌚2
О как бывает! Хотя проблема конечно была в том, что быстро бюджет кончился и новых денег не появилось, на новую стратегию и миграцию.

Мы тут не по мелочам размениваться пришли, а строим production ready AI аналитические решения на Big Data, да еще real time streaming.

Они дорогие, требует много времени. И вообще это очень престижно иметь в компании lakehouse и AI агентов!

Собственнику надо было еще подождать месяцев 18, чтобы наверняка оценить результат!
🙈28🌚8💯5
Компании бывают разные - кто-то тихо и усердно работает, а кто-то хайпует, собирает лайки, реакции, раунды инвестиций и растет.

Один из самых крутых стартапов в этой области это Artisan. Они еще давно вешали плакаты в Сан Франциско - “Stop hiring people”.

В этот раз они прям реально отожгли - она наняли на работу Jordan Belfort на позицию VP оf sales. Того самого Волка с Wall Street. И записал крутые рекламы - The Wolf of Wall Street vs. Ava 2.0 | The Sell-Off Возможно он там временно, как первоапрельская шутка.

Они как-то предлагали им написать и рассказать о себе, чтобы устроиться к ним на работу. Вместо резюме я им отправил себя сидящего на крыше гелика с шампанским. Ответа не получил=)
❤‍🔥3🙈22🦄1
Ducklake демо репозиторий https://github.com/jeff-skoldberg-gmds/ducklake-demo

Отличное и простое решение, главное не дорогое.
❤‍🔥23🦄31
Когда нет особых новостей и инноваций, то можно просто переименовывать решения.

Looker Studio переименовывается обратно в Data Studio — возвращение к «любимому и знакомому» названию.

Data Studio становится единым местом для работы с активами Google Data Cloud: отчёты, разговорные агенты BigQuery, приложения из Colab-ноутбуков.

• Data Studio — инструмент для личного исследования данных: быстрые ad-hoc отчёты, визуализация данных из BigQuery, Google Sheets, Google Ads.
• Looker — остаётся корпоративной BI-платформой с управляемой семантической моделью и агентными возможностями.
🤷17❤‍🔥4🐳2👨‍💻1