Инжиниринг Данных
23.4K subscribers
1.91K photos
57 videos
190 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
sql-for-data-analysis-cheat-sheet-a4.pdf
140.7 KB
SQL Cheatsheet:

- SQL Basics Cheat Sheet
- SQL for Data Analysis Cheat Sheet
- SQL Window Functions Cheat Sheet
- SQL JOIN Cheat Sheet

Вот если вы не знаете SQL или только начинаете учить, попробуйте просто выучить наизусть несколько примеров, и будет полегче
1❤‍🔥9715
Сегодня был новый релиз Claude - Claude 3.7 Sonnet and Claude Code, фокус у них на написание кода, поэтому использования плагинов для VSCode или Cursor AI явно получит буст.

И заодно термин в копилку - vibe coding - это такой кодинг на чиле. Только это уже не просто “писать код” в расслабленной и уютной атмосфере под любимую музыку, а писать код вместе LLMкой.

Всем вайбовой и продуктивной недели!
🫡116
Заметил, интересную особенность, если вы работаете в компании, которая делает аксессуары для собак, что вы часть “стаи” (pack), если работаете в компании, которая делает облачное решения для фермеров, то вы часть “стада крупнорогатого скота” (herd). Были и другие примеры, я просто забыл.

Это я не придумал, это из wiki, компаний, где мне приходилось бывать. А вы часть чего?
👨‍💻11🙈4❤‍🔥1💯1
This media is not supported in your browser
VIEW IN TELEGRAM
❤‍🔥6
Хорошая книжка 2020 года про технический рекрутинг - The Holloway Guide to Technical Recruiting and Hiring: Align your team to avoid expensive hiring mistakes.

Узнайте, как лучшие команды нанимают инженеров-программистов и заполняют технические вакансии.

Руководство Holloway по техническому найму и рекрутингу — это авторитетное руководство по эффективному развитию команд разработчиков программного обеспечения, написанное для менеджеров по найму, рекрутеров, интервьюеров и кандидатов. В печатное издание включён пожизненный доступ к цифровой версии с дополнительными функциями и будущими обновлениями на
Holloway.com.

Наём сотрудников считается одним из самых больших препятствий для роста компании, согласно мнению большинства CEO. Менеджеры по найму, рекрутеры и интервьюеры сталкиваются с множеством вопросов: как находить кандидатов, как проводить справедливые и эффективные собеседования, и, в конечном счёте, как убедить подходящих специалистов принять предложение. Однако этот процесс часто оказывается затратным, сложным и стрессовым — как для нанимающих, так и для кандидатов.

Этот справочник станет незаменимым источником знаний для всех, кто заинтересован в создании сильных команд разработчиков. В нём собран опыт и знания ведущих специалистов — от старших инженеров и рекрутеров до предпринимателей и менеджеров по найму, которые строили команды как в стартапах, так и в крупных инженерных организациях с тысячами сотрудников.

Главный автор книги, Оззи Осман, ранее возглавлял команды по разработке продуктов в Quora, работал в Google, а также создал и продал собственный стартап. Среди других авторов — Адитья Агарвал, бывший CTO Dropbox; Дженнифер Ким, бывший руководитель отдела диверсификации в Lever; опытные рекрутеры и основатели стартапов Хосе Гуардрадо (основатель Build Talent, бывший сотрудник Y Combinator) и Алин Лернер (CEO
Interviewing.io), а также более десятка других экспертов.

Процесс найма можно организовать так, чтобы он приносил пользу компаниям, сотрудникам и каждому кандидату. С правильной стратегией и практикой команды и кандидаты смогут пройти через этот непростой процесс с уверенностью и пониманием.

Спросите у своего работодателя, может ли он компенсировать покупку этой книги — это одно из самых выгодных вложений в развитие вашей команды.


Книгу я нашел по имени автора Оззи Осман, который создал новую компанию - Monarh Money, у продукта очень много положительных отзывов.

Компания Monarch Money предоставляет современную платформу для управления личными финансами. С её помощью пользователи могут объединить все свои финансовые счета в одном месте, что позволяет отслеживать расходы, оптимизировать бюджет, анализировать инвестиции и планировать финансовые цели. Платформа поддерживает синхронизацию с более чем 13 000 финансовых учреждений, обеспечивая актуальность данных.

Пользователи могут настраивать свои финансовые планы, совместно управлять бюджетом с партнёром и получать персонализированные рекомендации. Monarch Money предлагает мобильное приложение и веб-версию, обеспечивая доступность и удобство использования. Услуга предоставляется по подписке, с возможностью бесплатного пробного периода.


Мне даже присылали приглашение, чтобы я смог лучше трекать личные финансы, но дальше установки аппа не прошел.
9
Когда я работал в Amazon Alexa в 2018–2020 годах, Alexa казалась очень инновационным продуктом в области AI, хотя внутри использовали ML, а точнее NLP (Natural Language Processing). Я был частью исследовательской команды, и в офисе в Кембридже (MA) царила крутая атмосфера. Офис находился напротив кампуса MIT, а буквально через дорогу был Гарвардский университет.

Там же я познакомился с ребятами из Москвы, которые учились на MBA. Я даже всерьез подумывал взять саббатикал на пару лет, переехать с семьёй в Бостон (город красивый, с историей), но в итоге ушел в Microsoft Xbox. А вместо MBA мне подарили книгу The Personal MBA, где говорилось, что MBA, кроме нетворкинга, даёт мало преимуществ. А если это MBA какого-нибудь второсортного университета, то вообще беда.

Возвращаясь к Alexa (в какой-то момент у меня их было пять, и все друзья на Новый год тоже получали Alexa) — после появления ChatGPT она на его фоне выглядела просто таймером с голосовым управлением.

Летом появилась новость про интеграцию Alexa с Claude, но как-то незаметно. Да и два моих последних устройства не блистали в навыках коммуникации.

А вот в последнем демо Amazon представил Alexa+, которая доступна подписчикам Amazon Prime и поддерживает Claude и Amazon Nova.

В общем, наконец-то случилось то, чего я так ждал: Alexa поумнела и теперь может днями напролёт общаться с Yandex Алисой про политику без нашего участия. 😝

Статьи для контекста:
- Introducing Amazon Nova, our new generation of foundation models
- How Amazon rebuilt Alexa with generative AI

PS На картинке Alexa Show 21.
❤‍🔥379🤷2🐳1😈1
Наконец-то на product hunt появилось что-то дельное - IsMyCEOaFraud.com

Хотели ли вы когда-нибудь узнать, является ли кто-то на LinkedIn мошенником? Теперь вы можете это сделать.

Отправьте профиль LinkedIn, и всего за несколько секунд мы разберём аккаунт и скажем, насколько вероятно, что его владелец занимается мошенничеством — по шкале от 0 до 10 SBF.


Берете ссылку вашего CEO или коллегу, и проверяете его!

Вообще согласно статистики 87% стартапов это scam и fraud! 😝 Ну только не спрашивайте fact checking!!!👨‍🦯

Надо мне мой музей писем CEO про увольнения добавить на Product hunt https://www.layoffmemos.com/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥82💯1🍌1😈1
Немного уличной магии в ленту! Хороших выходных!🙌

А то все пишут про LLM, AI, агентов и ботов, а у меня вот про магию уличную!
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈13❤‍🔥103💯3
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤‍🔥27🍾83🐳2
Дата с Димой | Новости из мира BigTech | Эпизод 2

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.

Некоторые из тем:

🔹 Notion вместо Google Slides для презентации выпуска и обмена кодом 📋
🔹 Databricks, Snowflake, DBT 🚀
🔹 AI, Open Source и рынок труда – увольнения, вакансии и новые возможности 🤖💼
🔹 Почему быть кринжовым полезно для карьеры? 😂
🔹 Опыт vs софт-скилы 🧠💬
🔹 Бенчмаркинг TPC-C 📊
🔹 Liquid Partitioning в Databricks 🏗️
🔹 Snowflake и оптимизация затрат 💰☁️
🔹 Стриминг в Spark и его реальные кейсы 📡🔥
🔹 Госорганизации и дата-центры – как западный BigTech работает с государством 🏛️🔐
🔹 Metabase, BI-аналитика и скорость обновлений 📈
🔹 Интеграция OpenAI в Snowflake 🤯
🔹 DBT и Slack – проблемы интеграции и поиск решений 🤷‍♂️
🔹 Data Contracts – зачем они нужны инженерам данных? 📜
🔹 Blue Green Deployment в инжиниринге данных 🟢🔵
🔹 IBM + DataStax – новое объединение гигантов 🏢
🔹 Квантовые компьютеры от Microsoft ⚛️
🔹 Amazon Alexa и агенты – будущее голосового управления 🎙️
🔹 AI для миграции старых технологий 📼➡️🚀
🔹 Поиск работы, вакансии и эквити 💼💵
🔹 LLM и их ограничения – правда о нейросетях 🤖⚠️
🔹 Greenage – новый Open Source проект вместо Greenplum 🌱

Timecode я тоже добавил, ну как добавил:
1) Яндекс браузер умеет давать Summary и временем и описанием
2) Chatgpt пишет timecode для YouTube, и заодно много bullet points

Отличная альтернатива ручного труда.

PS ссылка на rutube

PPS некоторые из ссылок

1. https://assets.amazon.science/24/3b/04b31ef64c83acf98fe3fdca9107/why-tpc-is-not-enough-an-analysis-of-the-amazon-redshift-fleet.pdf
2.
https://select.dev/posts/snowflake-dynamic-tables
3.
https://dataengineeringcentral.substack.com/p/lord-have-mercy-apache-xtable
4.
https://medium.com/glassdoor-engineering/data-quality-at-petabyte-scale-building-trust-in-the-data-lifecycle-7052361307a4
5.
https://vutr.substack.com/p/8-minutes-to-understand-presto
6.
https://wherobots.com/apache-iceberg-and-parquet-now-support-geo/
7.
https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse
8.
https://www.ibm.com/new/announcements/ibm-to-acquire-datastax-helping-clients-bring-the-power-of-unstructured-data-to-enterprise-ai-applications
9.
https://www.anthropic.com/news/claude-3-7-sonnet
10.
https://newsletter.pragmaticengineer.com/p/software-engineering-job-openings
11.
https://www.reddit.com/r/leetcode/comments/1isriaz/how_i_cheated_my_way_into_faang_interviews_and/
12.
https://huggingface.co/learn
13.
https://www.sqlnoir.com/
14.
https://www.notion.so
15.
https://slavlotski.com/all/kniga-osnovy-inzhenerii-dannyh-glava-2-zhiznenny-cikl-data-inzhe/
❤‍🔥549🫡3
Rutube жжет, может новую фичу тестируют 🙈 (рандомный канал под видео)

Ах, тут подсказали - это уличная магия в действии 🪄
🙈57🌚11❤‍🔥2😭2👾1
Claude 3.7, Cursor AI, vibe coding - все это супер, но даже я уже стал попадать в ситуации, когда Cursor начинает шерстить мое репо, менять разные файлы и предлагать изменения по всему проекту. А потом иди ищи, где и чего он наменял, засранец!🦯

Поэтому лучше не разрешать AI менять ваш код, а лишь рассматривать варианты решения и при необходимости копировать.

На картинке кусочек кода Amplitude, вот вам для справки:

Amplitude — это одна из самых популярных платформ продуктовой аналитики, которая помогает компаниям анализировать поведение пользователей внутри цифровых продуктов (мобильных приложений, веб-сайтов, SaaS-платформ и т. д.).

Почему Amplitude так популярен?
1. Глубокий анализ пользовательского поведения
• Позволяет анализировать воронки (funnel analysis), retention (удержание пользователей), потоки пользователей (user flows) и другие важные метрики без необходимости писать SQL.
• Можно отслеживать ключевые продуктовые метрики, такие как активация, конверсия, отток пользователей и влияние различных фич на поведение пользователей.
2. Простота интеграции
• Поддерживает SDK для мобильных (iOS, Android) и веб-приложений.
• Интегрируется с другими инструментами (Google Analytics, Mixpanel, Snowflake, Segment, BigQuery, dbt и т. д.).
3. Мощный сегментный анализ
• Можно легко строить группы пользователей (cohorts) по разным признакам, например, по поведению, географии, источнику трафика и др.
4. Без SQL для аналитиков и продактов
• Доступен удобный UI для построения отчетов без написания кода, что делает инструмент удобным для продакт-менеджеров, маркетологов и аналитиков.
5. Гибкость и масштабируемость
• Хорошо работает с большими объемами данных.
• Позволяет экспортировать сырые данные в Snowflake, BigQuery, S3 и работать с ними на уровне Data Warehouse.
6. A/B тестирование и причинно-следственный анализ
• Amplitude Experiment позволяет проводить эксперименты и анализировать их влияние на поведение пользователей.
7. Облачное хранение и обработка данных
• Все данные хранятся в облаке, а обработка запросов проходит быстро за счет оптимизированной инфраструктуры.
8. Активно используется крупными компаниями
• Клиенты Amplitude: Atlassian, PayPal, Shopify, Twitter, Ford, HubSpot и др.
• Компании используют его для принятия решений, основанных на данных, и улучшения пользовательского опыта.

Чем отличается от других инструментов?
• По сравнению с Google Analytics, Amplitude более ориентирован на анализ поведения пользователей, а не просто на трафик.
• В отличие от Mixpanel, Amplitude предоставляет более мощные возможности по работе с сырыми данными и интеграции с хранилищами данных.

Он такой хороший и классный (по словам продукт менеджеров), что они готовы в него загрузить все данные их хранилища данных (дублировать) и забыть дорогу в BI. 😡

В РФ какой инструмент для этого используется?
Please open Telegram to view this post
VIEW IN TELEGRAM
15❤‍🔥5
Весь Linkedin пестрит 2мя темами, 1ая это про Трампа и какой он красавчик, а вот вторая тема про три уровня компаний, так называемая The Trimodal Nature of Tech Compensation.

То есть все компании можно разделить на 3 уровня по уровню компенсации в США, Европе, Индии. (Да и во всем мире)

Идея простая:
1) есть обычные компании, которые платят мало - tier 1. Получается там лучше вообще не работать 🤷
2) есть BigTech, который платит много (за счет стоков и бонусов) - tier 2
3) А есть еще топчик компании, кто платит как tier 1 + tier 2 вместе взятые, это у нас tier 3.

Мне это было всегда очевидно, я всегда избегал компании tier 1, и конечно мечтал бы работать в tier 3, но и в tier 2 неплохо.

Ссылка https://newsletter.pragmaticengineer.com/p/trimodal


Как бы вы распределили компании по слоям в РФ?

PS это отличная возможность хайпануть и использовать уже имеющие данные от getmatch и замутить такой же график для отечественных компаний ;)
💯326❤‍🔥5🫡2
Forwarded from Data Memes
💯85🙈12🗿4❤‍🔥3🤷‍♀1
Мне понравилась картинка, очень хорошо отражает все изменения в стартапах.

Для трендов данные и их интеграция играют очень важную роль.

Вместо того, чтобы думать - AI нас заменит, лучше думать про то, как бы нам принести пользу, какие пробелы в знаниях у нас есть и как их заполнить.


Вот несколько ресурсов:

Introduction to Generative AI with Snowflake

Generative AI Fundamentals (Databricks)
Guide: Build gen AI apps (Databricks)

Hugging Face - AI Course

Weights & Biases - Gen AI, Agents, LLMs courses

Anthropic courses
Antropic Cookbook

Cursor AI trainings

Deeplearning AI courses

Полезные Видео:

Deep Dive into LLMs like ChatGPT by
Andrej Karpathy


How I use LLMs by Andrej Karpathy

Building Agents with Model Context Protocol - Full Workshop with Mahesh Murag of Anthropic

Задача не стать AI или МL инженером, а разобраться в терминологии и use cases, и найти точки соприкосновения.
2❤‍🔥50🫡7💯4🐳1🙈1
Forwarded from e/acc
Антропик утверждает, что в 2026 появятся модели, которые

— превосходят Нобелевских лауреатов в большинстве областей
— умеют пользоваться всеми человеческими интерфейсами
— могут работать и думать неделями
— могут взаимодействовать с реальными миром через роботов.

Самое смешное, что в мире есть еще люди, которые считают что это не гарантированно и «авось пронесет».

Я не вижу ни одного сценария (технического, политического, бизнесового), в котором этого бы не произошло в течении 2 лет. Nothing stops this train.

Другой вопрос: как подготовиться и что делать дальше, особенно с такими штуками как координация людей (экономика, финансы, право, политика)? Есть любопытные идеи.
🫡31👾12🤷‍♂7🗿7🙊3
This media is not supported in your browser
VIEW IN TELEGRAM
🍾44💯11💘9