Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀

🏆 Авито — лучший работодатель для аналитиков!

По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков!

📊 В исследовании приняли участие 1293 аналитика разных уровней — от Junior-специалистов до руководителей.
Более 35% респондентов выбрали Авито как лучшего работодателя. Помимо этого, 69% специалистов отметили рост зарплат в 2024 году, а 46% стали более лояльны к текущему работодателю.

🚀 В Авито все решения принимаются с опорой на данные, поэтому аналитики есть в каждой продуктовой и бизнес-команде. Чтобы пользователи продолжали выбирать Авито, наши аналитики:

➡️ каждый день собирают 8 млрд новых событий и тестируют гипотезы,

➡️ создают системы метрик, аналитические фреймворки и математические модели,

➡️ проводят статистические исследования,

➡️ изучают поведение пользователей и находят причины в его изменениях,

➡️ настраивают отчетность,

➡️ выступают на конференциях, проводят митапы, пишут статьи на Хабре и многое другое.

С результатами исследования NEWHR можно ознакомиться по ссылке.

Ребята не принебрегайтей GitHub! Пусть у вас будет такой же зелененький календарь в профайле, как в этой душевой!

PS Git сложен: легко всё про@бать, и нереально понять как исправить. Документация Git - это финиш: чтобы найти решение, тебе заранее надо знать название фишки, которая вернет всё на место.

Поэтому вам в помощь - @баный Git!!!

Сейчас с помощью AI хороший инженер может стать в пять раз продуктивнее, даже просто экономя время на написании YAML-файлов, создании прототипов, поиске ошибок, быстром погружении в незнакомые стеки и изучении новых языков программирования.

Я и сам вижу в этом множество преимуществ. Но есть нюанс. У меня и других опытных инженеров за плечами годы практики: мы самостоятельно изучали исходный код, искали примеры на StackOverflow, проходили десятки уроков и туториалов, набивали шишки, погружаясь в основы. И именно благодаря этому багажу сейчас мы можем эффективно использовать AI и становиться продуктивнее.

А что делать новичкам? Если они будут погружаться в основы таким же долгим и трудоёмким способом, то на короткой дистанции они окажутся непродуктивными и не будут оправдывать ожиданий работодателей.

Поэтому начинающие специалисты всё чаще обращаются к ChatGPT и аналогам, быстро находя готовые решения, но не понимая при этом их сути. В долгосрочной перспективе это лишает их возможности стать действительно хорошими инженерами. То есть, опытные инженеры станут еще лучше и востребованной, а новичкам будет еще сложной пробиться.

Получается парадокс: с одной стороны, нам говорят (и даже продают идею), что AI заменит нас, а с другой — именно AI нередко лишает нас возможности самостоятельно думать, разбираться и глубоко понимать предметную область.

Какие у вас мысли поводу молодежи и “войти в айти”?

И есть еще одна статья - «Техно-фашизм приходит в Америку» из The New Yorker

1. Слияние технологий и государственной власти: В статье обсуждается объединение лидеров Кремниевой долины, таких как Илон Маск, с правительством США, что напоминает исторические примеры техно-фашизма, где технократы занимают влиятельные позиции в государстве.​

2. Инициатива DOGE: Илон Маск возглавляет программу «Digital Operations Governance and Efficiency» (DOGE), направленную на использование искусственного интеллекта для оптимизации государственных функций, что приводит к значительным сокращениям и деперсонализации бюрократической структуры.​

3. Исторические параллели: Автор проводит аналогии с предыдущими случаями, когда американские корпорации сотрудничали с государством, например, «Фордизм» Генри Форда и сотрудничество IBM с нацистской Германией, подчеркивая текущую тенденцию глубокого проникновения лидеров Кремниевой долины в государственные процессы.

4. Идеология техно-акселерационизма: Отмечается, что такие фигуры, как Илон Маск, стремятся быстро разрушить существующие структуры для создания технократического общества, что вызывает опасения относительно возможного ослабления демократических норм и усиления авторитарных тенденций.​

Интересно как сложится, будет ли у Америки новый CEO-Monarch вместо призидента, или люди себе надумали.

Наверно сейчас хорошее время покупать акции Теслы, пока они 50% down, даже если это был пузырь, то он еще отрастет за следующие несколько лет?

🔎 За какими дэшами следят в Amazon?

С Димой (@rockyourdata) написали статью про Amazon Weekly Business Review. Идея в том, чтобы смотреть несколько основных метрик сразу на одном листе понедельно, помесячно, а также MTD, QTD, YTD (период от начала месяца/квартала/года до текущей даты).

Дима проработал в Амазоне больше 5 лет и для меня эта схема с WBR была новая. Очень интересно посмотреть, как крупные компании следят за метриками. Ну а я подробно расписала, как собрать такой мини-wbr дэшборд в Tableau (прям шаг за шагом супер детально и доступно для скачивания).

Очень рекомендуют видео - Stanford CS229 I Machine Learning I Building Large Language Models (LLMs)

00:10 Building Large Language Models overview
02:21 Focus on data evaluation and systems in industry over architecture
06:25 Auto regressive language models predict the next word in a sentence.
08:26 Tokenizing text is crucial for language models
12:38 Training a large language model involves using a large corpus of text.
14:49 Tokenization process considerations
18:40 Tokenization improvement in GPT 4 for code understanding
20:31 Perplexity measures model hesitation between tokens
24:18 Comparing outputs and model prompting
26:15 Evaluation of language models can yield different results
30:15 Challenges in training large language models
32:06 Challenges in building large language models
35:57 Collecting real-world data is crucial for large language models
37:53 Challenges in building large language models
41:38 Scaling laws predict performance improvement with more data and larger models
43:33 Relationship between data, parameters, and compute
47:21 Importance of scaling laws in model performance
49:12 Quality of data matters more than architecture and losses in scaling laws
52:54 Inference for large language models is very expensive
54:54 Training large language models is costly
59:12 Post training aligns language models for AI assistant use
1:01:05 Supervised fine-tuning for large language models
1:04:50 Leveraging large language models for data generation and synthesis
1:06:49 Balancing data generation and human input for effective learning
1:10:23 Limitations of human abilities in generating large language models
1:12:12 Training language models to maximize human preference instead of cloning human behaviors.
1:16:06 Training reward model using softmax logits for human preferences.
1:18:02 Modeling optimization and challenges in large language models (LLMs)
1:21:49 Reinforcement learning models and potential benefits
1:23:44 Challenges with using humans for data annotation
1:27:21 LLMs are cost-effective and have better agreement with humans than humans themselves
1:29:12 Perplexity is not calibrated for large language models
1:33:00 Variance in performance of GPT-4 based on prompt specificity
1:34:51 Pre-training data plays a vital role in model initialization
1:38:32 Utilize GPUs efficiently with matrix multiplication
1:40:21 Utilizing 16 bits for faster training in deep learning
1:44:08 Building Large Language Models from scratch

Недавно наткнулся на классный материал про Growth Engineering — направление, которое активно развивается в крупных компаниях вроде Meta, Airbnb и Dropbox.

Кто такой Growth Engineer🚀? По сути — инженер, который пишет код не просто ради фич, а для прямого увеличения прибыли компании. Его основная задача — запускать эксперименты и проверять гипотезы: например, как изменения интерфейса, уведомлений или даже формата подписки могут повлиять на конверсию и удержание пользователей.

Growth Engineers мыслят не категориями «как это построить идеально», а «как быстро проверить идею и понять, принесет ли это деньги». Они не боятся двигаться быстро, иногда даже обходя долгосрочные решения и тесты, лишь бы понять, есть ли смысл вкладывать ресурсы в проект.

Направление появилось в Facebook в 2007 году благодаря Чамату Палихапитии (сейчас ведет подкаст All-In про экономику, tech, стартапы), который предложил формировать отдельную команду для быстрого роста бизнеса через эксперименты.

Звучит здорово, и, честно говоря, в чём-то это даже ближе к реальному бизнесу и стартап-культуре, чем стандартная продуктовая разработка с её долгими циклами.

А вы сталкивались с Growth Engineering в работе?

Очень интересный выпуск подкаста «Деньги любят техно» о Data Science и AI с Константином Воронцовым — стоит смотреть всем, кто хочет развиваться в сфере AI.

Константин Воронцов — доктор физико-математических наук, профессор РАН, МГУ, заведующий лабораторией «Машинное обучение и семантический анализ» Института Искусственного интеллекта МГУ. Под его руководством множество молодых специалистов построили свою карьеру в науке, часть из них выбрали развитие в компаниях и работают в самых известных бигтехах. Как раз о выборе направления карьерного пути, важности фундаментального образования и необходимости широкого кругозора рассказал в подкасте Константин Вячеславович. Ну и конечно, об ИИ — понимании его сути, его роли, его будущего. Ведущий подкаста Денис Суржко задал очень правильные, глубокие вопросы, приправил разговор китайскими мудростями и угостил гостя чаем.

Интересно смотреть, но есть и аудиоверсия для тех, кто любит слушать.

Список сайтов для поиска удаленной работы:

1. SimplyHired (simplyhired.com)
2. Jobspresso (jobspresso.co)
3. Stack Overflow Jobs (stackoverflow.com)
4. Outsourcely (outsourcely.com)
5. Toptal (toptal.com)
6. Skip The Drive (skipthechive.com)
7. NoDesk (nodesk.co)
8. RemoteHabits (remotehabits.com)
9. Remotive (remotive.com)
10. Remote4Me (remote4me.com)
11. Pangian (pangian.com)
12. Remotees (remotees.com)
13. Europe Remotely (europeremotely.com)
14. FlexJobs (flexjobs.com)
15. Remote.co (remote.co)
16. We Work Remotely (weworkremotely.com)
17. RemoteOK (remoteok.com)
18. AngelList (angel.co)
19. Linkedin (linkedin.com)
20. Outsourcely (outsourcely.com)
21. Freelancer (freelancer.com)
22. Working Nomads (workingnomads.com)
23. Virtual Vocations (virtualvocations.com)
24. Wellfound (https://wellfound.com)
25.Remote freelance (remotefreelance.com)
26. Jobspresso (jobspresso.co)
27. SimplyHired (simplyhired.com)
28. Welcome to the jungle (https://app.welcometothejungle.com/)

А какие у вас любимые и полезные?

Не так давно был пост про Trisigma — платформу для автоматизации A/B-тестирования и аналитики от команды Авито. Сейчас будет полезная инфо для тех, кто хочет понять как она работает.

Команда платформы собрала подробную статью о функционале, интерфейсе и возможностях платформы, изучить можно тут.

То, что удивило: самостоятельная разработка аналога Trisigma обойдется средней компании в несколько десятков миллионов рублей и в 2 года работы!🤯

Продолжаю серию постов про ожидания от высшего руководства для управления командой аналитики в Северной Америке.

Я уже рассказывал, что общаюсь про позицию VP Analytics & DE в американскую компания, в компании всего 700 сотрудников и их gross revenue 150mln в год. Компания используют данные и аналитику как часть своего портфеля продуктов. (А кто сейчас не использует?😃)

Я уже общался с CTO, и следующий этап был с их подрядчиком. С ними работают небольшое агентство из Сиэтла, которое фокусирует на AI (А кто сейчас не фокусируется на AI?😃). Они попросили основателя провести собеседование, и мне очень понравился его framework.

Сам мужик оказался очень крутым по общению, а потом я посмотрел на его профиль:
2000-2011 - Director BigData&Analytics, Microsoft
2011-2016 - основатель консалтинг компании, которую купил Ernst&Young
2016-2019 - Partner, Analytics & AI, EY
2019-2022 - General Manager, Product Management & AI, Amazon

И сейчас он строит новую компанию, чтобы тоже ее продать, но уже с AI.

У нас с ним оказалось много общего, вместе работали в Amazon и Microsoft, вместе создавали консалтинг компанию. Есть конечно и различия, но в детали я не буду углубляться😉

Я использовал Limitless, чтобы записать наш разговор и потом попросил ChatGPT его структурировать и перевести на русский, получилось достойно:

1. Technical Leadership (Техническое лидерство):

Вопрос: Расскажи о случае, когда ты проектировал data platform с нуля до конца. Какие ключевые факторы ты учитывал при принятии решений?

Твой ответ: Ты рассказал об опыте миграции классического data lake из Amazon в современную Lakehouse архитектуру. В Microsoft (Xbox) перед тобой стоял выбор между нативными решениями Azure (Synapse, HDInsight) и Databricks. Ты выбрал Databricks из-за возможностей Delta Lake (например, соблюдение GDPR и поддержка ACID транзакций). Ты провёл детальный POC и убедительно показал его преимущества руководству, избежав принудительного перехода на Synapse. Благодаря этому удалось обеспечить elastic scalability и сократить задержку аналитики с 24 часов до 1 часа. Ты повысил стабильность пайплайнов, внедрив подход Infrastructure as Code, и эффективно справился с нагрузкой в пиковые периоды запуска игр, используя тестовые данные (mock data).

2. Data Governance (Управление данными):

Вопрос: Какова твоя философия в области data governance и какие конкретные шаги ты предпринял для её реализации?

Твой ответ: Твоя философия заключается в том, чтобы связывать инициативы по data governance с бизнес-целями компании. Ты начинаешь с простых и практичных решений (документация, удобный поиск данных, создание data catalog) и оцениваешь зрелость компании через опросы пользователей. Ты ставишь во главу угла коммуникацию, доверие к данным (trustworthiness) и удобство их использования. Также ты упомянул, что использовал специализированные порталы и решения для **data observability (например, Monte Carlo) для отслеживания качества и документации данных.

3. Analytics & Data Science Enablement (Поддержка аналитики и Data Science):

Вопрос: Как ты поддерживаешь команды аналитиков и data scientists, чтобы их потребности не перегружали ресурсы твоей команды по data engineering?

Твой ответ:
Ты всегда чётко расставляешь приоритеты и прозрачно коммуницируешь о возможных конфликтующих задачах. Ты внедряешь общие frameworks (DBT, Snowflake, Airflow), избегаешь подходов «чёрного ящика» (black-box pipelines) и обучаешь команды правильным практикам. В недавнем проекте ты улучшил производительность пайплайнов ML-команды, разбив их на простые и прозрачные модели (DBT models), сократив время выполнения с нескольких часов до нескольких минут. Ты предложил стандартизировать подходы (frameworks), чтобы инженеры могли легче помогать и диагностировать проблемы пайплайнов аналитиков.

Отдельно ты упомянул контроль ресурсов (например, стоимости в Snowflake) путём установки ограничений на запросы (timeouts, размеры warehouses), еженедельного обзора расходов и предварительного обучения новых пользователей, чтобы избежать перерасходов.

4. Working with Business Leaders (Работа с бизнес-лидерами):

Вопрос: Как ты общаешься с нетехническими руководителями и топ-менеджментом?

Твой ответ: Ты подчёркиваешь важность согласования целей твоей команды с конкретными измеримыми бизнес-целями компании (снижение затрат, рост доходов, повышение операционной эффективности). Ты избегаешь технических терминов, предпочитая простые и понятные показатели, через которые ясно показываешь руководству ценность и результаты работы твоей команды.

5. Managing Diverse Technical Talent (Работа с разными уровнями сотрудников):

Вопрос: Как ты управляешь командой, в которой есть люди с разными уровнями опыта и знаний, особенно когда кто-то давно работает и не хочет менять технологии?

Твой ответ: Ты активно поддерживаешь технические знания, постоянно следишь за новинками в отрасли и лично вовлекаешься в технические детали проектов. Ты стараешься понять личную мотивацию каждого сотрудника, терпеливо помогаешь людям осваивать современные технологии (например, переход от SQL Server к Snowflake) и стараешься показать это как возможность развития, а не вынужденное изменение.