Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Из внутренней рассылки - большой список on-demand вебинаров по AWS, выложил табличку сюда, можно найти на любую тему.
❤‍🔥23👨‍💻64
Личный бренд это важно! Никогда не поздно начать его развивать.
💯29❤‍🔥1
Forwarded from На продуктовых щщах
Я вот спрашивала у вас как-то про слово "нетворкинг". Сейчас будет кое-что похуже - "личный бренд".

15 декабря вела я дискуссию в Доме культур с разными именитыми медиа-чуваками, и задавала примерно такие вопросы:
- Если строишь личный бренд, то когда работать?
- Как научиться хвалить себя, если у рожденных в СССР так не принято?
- Как сделать так, чтобы каждое утро в почте было 20 приглашений на интервью, и как правильно на них не ходить?
- Как выставить ценник в 187к рублей в час за выступление? (это реальный прайс одного очень известного продакта)
- В чем разница между "фейсбучным пизд*болом" и "известным профессионалом"?
- Рассказывать про успешный успех, или все-таки можно честно хотя бы иногда?
- Хейтерс гонна хейт - или что делать с тем, что нельзя нравиться всем сразу?

Записи нет. Кто пришёл, тот молодец. Ещё были вкусные сырники (говорят, что лучшие в Москве, но на мой вкус 8/10).
Но есть целая статья на VC с ключевыми мыслями.

Вы спросите наверное, это же продуктовый телеграм-канал, Юля, какого хрена?
А это потому что я делаю сейчас продукт, в котором это всё важно. А вот такие мероприятия это называется прогрев аудитории и запуск закрытой беты.

а вот статья https://vc.ru/social/967853-poslednego-vagona-ne-sushchestvuet-lichnyy-i-professionalnyy-brend-v-socialnyh-setyah?comments
она правда не такая задорная как мой тизер, но зато по делу.
🗿165❤‍🔥2🌭2
Где-то 2 года назад я написал этот док для своей команды, когда мы собеседовании инженеров данных, команда выросла с 2 до 30 человек за 2 года, включая DE, AE, Marketing/Product Analyst. Я использовал это framework для DE/AE. https://almond-rule-130.notion.site/Interviews-6182a38503224359b8f839022e2b8f9e и конечно же вдохновился подходом Амазона, где за 5 лет я провел очень много собеседований. И конечно я был очень bias к “происхождения” кандидата🤸

Накидайте классных ресурсов по собеседования, hiring, и другим полезным вещам в комментарии.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥22🌭4
В декабре VK провел стрим - Новогодняя Елка VK Cloud, на котором рассказали про самые значимые проекты 2023 года и один из них про пеликанов. Роман Аношин (научный эксперт) и Владимира Валеева (эксперт по компьютерному зрению и технический лидер проекта) рассказали про проект.

Владимир также написал, что было сделано с сентября 2023:

Было собрано больше данных (конец лета 2023)
Данные систематизированы и размещены на VK Cloud S3 object storage
Репозиторий (больше обновлений после сбора новых данных):
- Модернизирован сервис разметки данных CVAT – теперь разметка синхронизируется с репозиторием на GitHub https://github.com/Shining-Future/project-p-annotations
- Предыдущая модель YOLOv5 обернута в nuclio serverless модуль для полуавтоматической разметки в CVAT https://github.com/Shining-Future/project-p-serverless
- Телеграм-бот https://github.com/Shining-Future/project-p-telegram и инференс-модуль для него https://github.com/Shining-Future/project-p-inference (это где-то лето 2023, но кажется, что ссылки на них нигде еще не фигурировали)
Пайплайн для обучения на облаке – три этапа: загрузка данных, формирование датасета, обучение модели (репозиторий пока приватный по техническим причинам, работаю над оформлением ноутбуков)
Эксперименты с YOLOv7 и доменной адаптацией, переход от скользящего окна к инференсу на полном кадре (разрешение 4К, результаты пока также не успел оформить)
Формирование сообщества вокруг пеликаньей проблемы (+2 человека в команде)

Хронология проекта:
1️⃣Января 2021 Первое упоминание про пеликанов

2️⃣Май 2022 Добавил пост с видео про пеликанов из Московского зоопарка и закинул запрос на ML инженера по компьютерному зрению

3️⃣Декабрь 2022 Написал про публикацию научной статьи - О ЦЕЛЕСООБРАЗНОСТИ И СОВРЕМЕННЫХ МЕТОДАХ ОЦЕНКИ ЧИСЛЕННОСТИ
КУДРЯВЫХ И РОЗОВЫХ ПЕЛИКАНОВ

4️⃣Март 2023 Загрузил пример видео, которое подсчитывает кол-во пеликанов с дрона

5️⃣Сентябрь 2023 VK опубликовали статью - Как облако помогло ученым посчитать пеликанов за 30 миллисекунд вместо 7 дней (как вы поняли VK стали спонсором этого проекта и позволили нам использовать облако для ML)

PS Хочешь изучать ML на реальных данных и задачах? Тогда можешь смело присоединятся к проекту, есть возможности бесплатно тренироваться и работать с экспертами в этой области, контакты Владимира: @x05a4

PPS Есть еще популяция пеликанов в Казахстане, вдруг кому-нибудь интересно посчитать популяцию пеликанов, отслеживать влияние экологии на размер популяции и есть возможность провести подобного рода мероприятие, то дайте знать, может получится очень интересный кейс.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥14🎄5🍌3
2024-02-13 12.49.32.jpg
36.8 KB
🎉 Телеграм-канал Яндекса специально для ML-специалистов

Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы применяем ML в продуктах Яндекса, и показываем людей, которые двигают вперёд технологии прямо сейчас.

Подписывайтесь
👉 @Yandex4ML
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈8❤‍🔥3🌭3
Сегодня фиксил Databricks подключение к SQL Server, и как обычно вылезли ошибки, и Databricks предложил воспользоваться Assistant, чтобы предложить пути решения и даже возможность “Fix Code”. Как минимум экономит время.
7💯4
Очень люблю изучать вилки компаний для data позиций

Вот пример Director DE в pre IPO SaaS стартап:
- USA-based roles only: $232,000 USD and $314,000 USD
- Canada-based roles only:$201,000 CAD and $273,000 CAD

Я могу подискутировать на тему стоимости жизни и хватит ли 273к на жизнь в Канаде, но не буду погружаться в детали.

Если вкратце:

Согласно Tax калькулятору для Британской Колумбии, на руки вы получаете $14,219 CAD.

А вот Sr Data Engineer будет получать от 10к CAD до 11.5к CAD (но реальные зп в Канаде в ИТ секторе это 5к-6к CAD, а не ИТ 3к-4к)

Уже может возникнуть вопрос, из-за 3хк CAD стоит ли оно того, чтобы рвать себе одно место? Или даже гипотетически планировать карьеру в этом направлении? Я не спорю, если работать директором в FAANG, другой разговор, но можно и в NHL лиги в хоккей играть, но явно конверсия не такая большая.

Инженер может легко закрыть ноут и уйти по своим делам, а вот директор нет, да и манагер тоже вряд ли.

Если уволят Sr DE, он легко найдет работу (ну насколько это возможно в наше время)

Director DE думаю будет без работы год сидеть или пойдет вспоминать Python.

Из недавних постов The Programmatic Engineer вырисовывается тренд на product-minded engineers, то есть инженеры, кто могут самостоятельно собирать требования, понимать как работает продукт и его features. Соответственно менеджеров “под нож”, вообще компании многие убирают промежуточные звенья. (Я кстати всегда старался быть в теме продукта, но больше из за того, что мне надо было компенсировать отсутствие computer-science background, сейчас уже нормализовалось, но привычка осталась и как правило это наикрутейшее кейсы для Behaviour Interviews).

Как обычно, я просто делюсь своим мнением, если у вас другое мнение, welcome, только не надо писать, что я пишу чушь, это не конструктивно. И обязательно указывайте свой годовой доход, как говорится put money where your mouth is. Я в этом плане очень соответствую этой поговорке. С удовольствием послушаю контр аргументы от Директора/Менеджера с доходом от к 500k US или про планы как таким unicorn стать.

PS У меня даже есть insight про эту компанию, бывшего директора DE понизили до уровня Staff DE. Это ему еще повезло=)
🫡3154🌚3🗿2❤‍🔥1
Борьба добра со злом продолжается - The risk of working from home
If you want to dodge the next round of layoffs, head into the office.


Employers are clawing back power, and some companies are using that power to compel workers back to their desks — or face some consequences.

С большими компаниями все понятно, они понимают эффективность работы в офисе, даже я понимаю. Но зато небольшие компании и маленькие компании, могут использовать это как преимущество. Цена вопроса будет лишь в компенсации.

В целом нормальный deal🛒
Please open Telegram to view this post
VIEW IN TELEGRAM
🤷8🙈4
Audio
Хороших выходных💃🎂🛒
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥10🍾8🐳4🦄2🙈1
Недавно закончил книгу That Will Never Work про историю Netflix.

Наверно вы знаете, что изначально Netflix был просто прокат DVD по почте.

В книге интересно показали концепт создания бизнеса. Ребята просто собрались и стали бреинштромить идеи. конечно же идея про DVD по почте - that will never work. Дальше они попробовали отправить диск по почте и он пришел быстро и не сломался.

В книге много примеров использования аналитики для принятия решений, ценообразования, исследования новых рынков и тп.

Много информации про найм и развитие сотрудников. Даже были увольнения.

В книги много пересечений про развитие стартапов и сильно пересекается с прошлой книгой, про которую я писал The Angel Investor.

Да, и в целом про индустрию того времени, развитие Амазона и встречи с Джеф Безосом.

В книге иногда появляются идеи про стриминг видео, но они не воспринимаются в серьез. В книге про это практически ничего нет, ведь Netflix того времени это доставка DVD по почте.

Сам основатель оказался очень экономным и рассказыват про радость от Audi Quattro all road.

Я на него подписан в LinkedIn и дедушка в свободное время от прогулок по west coast пописывает для нас.


Некоторые цитаты из книги:
1. “You simply can’t know how things are going to behave until you’ve actually tried them. Go ahead and write up a plan, but don’t put too much faith in it. The only real way to find something out is to do it”

2. “Creative ideation and right people around are as important as focus.”

3. “When an opportunity comes knocking, you don’t necessarily have to open the door. But you owe it to yourself to at least look through the keyhole.”

4. “When your dream becomes a reality, it doesn’t just belong to you. It belongs to the people who helped you — your family, your friends, your co-workers. It belongs to the world.” During the initial growth phase of the company, he gave up on his dream to become the CEO, because the dream of making the company work was much more important than his personal ambition. He was able to do so because he was surrounded by people who had the courage to point-out his weaknesses and also because of his ability to see the rational truth and act on it. He understood that the “Netflix” dream was not only his dream now, but of all the people who have contributed time, energy and money, hoping for its success.

5. “Over-planning and over-designing is often just over-thinking — or plain old procrastination. When it comes to ideas, it’s more effective to test ten bad ones than spend days to come up with something perfect.”

6. “Focus is important for success.”

7. “Trust your gut, but also test it. Before you do anything concrete, the data has to agree.”

8. “Sometimes the only way out is through.”

9. “The most important step that anyone can take to turn their dreams into reality is a simple one: You just need to start.”

10. “As you get older, if you’re at all self-aware, you learn two important things about yourself: what you like, and what you’re good at. Anyone who gets to spend their day doing both of those things is a lucky person.” One of the most important lesson that the memoir teaches. It also reminds us to not get attached to the “success”, but keep working on what makes you happy. It’s surprising to see that Marc Randolph stepped down as soon as the company was up and running. Because for him, building things up from scratch and helping them become sustainable was the only joy-producing act, which could give purpose and meaning to his life.

11. He quotes Nolan Bunshell (co-founder of Atari) — “Everyone who has taken a shower has had an idea. But it’s the people who get out of the shower, towel off, and do something about it that makes the difference.”
❤‍🔥33🍾7💯5🐳1
Интересно стало посмотреть разбивку по возрасту среди читателей (всё думаю в какой момент начинать давать советы для молодежи😛)
Anonymous Poll
0%
До 16
3%
17-21
14%
22-25
26%
26-30
27%
31-35
17%
36-40
9%
41-45
3%
46-50
1%
51-55
1%
56+
18🗿16
Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой?

Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется.

Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше.

Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять?

28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей.

В программе:

🔹Основные принципы и этапы работы с данными: DWH, ETL, BI.

🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash.

🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными.

🔹 QA-сессия.

Посетите вебинар дата-инженеров , старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход.

У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь.

28.02.2024, 17:00 МСК

Зарегистрироваться
🍌76❤‍🔥3
🎉 Телеграм-канал Яндекса специально для ML-специалистов

Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы применяем ML в продуктах Яндекса, и показываем людей, которые двигают вперёд технологии прямо сейчас.

Подписывайтесь
👉 @Yandex4ML
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌16🙈1
Media is too big
VIEW IN TELEGRAM
Самое время пойти в Linkedin и нажать LIKE! И еще лучше reshare 😍

Спасибо!

Unveiling the Surfalytics brand, meticulously crafted through hand-drawn animation that captures the essence of North Shore and West Coast vibes, infused with an analytical twist.

Animation by MUTI
Music by DJ Andrei Andronikov
14❤‍🔥3🐳1🗿1
⭐️ Во вторник 27 февраля пройдет вебинар"Российский BI в мессенджере с ИИ. Новые возможности".

На вебинаре речь пойдет об отечественном BI-решении Easy Report, которое присылает отчеты в мессенджер по запросу на естественном языке. Расскажут о последних доработках, благодаря которым можно существенно сократить затраты на бизнес аналитику.

Повестка вебинара:

1. Как ИИ в BI помогает сделать аналитику доступнее для бизнеса: кейсы использования в строительстве, ретейле и других отраслях

2. Возможности Easy Report:

- формирование отчетов "на лету"
- распознавание запросов на естественном языке
- интерактивные графики в мессенджере
- интеграция с другими BI-системами и Superset

3. Как снизить стоимость BI-ландшафта на 47%

Ссылка на вебинар.

🗓 27 февраля • 11:00 мск • Онлайн
🌚62🍌1
Agoda - огромная компания в Бангкоке. Она знаменита тем, что их инфраструктура работает on-premise.

Let's dive into Data Platform at Agoda. We're all about harnessing data to drive insights and innovation. Picture yourself managing 22PB of data, orchestrating over 80k Spark jobs daily, and handling 600,000 SQL queries every day. Our Kafka ecosystem is a testament to scale and efficiency, handling 1.7 trillion messages a day, totaling 450 TB of compressed data. 

У них появились вакансии с релокацией в Бангкок. Меня пригласили на собеседование на роль Staff DE, но так как у них все начинается с leetcode, я решил не тратить время🙈 А так конечно, было бы интересно узнать вилку зарплат и стоимость жизни в Бангкоке. (я бы туда не хотел бы, просто любопытно)

Но написал письмо, чтобы узнать про их вилку зарплат.

Статьи про их аналитику
- How Agoda Builds Efficient Data Warehouse with Vertica
- How our data scientists' petabytes of data is ingested into Hadoop (from Kafka)
- The Infinite Data Lake: how Vast’s Universal Storage Platform simplifies our large-scale database
- Inside Agoda’s Data Pipeline Team
- Testing Finance Platform At Scale With Shadow Testing
Please open Telegram to view this post
VIEW IN TELEGRAM
13🦄4
Snowflake написал о новой фиче - Hybrid Tables.

Hybrid Tables is a new table type that enables transactional use cases within Snowflake with fast, high-concurrency point operations.

Не совсем понятно как это дело использовать, но у них есть и пример:

For example, in order to control which ads users see, William Hill stores precomputed promotion treatments in a Hybrid Table and serves that data with low latency to their web and mobile apps. “Serving promotion treatment from Hybrid Tables reduces point lookup latency and allowed us to maintain unified governance by keeping all of that sensitive data within Snowflake,” says Rahul Jha, Senior Data Architect at William Hill.

То есть такой reverse ETL “не отходя от кассы”.
💯1
💯75🙈13