Инжиниринг Данных
19.3K subscribers
1.51K photos
25 videos
175 files
2.8K links
Делюсь новостями из мира аналитики и вредными карьерными советами;)

8 лет в FAANG, инвестиции в недвижимость, компании и акции, solo entrepreneur🏄‍♂️

Контакты и реклама: @dimoobraznii (сам не предлагаю купить рекламу или взаимопиар за деньги).
Download Telegram
Deciphering Data Architectures: Choosing Between a Modern Data Warehouse, Data Fabric, Data Lakehouse, and Data Mesh - еще одна новая книга от O’Reilly написанная James Serra, который уже много лет что-то вроде Microsoft Analytics Evangelist и все время рассказывает про свежие решения включая Synapse, Fabric, Power BI и тп. Если вы работаете с решениями Microsoft/Azure то вам будет интересно и полезно, если нет, то лучше не тратить время.
Опачки, ТОП 10 Экспертов - За кем следят продуктовые и дата-аналитики

PS Я бы конечно по алфавиту отсортировал бы как в школе, а то глаз дергается в таком порядке читать🗃

Вцелом список зачетный! Авторам спасибо!
Please open Telegram to view this post
VIEW IN TELEGRAM
2021: 96 data tools
2023: 152 data tools + 58%

https://lakefs.io/blog/the-state-of-data-engineering-2023/

Мне лично нравятся такие таблички, где напиханы сотни инструментов. Нравятся не потому-что в них есть какой-то смысл или полезность, а потому что я вижу насколько сложнее с каждым годом зайти в индустрию новичкам, вижу, как компаниям сложно сделать правильный выбор идеального решения для их сценария.

Каждый логотипчик это сотни тысяч долларов, а иногда и миллионов на маркетинг, на развитие сообщества, на футболки и кружки в подарок.

В целом тренд хороший. “Даешь 300 инструментов в 2024 году🍿

PS вообще не парьтесь про логотипы, вендоров, просто поймите основы основ. Самое последнее нововведение было это Lakehouse, и то достаточно давно.

Или что-то там придумали кардинально изменившее индустрию? (LLMs не берем в пример)
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from НЕЙМАРК
⚡️Валерий Черепенников презентует свою книгу Made at Intel ⚡️

О своем пути, 25-летнем опыте работы на руководящих должностях в Intel и Huawei решил рассказать директор ИТ-кампуса мирового уровня НЕЙМАРК.

✏️ Made at Intel — авторское видение перевода «Сделан в Интел». Это книга про жизнь и работу в крупных ИТ-корпорациях. Страницы наполнены ироничными историями, откровениями, советами и личными инсайтами Валерия Черепенникова. Это уникальная возможность остаться один на один с автором и погрузиться в образ жизни и решения ведущих компаний за рамками обычного корпоративного рассказа.

📖 Для кого Made at Intel?

Для всех, кто стремится понять, как принимаются ключевые решения в крупных корпорациях. Она будет полезна как действующим сотрудникам, так и тем, кто только планирует свою карьеру в сфере информационных технологий. Made at Intel создана для широкого круга читателей, желающих по-настоящему погрузиться в мир профессиональных возможностей и инновационного мышления.

Лично пообщаться с Валерием Черепенниковым и стать обладателем подписанной книги можно на презентации по предварительной регистрации.

📅 Когда: 7 февраля, 19:00

📍 Где: Нижний Новгород, ул. Пискунова 16, 1 этаж, ИТ-лекторий

Предзаказ Made at Intel доступен в Лабиринте, также продажи открыты на сайте издательства
Please open Telegram to view this post
VIEW IN TELEGRAM
Nice summary of Layoffs -Классно чувачок все разложил про увольнения, вообще давно его не видел и даже забыл кто это такой, хотя раньше много шарил его видео - TECH LAYOFFS SURGE. The End of Coding.

Сегодня еще общался с местным ангел инвестором, кто в свое время очень хорошо поднялся и у него было больше 10 успешных выходов от seed до IPO. Со всей движухой в AI вся индустрия меняется и он сказал, что сейчас никому не посоветовал бы идти учится на computer science, хотя в итоге пришли к выводу, что вообще не понятно куда идти учится и куда инвестировать, так как крупные компании контролируют весь AI и AI стартапов очень мало и ему некуда вложиться.

Я рассказал свое видение про изменения в образование с развитием AR/VR и снижением цен на устройства. Хотя после последнего поста про Неймарк я посмотрел, что это такое, и хотел бы в Обнинске (Калужская область) тоже построить какой-нибудь крупный ИТ кампус.

Поэтому если вы в ИТ, то наслаждайтесь вашей работой, если еще нет, то у вас еще есть время залететь в ИТ, “пить смузи в коворкинге” и работать в пижаме не вставая с дивана, гонять компьютерные игры во время zoom звонков, вести телеграмм канал и YouTube про то как вАйТи в ИТ и вообще чувтсвовать себя успешным🤱🤦‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
22 февраля AWS проводит онлайн мероприятия посвященные AI - Dive into the world of AI and machine learning

Еще из интересного, Microsoft обязал всех своих сотрудников в Azure пройти сертификацию AI-900 (AI Fundamentals).

Возвращаясь к прошлому посту - было много комментариев, что товарищ “заливает” и вообще все у него рассчитано на Clickbait. А кто не заливает?

Ни у кого нет хрустального шара, чтобы предсказывать будущее. На то он и интернет, чтобы подчерпнуть разную информацию у разных “influencers”, так сказать “signals” и уже потом принять для себя решение, что хорошо, а что плохо, что правда, а что нет. Если вам кто-то говорит - “да как вы можете читать и смотреть <имя канала/блогера>, он же гонит”, то это значит у людей очень узкий кругозор и я бы точно не доверял их мнению. Чем больше точек зрения, тем лучше.

Еще классная стратегия написать неправильный ответ, и потом собрать правильный.

И еще одна мысль посетила. Мы же обсуждали, что AI заменит нас всех? Или не заменит? А потом я вспомнил, я же читаю книгу про стоицизм, и там все просто - если мы что-то не контролируем, нас это не должно сильно волновать, нам нужно сфокусироваться на том, что мы можем контролировать здесь и сейчас, в нашем контексте это grow mindset, учимся дальше. AI? LLM? Ну значит надо и про них быть в теме, а там видно будет. Еще 10 раз все поменяется.
Из внутренней рассылки - большой список on-demand вебинаров по AWS, выложил табличку сюда, можно найти на любую тему.
Личный бренд это важно! Никогда не поздно начать его развивать.
Я вот спрашивала у вас как-то про слово "нетворкинг". Сейчас будет кое-что похуже - "личный бренд".

15 декабря вела я дискуссию в Доме культур с разными именитыми медиа-чуваками, и задавала примерно такие вопросы:
- Если строишь личный бренд, то когда работать?
- Как научиться хвалить себя, если у рожденных в СССР так не принято?
- Как сделать так, чтобы каждое утро в почте было 20 приглашений на интервью, и как правильно на них не ходить?
- Как выставить ценник в 187к рублей в час за выступление? (это реальный прайс одного очень известного продакта)
- В чем разница между "фейсбучным пизд*болом" и "известным профессионалом"?
- Рассказывать про успешный успех, или все-таки можно честно хотя бы иногда?
- Хейтерс гонна хейт - или что делать с тем, что нельзя нравиться всем сразу?

Записи нет. Кто пришёл, тот молодец. Ещё были вкусные сырники (говорят, что лучшие в Москве, но на мой вкус 8/10).
Но есть целая статья на VC с ключевыми мыслями.

Вы спросите наверное, это же продуктовый телеграм-канал, Юля, какого хрена?
А это потому что я делаю сейчас продукт, в котором это всё важно. А вот такие мероприятия это называется прогрев аудитории и запуск закрытой беты.

а вот статья https://vc.ru/social/967853-poslednego-vagona-ne-sushchestvuet-lichnyy-i-professionalnyy-brend-v-socialnyh-setyah?comments
она правда не такая задорная как мой тизер, но зато по делу.
Где-то 2 года назад я написал этот док для своей команды, когда мы собеседовании инженеров данных, команда выросла с 2 до 30 человек за 2 года, включая DE, AE, Marketing/Product Analyst. Я использовал это framework для DE/AE. https://almond-rule-130.notion.site/Interviews-6182a38503224359b8f839022e2b8f9e и конечно же вдохновился подходом Амазона, где за 5 лет я провел очень много собеседований. И конечно я был очень bias к “происхождения” кандидата🤸

Накидайте классных ресурсов по собеседования, hiring, и другим полезным вещам в комментарии.
Please open Telegram to view this post
VIEW IN TELEGRAM
В декабре VK провел стрим - Новогодняя Елка VK Cloud, на котором рассказали про самые значимые проекты 2023 года и один из них про пеликанов. Роман Аношин (научный эксперт) и Владимира Валеева (эксперт по компьютерному зрению и технический лидер проекта) рассказали про проект.

Владимир также написал, что было сделано с сентября 2023:

Было собрано больше данных (конец лета 2023)
Данные систематизированы и размещены на VK Cloud S3 object storage
Репозиторий (больше обновлений после сбора новых данных):
- Модернизирован сервис разметки данных CVAT – теперь разметка синхронизируется с репозиторием на GitHub https://github.com/Shining-Future/project-p-annotations
- Предыдущая модель YOLOv5 обернута в nuclio serverless модуль для полуавтоматической разметки в CVAT https://github.com/Shining-Future/project-p-serverless
- Телеграм-бот https://github.com/Shining-Future/project-p-telegram и инференс-модуль для него https://github.com/Shining-Future/project-p-inference (это где-то лето 2023, но кажется, что ссылки на них нигде еще не фигурировали)
Пайплайн для обучения на облаке – три этапа: загрузка данных, формирование датасета, обучение модели (репозиторий пока приватный по техническим причинам, работаю над оформлением ноутбуков)
Эксперименты с YOLOv7 и доменной адаптацией, переход от скользящего окна к инференсу на полном кадре (разрешение 4К, результаты пока также не успел оформить)
Формирование сообщества вокруг пеликаньей проблемы (+2 человека в команде)

Хронология проекта:
1️⃣Января 2021 Первое упоминание про пеликанов

2️⃣Май 2022 Добавил пост с видео про пеликанов из Московского зоопарка и закинул запрос на ML инженера по компьютерному зрению

3️⃣Декабрь 2022 Написал про публикацию научной статьи - О ЦЕЛЕСООБРАЗНОСТИ И СОВРЕМЕННЫХ МЕТОДАХ ОЦЕНКИ ЧИСЛЕННОСТИ
КУДРЯВЫХ И РОЗОВЫХ ПЕЛИКАНОВ

4️⃣Март 2023 Загрузил пример видео, которое подсчитывает кол-во пеликанов с дрона

5️⃣Сентябрь 2023 VK опубликовали статью - Как облако помогло ученым посчитать пеликанов за 30 миллисекунд вместо 7 дней (как вы поняли VK стали спонсором этого проекта и позволили нам использовать облако для ML)

PS Хочешь изучать ML на реальных данных и задачах? Тогда можешь смело присоединятся к проекту, есть возможности бесплатно тренироваться и работать с экспертами в этой области, контакты Владимира: @x05a4

PPS Есть еще популяция пеликанов в Казахстане, вдруг кому-нибудь интересно посчитать популяцию пеликанов, отслеживать влияние экологии на размер популяции и есть возможность провести подобного рода мероприятие, то дайте знать, может получится очень интересный кейс.
Please open Telegram to view this post
VIEW IN TELEGRAM
2024-02-13 12.49.32.jpg
36.8 KB
🎉 Телеграм-канал Яндекса специально для ML-специалистов

Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы применяем ML в продуктах Яндекса, и показываем людей, которые двигают вперёд технологии прямо сейчас.

Подписывайтесь
👉 @Yandex4ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Сегодня фиксил Databricks подключение к SQL Server, и как обычно вылезли ошибки, и Databricks предложил воспользоваться Assistant, чтобы предложить пути решения и даже возможность “Fix Code”. Как минимум экономит время.
Очень люблю изучать вилки компаний для data позиций

Вот пример Director DE в pre IPO SaaS стартап:
- USA-based roles only: $232,000 USD and $314,000 USD
- Canada-based roles only:$201,000 CAD and $273,000 CAD

Я могу подискутировать на тему стоимости жизни и хватит ли 273к на жизнь в Канаде, но не буду погружаться в детали.

Если вкратце:

Согласно Tax калькулятору для Британской Колумбии, на руки вы получаете $14,219 CAD.

А вот Sr Data Engineer будет получать от 10к CAD до 11.5к CAD (но реальные зп в Канаде в ИТ секторе это 5к-6к CAD, а не ИТ 3к-4к)

Уже может возникнуть вопрос, из-за 3хк CAD стоит ли оно того, чтобы рвать себе одно место? Или даже гипотетически планировать карьеру в этом направлении? Я не спорю, если работать директором в FAANG, другой разговор, но можно и в NHL лиги в хоккей играть, но явно конверсия не такая большая.

Инженер может легко закрыть ноут и уйти по своим делам, а вот директор нет, да и манагер тоже вряд ли.

Если уволят Sr DE, он легко найдет работу (ну насколько это возможно в наше время)

Director DE думаю будет без работы год сидеть или пойдет вспоминать Python.

Из недавних постов The Programmatic Engineer вырисовывается тренд на product-minded engineers, то есть инженеры, кто могут самостоятельно собирать требования, понимать как работает продукт и его features. Соответственно менеджеров “под нож”, вообще компании многие убирают промежуточные звенья. (Я кстати всегда старался быть в теме продукта, но больше из за того, что мне надо было компенсировать отсутствие computer-science background, сейчас уже нормализовалось, но привычка осталась и как правило это наикрутейшее кейсы для Behaviour Interviews).

Как обычно, я просто делюсь своим мнением, если у вас другое мнение, welcome, только не надо писать, что я пишу чушь, это не конструктивно. И обязательно указывайте свой годовой доход, как говорится put money where your mouth is. Я в этом плане очень соответствую этой поговорке. С удовольствием послушаю контр аргументы от Директора/Менеджера с доходом от к 500k US или про планы как таким unicorn стать.

PS У меня даже есть insight про эту компанию, бывшего директора DE понизили до уровня Staff DE. Это ему еще повезло=)
Борьба добра со злом продолжается - The risk of working from home
If you want to dodge the next round of layoffs, head into the office.


Employers are clawing back power, and some companies are using that power to compel workers back to their desks — or face some consequences.

С большими компаниями все понятно, они понимают эффективность работы в офисе, даже я понимаю. Но зато небольшие компании и маленькие компании, могут использовать это как преимущество. Цена вопроса будет лишь в компенсации.

В целом нормальный deal🛒
Please open Telegram to view this post
VIEW IN TELEGRAM
Audio
Хороших выходных💃🎂🛒
Please open Telegram to view this post
VIEW IN TELEGRAM
Недавно закончил книгу That Will Never Work про историю Netflix.

Наверно вы знаете, что изначально Netflix был просто прокат DVD по почте.

В книге интересно показали концепт создания бизнеса. Ребята просто собрались и стали бреинштромить идеи. конечно же идея про DVD по почте - that will never work. Дальше они попробовали отправить диск по почте и он пришел быстро и не сломался.

В книге много примеров использования аналитики для принятия решений, ценообразования, исследования новых рынков и тп.

Много информации про найм и развитие сотрудников. Даже были увольнения.

В книги много пересечений про развитие стартапов и сильно пересекается с прошлой книгой, про которую я писал The Angel Investor.

Да, и в целом про индустрию того времени, развитие Амазона и встречи с Джеф Безосом.

В книге иногда появляются идеи про стриминг видео, но они не воспринимаются в серьез. В книге про это практически ничего нет, ведь Netflix того времени это доставка DVD по почте.

Сам основатель оказался очень экономным и рассказыват про радость от Audi Quattro all road.

Я на него подписан в LinkedIn и дедушка в свободное время от прогулок по west coast пописывает для нас.


Некоторые цитаты из книги:
1. “You simply can’t know how things are going to behave until you’ve actually tried them. Go ahead and write up a plan, but don’t put too much faith in it. The only real way to find something out is to do it”

2. “Creative ideation and right people around are as important as focus.”

3. “When an opportunity comes knocking, you don’t necessarily have to open the door. But you owe it to yourself to at least look through the keyhole.”

4. “When your dream becomes a reality, it doesn’t just belong to you. It belongs to the people who helped you — your family, your friends, your co-workers. It belongs to the world.” During the initial growth phase of the company, he gave up on his dream to become the CEO, because the dream of making the company work was much more important than his personal ambition. He was able to do so because he was surrounded by people who had the courage to point-out his weaknesses and also because of his ability to see the rational truth and act on it. He understood that the “Netflix” dream was not only his dream now, but of all the people who have contributed time, energy and money, hoping for its success.

5. “Over-planning and over-designing is often just over-thinking — or plain old procrastination. When it comes to ideas, it’s more effective to test ten bad ones than spend days to come up with something perfect.”

6. “Focus is important for success.”

7. “Trust your gut, but also test it. Before you do anything concrete, the data has to agree.”

8. “Sometimes the only way out is through.”

9. “The most important step that anyone can take to turn their dreams into reality is a simple one: You just need to start.”

10. “As you get older, if you’re at all self-aware, you learn two important things about yourself: what you like, and what you’re good at. Anyone who gets to spend their day doing both of those things is a lucky person.” One of the most important lesson that the memoir teaches. It also reminds us to not get attached to the “success”, but keep working on what makes you happy. It’s surprising to see that Marc Randolph stepped down as soon as the company was up and running. Because for him, building things up from scratch and helping them become sustainable was the only joy-producing act, which could give purpose and meaning to his life.

11. He quotes Nolan Bunshell (co-founder of Atari) — “Everyone who has taken a shower has had an idea. But it’s the people who get out of the shower, towel off, and do something about it that makes the difference.”
Интересно стало посмотреть разбивку по возрасту среди читателей (всё думаю в какой момент начинать давать советы для молодежи😛)
Anonymous Poll
0%
До 16
3%
17-21
14%
22-25
26%
26-30
27%
31-35
17%
36-40
9%
41-45
3%
46-50
1%
51-55
1%
56+
Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой?

Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется.

Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше.

Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять?

28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей.

В программе:

🔹Основные принципы и этапы работы с данными: DWH, ETL, BI.

🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash.

🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными.

🔹 QA-сессия.

Посетите вебинар дата-инженеров , старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход.

У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь.

28.02.2024, 17:00 МСК

Зарегистрироваться