Инжиниринг Данных
18.9K subscribers
1.48K photos
21 videos
175 files
2.75K links
Делюсь новостями из мира аналитики и вредными карьерными советами;)

8 лет в FAANG, инвестиции в недвижимость, компании и акции, angel investor.

Контакты и реклама: @dimoobraznii (сам не предлагаю купить рекламу или взаимопиар за деньги).
Download Telegram
Как у вас там с эмпатией? Новый навык в резюме добавили в 2024?! В прошлом году мы добавляли DuckDB, Snowpark, Iceberg, и вычеркнули Firebolt. Ничего не забыл?

Инженер с высоким уровнем эмпатии, готов отнестись с понимаем к плохой архитектуре, кривым данных, и отсутствию документации и далее по списку!
Иногда такие фидбеки бывают!😎 (ЦАО это центр Москвы)
Сейчас я расшарю Road Map для дата позиций (5).

В чем заключается идея? Максимально быстро овладеть навыками для поиска работы в новой стране, 20% знаний, которые дадут 80% результата. Я расшарю каждый Road Map отдельным сообщением, тогда у вас будет возможность оставить комментарии, написать что-нибудь, типа “да херня ваш road map”, “нихрена вы понимаете”, “шляпа какая-то”😇

Я не буду очень сильно вдаваться в подробности, но эти кореллируется с модулями Data Learn и это то, что я делаю в Surfalytics. Видео для 1го модуля я уже записал про MindMap и Road Maps. Когда будет полностью готов, то опубликую.

Road Map 1: Data Analyst (BI Developer) - вы знаете немножко Excel (то есть Spreadsheets), и вам нужно найти быстро 1ю работу.

Легенда:
- фиолетовый - data analyst/bi developer
- желтый - дальнейшее развитие в analytics engineer/data engineer
Please open Telegram to view this post
VIEW IN TELEGRAM
Road Map 2: Analytics Engineer - вы уже имеете опыт работы аналитиком или просто готовы выучить бОльший объем

Легенда:
- фиолетовый - data analyst/bi developer скилы
- желтый - analytics engineer
- зеленый - дальнейшее развитие в data engineer
Road Map 3: Data Engineer - вы уже хорошо ориентируетесь в хранилище данных, моделирование данных, у вас есть уже скилы инженера и вы можете уже полноценно покрыть data потребности организации end-to-end

Легенда:
- желтый - analytics engineer, включает (фиолетовый - data analyst/bi developer скилы)
- зеленый - data engineer
- красный - опцианально изучать ML, но обычно я рекомендую изучать use cases, как DE может работать с ML, это не значит, что надо ML модели строить
Road Map 4: Support Engineer (Data Products) - бонус

Прикольная позиция. Любой продукт (Snowflake, Databricks, Redshift, Flue, BigQuery, Tableau и тп) предоставляет услуги поддержки. Оплата такая как и обычных инженеров и от 30% времени вы тратите на обучение. Нет ни deadline, ни проектов, только support tickets, можно работать не напрягаюсь.
Road Map 5: Sales Engineer (Customer Engineer) - бонус

Кто-то должен делать демо продуктов и работать в паре с Sales? Вот это как раз sales engineer. И на конференциях выступать и на стенде стоять. Иногда еще роль называется Solution Architect, но для SA там уже может быть более глубокое погружение в проект на этапе внедрения)

Вы хорошо знаете продукт и понимаете как решение работает в аналитической экосистеме, можете быстро сделать демо продукта. Много встреч с клиентами и возможно поездок.

Однажды я получил офер от Microstrategy в Москве, но потом его отозвали и они закрыли офис. Еще я пытался в Канаде податься на это позицию, тоже получилось, но выбрал Амазон. И провалил собеседование в Канаде в Splunk на это позицию.

Вообще это была моя любимая позиция из всего спектра, но сейчас я стал уже ленивый для такого движа.
Road Map 6: Evangelist / Advocate - бонус, последний на сегодня.

Тут уже надо быть активным в сообществах. Например классные ребята у Snowflake, DuckDb, Astronomer и других продуктов.

Тоже прикольная вакансия, тоже много путешествий и выступлений. Но там уже сложней попасть, так как таких много не нужно.
Двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатная миграция при переходе на платформу VK Cloud

Microsoft и Amazon закрывают доступ к облачным сервисам в России с 20 марта. VK Cloud поддерживает российский бизнес в переходе на безопасную облачную платформу:

🔹 Грант, в два раза превышающий бюджет, который компания тратила на облачные сервисы Microsoft Azure, AWS или Google Cloud в феврале 2024-го.
🔹 Бесплатный перенос ИТ-системы (lift & shift) с зарубежного провайдера на облачную платформу VK Cloud.
🔹 Бесплатные лицензии на ПО для миграции, а также покрытие стоимости инфраструктуры, необходимой для работы агента ПО миграции.
🔹 Бесплатный консалтинг команды инженеров Professional Services для сложной миграции и любых ИТ-вопросов.

В течение 2 месяцев вы сможете оценить преимущества платформы VK Cloud бесплатно. Для этого оставьте заявку на миграцию до 10 апреля и отправьте чек об оплате сервисов Microsoft Azure, AWS или Google Cloud за февраль 2024 года. VK Cloud начислит на ваш бонусный счет в два раза больше средств для тестирования, а также поможет с бесплатной миграцией и быстрым запуском в облаке.

Оставить заявку
Осталось теперь VK Cloud вот такую штуку сделать, чтобы играть и учиться, или учиться играючи?

https://explore.skillbuilder.aws/

Кстати помню в одной компании работал, и там было 10-15 компаний клиентов из РФ, и когда стали санкции вводить, все те же компании поменяли свои юр лица на иностранные и дальше работали как ни в чем не бывало, даже имя такое же оставили, примерно так же как вы в AWS подключаетесь через Казахский банк, только там масштаб другой🤸
Please open Telegram to view this post
VIEW IN TELEGRAM
Приглашаем на бесплатную ML-тренировку Data Dojo!

Разберём решения победителей больших соревнований и сами подумаем над парочкой задач, а ещё проведём экскурсию по петербургскому офису. Пока мы только формируем программу, но уже известен первый доклад:

🔸 Артём Топоров, ex Lead ML в ROGII Inc. Расскажет о своём втором месте на соревновании Kaggle по распознаванию жестового языка.

Data Dojo пройдёт 30 марта в Санкт-Петербурге в онлайн- и офлайн-форматах. Если хотите прийти на офлайн — подавайте заявку, мы проведём отбор участников и отправим приглашение за три дня до тренировки.

Регистрируйтесь и приходите — будем вместе искать ML-просветления 🪬
Попался такой курс - Data Engineering in R: How to Build Your First Data Pipeline with R, Mage, and Google Cloud Platform (in under 45 Minutes)

Вроде и Google Cloud, и Big Query, и новомодный орекстратор Mage (я его не использовал, надеюсь не придется).

В целом неплохая идея сделать проект, возможно можно и бесплатно его сделать без курса.

Но вот использовать R в data engineering мне кажется не ice.

Я лично сам работал в нескольких компаний, где главная боль была R pipelines.

Как у вас с R для data engineering? Кто-нибудь использует?
В продолжение про R. Пару мыслей:

1. Решение можно построить с помощью любой технологии. Качество решения будет зависеть от других факторов.

2. Рассчитывать, что вы работает на R и у вас будет всегда работа, так как это не популярное решение, слегка наивно. Но я бы тогда смотрел бы в сторону COBOL. Только сегодня видел кейс, где к Databricks кластеру добавляют jar для COBOL интеграции.

3. Самое ценное это ваш навык быстро учиться и адаптироваться. Сегодня, R, завтра Rust. Но это уже из разряда hard core.

4. Ваша оплата за уникальную технологию не будет сильно выше, если вы не AI researcher. Инженер данных с dbt и snowflake, получает как такой же инженер с Kafka и trino на kubernetes.

5. Наверно самый ценный навык сейчас это ходить по собеседования, чем чаще, тем лучше. А в свободное время делайте pet проекты. Сами или вместе с Surfalytics.

И бонус поинт, для понижения стресса и повышения качества жизни, попробуйте придумать себе занятие, которое в перспективе сможет генерировать дополнительных доход, может быть свой блог, канал, контракт и тп.

Есть еще варианты?👀
Please open Telegram to view this post
VIEW IN TELEGRAM
Я сейчас как раз смотрю его видосы по Airflow. Очень хорошо рассказывает, а тут он добавил новый курс про Airbyte.

Идеально для open-source и современного стека. Обязательно начну и добавлю идеи в проекты Surfalytics.

Airbyte это набор коннекторов, чтобы загрузить данные в хранилище данных и потом можно с dbt уже трансформировать данные.

Короче, это топ! Да еще бесплатно. Вот он афигеет, сколько народу сейчас придет на купон))

https://www.udemy.com/course/the-complete-hands-on-introduction-to-airbyte/?couponCode=EARLYBIRD
💻 Yandex Cloud выпустила большое обновление платформы для работы с данными

Облачная платформа запустила сервис для управления метаданными Yandex MetaData Hub, повысила безопасность баз данных, а инструмент BI-аналитики Yandex DataLens получил новые возможности. Всё это позволит компаниям быстро и надёжно создавать дата-проекты в облаке — от корпоративных хранилищ данных до аналитических и рекомендательных систем.

💬 Больше об обновлениях платформы данных читайте в статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
Легким движением руки брюки превращаются хранилище данных превращается в GenAI платформу, с помощью который вы можете реализовать AI стратегию и заработать потратить много бабла🤦‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.layoffmemos.com/ решил собрать письма CEO про увольнения, чтобы не забывать своем место в корпорации. Точнее, я то знаю, но много еще наивных людей, и я всем в Surfalytics присылаю на ознакомление. Как и Surfalytics.com, сайт сделала Lala

PS есть еще компании и письма, кидайте в комментарии
Яндекс выкатил YandexGPT 3 Pro, это первая языковая модель из большой линейки нейросетей третьего поколения.

Что известно: в дальнейшем моделей станет больше, каждая будет ориентирована на решение задач определённого типа.

Благодаря обновлению YandexGPT 3 Pro лучше понимает контекст беседы и более естественно ведёт диалог с пользователем. Теперь она допускает меньше стилистических и фактических ошибок, а еще умеет обрабатывать существенно больше запросов за единицу времени.

Для бизнеса стоимость использования нейросети снизилась почти в два раза. Заказчики смогут самостоятельно дообучить YandexGPT 3 Pro в сервисе ML-разработки Yandex DataSphere для того, чтобы она ещё лучше соответствовала потребностям конкретного бизнеса. А потом внедрить технологию в свои продукты через API.