Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Road Map 6: Evangelist / Advocate - бонус, последний на сегодня.

Тут уже надо быть активным в сообществах. Например классные ребята у Snowflake, DuckDb, Astronomer и других продуктов.

Тоже прикольная вакансия, тоже много путешествий и выступлений. Но там уже сложней попасть, так как таких много не нужно.
❤‍🔥174💯1👾1
Двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатная миграция при переходе на платформу VK Cloud

Microsoft и Amazon закрывают доступ к облачным сервисам в России с 20 марта. VK Cloud поддерживает российский бизнес в переходе на безопасную облачную платформу:

🔹 Грант, в два раза превышающий бюджет, который компания тратила на облачные сервисы Microsoft Azure, AWS или Google Cloud в феврале 2024-го.
🔹 Бесплатный перенос ИТ-системы (lift & shift) с зарубежного провайдера на облачную платформу VK Cloud.
🔹 Бесплатные лицензии на ПО для миграции, а также покрытие стоимости инфраструктуры, необходимой для работы агента ПО миграции.
🔹 Бесплатный консалтинг команды инженеров Professional Services для сложной миграции и любых ИТ-вопросов.

В течение 2 месяцев вы сможете оценить преимущества платформы VK Cloud бесплатно. Для этого оставьте заявку на миграцию до 10 апреля и отправьте чек об оплате сервисов Microsoft Azure, AWS или Google Cloud за февраль 2024 года. VK Cloud начислит на ваш бонусный счет в два раза больше средств для тестирования, а также поможет с бесплатной миграцией и быстрым запуском в облаке.

Оставить заявку
🗿19❤‍🔥9🙈6🍌5🦄2🐳1🌭1
Осталось теперь VK Cloud вот такую штуку сделать, чтобы играть и учиться, или учиться играючи?

https://explore.skillbuilder.aws/

Кстати помню в одной компании работал, и там было 10-15 компаний клиентов из РФ, и когда стали санкции вводить, все те же компании поменяли свои юр лица на иностранные и дальше работали как ни в чем не бывало, даже имя такое же оставили, примерно так же как вы в AWS подключаетесь через Казахский банк, только там масштаб другой🤸
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡10🍌5❤‍🔥2👾1
🌚28🙈7🐳4🌭3
Попался такой курс - Data Engineering in R: How to Build Your First Data Pipeline with R, Mage, and Google Cloud Platform (in under 45 Minutes)

Вроде и Google Cloud, и Big Query, и новомодный орекстратор Mage (я его не использовал, надеюсь не придется).

В целом неплохая идея сделать проект, возможно можно и бесплатно его сделать без курса.

Но вот использовать R в data engineering мне кажется не ice.

Я лично сам работал в нескольких компаний, где главная боль была R pipelines.

Как у вас с R для data engineering? Кто-нибудь использует?
🙈38🫡4🗿3
В продолжение про R. Пару мыслей:

1. Решение можно построить с помощью любой технологии. Качество решения будет зависеть от других факторов.

2. Рассчитывать, что вы работает на R и у вас будет всегда работа, так как это не популярное решение, слегка наивно. Но я бы тогда смотрел бы в сторону COBOL. Только сегодня видел кейс, где к Databricks кластеру добавляют jar для COBOL интеграции.

3. Самое ценное это ваш навык быстро учиться и адаптироваться. Сегодня, R, завтра Rust. Но это уже из разряда hard core.

4. Ваша оплата за уникальную технологию не будет сильно выше, если вы не AI researcher. Инженер данных с dbt и snowflake, получает как такой же инженер с Kafka и trino на kubernetes.

5. Наверно самый ценный навык сейчас это ходить по собеседования, чем чаще, тем лучше. А в свободное время делайте pet проекты. Сами или вместе с Surfalytics.

И бонус поинт, для понижения стресса и повышения качества жизни, попробуйте придумать себе занятие, которое в перспективе сможет генерировать дополнительных доход, может быть свой блог, канал, контракт и тп.

Есть еще варианты?👀
Please open Telegram to view this post
VIEW IN TELEGRAM
45❤‍🔥6🐳3
Я сейчас как раз смотрю его видосы по Airflow. Очень хорошо рассказывает, а тут он добавил новый курс про Airbyte.

Идеально для open-source и современного стека. Обязательно начну и добавлю идеи в проекты Surfalytics.

Airbyte это набор коннекторов, чтобы загрузить данные в хранилище данных и потом можно с dbt уже трансформировать данные.

Короче, это топ! Да еще бесплатно. Вот он афигеет, сколько народу сейчас придет на купон))

https://www.udemy.com/course/the-complete-hands-on-introduction-to-airbyte/?couponCode=EARLYBIRD
42❤‍🔥9
💻 Yandex Cloud выпустила большое обновление платформы для работы с данными

Облачная платформа запустила сервис для управления метаданными Yandex MetaData Hub, повысила безопасность баз данных, а инструмент BI-аналитики Yandex DataLens получил новые возможности. Всё это позволит компаниям быстро и надёжно создавать дата-проекты в облаке — от корпоративных хранилищ данных до аналитических и рекомендательных систем.

💬 Больше об обновлениях платформы данных читайте в статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
🌭8🙈75❤‍🔥3
Легким движением руки брюки превращаются хранилище данных превращается в GenAI платформу, с помощью который вы можете реализовать AI стратегию и заработать потратить много бабла🤦‍♂️
Please open Telegram to view this post
VIEW IN TELEGRAM
😭26❤‍🔥2🌚1
🌭23🌚2
https://www.layoffmemos.com/ решил собрать письма CEO про увольнения, чтобы не забывать своем место в корпорации. Точнее, я то знаю, но много еще наивных людей, и я всем в Surfalytics присылаю на ознакомление. Как и Surfalytics.com, сайт сделала Lala

PS есть еще компании и письма, кидайте в комментарии
💯31❤‍🔥12
Яндекс выкатил YandexGPT 3 Pro, это первая языковая модель из большой линейки нейросетей третьего поколения.

Что известно: в дальнейшем моделей станет больше, каждая будет ориентирована на решение задач определённого типа.

Благодаря обновлению YandexGPT 3 Pro лучше понимает контекст беседы и более естественно ведёт диалог с пользователем. Теперь она допускает меньше стилистических и фактических ошибок, а еще умеет обрабатывать существенно больше запросов за единицу времени.

Для бизнеса стоимость использования нейросети снизилась почти в два раза. Заказчики смогут самостоятельно дообучить YandexGPT 3 Pro в сервисе ML-разработки Yandex DataSphere для того, чтобы она ещё лучше соответствовала потребностям конкретного бизнеса. А потом внедрить технологию в свои продукты через API.
🍌24❤‍🔥11🤷4🙉1
Media is too big
VIEW IN TELEGRAM
❤‍🔥77🙈10💯42😈2👨‍💻1
Интересный анализ от Financial Times про возраст для первого ребенка. В возрасте 34 года у женщин 0 детей.

Когда в 2016 году мы переехали в Канаду я сразу обратил внимание на коллег за 30 у кого нет в планах детей, и коллеги за 35 планируют первого ребенка. Частые поездки в Сиэтл лишь подтвердили тренд, в которым отдают предпочтение собакам вместо детей. (Собак я тоже люблю, больше чем кошек, если что☺️), дискуссию лишь про детей. И это все было еще до лгбт+ маркетинга.

Причины были банальны. Чтобы иметь детей, один из родителей должен не работать и желательно уже иметь ипотеку. Но чтобы это позволить, нужно выплатить кредит за образование и найти хорошую работу. Родители как правило выгоняют детей после 18 и дети уже не ожидают помощи от родителей и сами решают свои финансовые проблемы и растят детей, если конечно к 40 годам созреют.

Это лишь мое наблюдение за 9 дет в Канаде и США. Как в России мне понятно, и я там уже отношусь к многодетной семье с 3мя детьми.

В Канаде и США все наоборот, дети это очень дорого, возможно поэтому многие ограничиваются собаками и кошками.

Как там дела в Европе, в Штатах, Канаде и других странах?

PS мой совет всегда простой - взять ипотеку, завести детей и дальше уже как-нибудь все сложится:)
Please open Telegram to view this post
VIEW IN TELEGRAM
💯84🫡25🗿53🤷3🐳2🌭1
Что мы знаем про продуктовых аналитиков в Авито?

— Быстро растут и развиваются внутри компании;
— Многое автоматизируют, обучают модели и прогнозируют;
— Постоянно запускают эксперименты, строят фреймворки и математические модели;
— Каждый работает в своей продуктовой команде, но не теряет связь с аналитиками из других направлений.

Хочешь также?
Подавай заявку на Weekend Offer до 4 апреля, приходи интервью и получай оффер!
🍌16🐳10❤‍🔥6
🚀
Анонс Вебинара: "Разработка data приложений на DuckDB"🚀

Давненько не было.... уверен ждали)))

📅 Дата вебинара 4 апреля в 7 вечера по мск

🎙Спикер - Роман Зыков.
Очень крутой спец, который уже дважды выступал у нас 🎙

🔗 Ссылка на вебинар:
https://youtube.com/live/biyPV-4glN4?feature=share

Мы всегда ищем способы сделать инженерию данных проще и удобнее. Роман Зыков создал полностью рабочую систему, которой хочет поделиться с вами!
При этом он отказался от использования знакомых инструментов.

🔍 Что мы обсудим на вебинаре:

🔸Почему выбрал DuckDB для разработки data приложений, отказавшись от привычных инструментов.
🔸Как построил полностью рабочую систему с базой данных, dbt, и оркестратором для ежедневного обновления данных без использования облачных сервисов.
🔸Живые примеры и исходные коды проекта.
🔸Управление данными с помощью DBT и Prefect.io.

👨‍💻 Приходите на вебинар, если вы хотите:
• Узнать, как использовать DuckDB для создания эффективных data приложений.
• Познакомиться с бесплатными инструментами для инжиниринга данных.
• Вдохновиться реальным проектом и увидеть, как можно управлять данными без облаков.


#datalearn #вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾34💯10❤‍🔥9🫡6🐳2
Обновление платформы YTsaurus

В новой версии YTsaurus Server 23.2.0 оптимизировали подсистему обработки данных, добавили OAuth‑аутентификацию и расширили возможности языка запросов динамических таблиц. Плюсом — еще несколько обновлений других частей платформы.

Подробности — в блоге.
❤‍🔥8🌭3😭11
Дашборд должен быть всегда простой, еще бы неплохо, чтобы был понятный.

Заметил интересный момент, пока BI люди трудятся над дашбордами, выбирают цвет, шрифт, толщину линии, ребята из devops, platform и тп используют инструменты для observation (мониторинга), чтобы быстро своять дашборд, который будет простой и понятный. Не изобретают велосипед с типом графика и цветовой палитрой в цвет того компании.

Как вообще обстоят дела с визуализацией? Тема как-то ушла на зданий план в последнее время. Ни новый промывных фич, ни супер-пупер best practices. Поделитесь в комментариях.
❤‍🔥197🤷4🐳2😭1
Оффер за 2 дня — легко!

🙂 Регистрируйся на Weekend Offer Лиги Ставок для продуктовых аналитиков.

20 и 21 апреля мы проведем технические собеседования и познакомимся с командами. Все этапы будут проходить в zoom. Основная часть — в субботу, а знакомство с продактами — в воскресенье. Если случится метч, ты получишь оффер до конца дня!

Как у нас все устроено? Переходи по ссылке 😍

Мы ждем тебя в команде!
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈19🤷3🌚2🌭2🍾11