Инжиниринг Данных
23.4K subscribers
1.92K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Так позиционирует себя Plotly (Dash) среди BI инструментов
Новая книга по Табло. Серьезный труд - обещают 800 страниц.
❗️Друзья приветствую всех!
Завтра на нашем ютуб канале вебинар (10.02.2021) в 19:00 по МСК
Название вебинара: Путь Инженера Аналитики: Решение для Маркетинга на Azure SQL + dbt + Github Actions + Metabase

Описание:
Меня зовут Артемий Козырь. Расскажу про ниндзя-проект по сбору Сквозной Аналитики для Performance-маркетинга:
- Бизнес-цели проекта
- ELT и пылесосинг данных из источников
- Организация Хранилища на dbt
- Open Source BI на Metabase
- Нюансы Dev & Ops
Отвечу на вопросы: облака, выбор инструментов, обучение, карьера, пути развития

Ссылка: https://youtu.be/SoOcvYPSm7o

Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире :blush:
🟢 Что нужно сделать:
➡️ Перейти по ссылке и поставить колокольчик, чтобы в среду не пропустить
➡️ Отложить все дела на вечер среды
➡️ В среду в 19:00 быть на вебинаре
Всех обнял, до встречи в эфире ☺️
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
❗️❗️❗️Важные обновления на DataLearn в 2021 (январь - начало февраля):
1️⃣ Напоминаю, что мы запустили курс по Getting started with Machine Learning and Data Science
Вход в профессию.
Уже вышло целых 3 видео и видео выходят по средам ну или четвергам.
Там есть домашние задания и лабораторные работы, найти вы сможете их на гите.
По моему мнению самый крутой курс для старта Data Science, просто, интересно и актуально.
Даже если вы не хотите идти в Data Science, курс обязателен для общего развития, вы же чемпионы.
Преподаватель - Анастасия Риццо
Да кстати у нас в слаке есть отдельный канал по этой группе и там вы смело можете задавать Насте вопросы.
Канал в Слаке называется ml-101-общий-чат-курса для тех, кто не нашел ту дверь, в которую вошел))
Записаться на курс: https://datalearn.ru/kurs-po-ml-ds

2️⃣ Мы запустили курс по поиску работы для аналитических специальностей в России и зарубежом
Уже вышло 3 видео, есть группа в слаке: jh-101
Преподаватель Анастасия Дробышева - консультант по рынку труда и карьерному развитию, проекта Job2Joy.
Как же вы чемпионы и без работы то. Именно Настя подготовит вам ту удочку, на которую вы сможете поймать свою золотую рыбку.
Записаться на курс:
https://datalearn.ru/kurs-po-poisku-raboty-dlya-analiticheskikh-spetsialnostey-v-rossii-i-za-rubezhom

🟢 За последнее время у нас было несколько крутых вебинаров:
1)ДАТА КОМАНДА: ЦЕЛИ, СТРУКТУРА И УПРАВЛЕНИЕ
ссылка:https://youtu.be/NLOq7GC7zA8

2)GIT / GITHUB / GITLAB / ДЕНИС ВОЛК
ссылка:https://youtu.be/-CPiOe9rnh0

3)SNOWFLAKE ИЛИ КАК БД ВЫБИРАЛИ / НИКОЛАЙ ГОЛОВ / MANYCHAT
Ссылка:https://youtu.be/XJa3gGWidg0

Да, кстати к ним ко всем я добавил обещанные ссылки от спикеров, дополнительные материалы находятся в описании под видео на ютубе

4) Павел Новичков - активный член сообщества DataLearn начал записывать видео по Pentaho.
Вот ссылка на первое видео:https://youtu.be/RL-EZCi51gc

В ближайшем будущем планируется полномасштабный курс по SQL, он должен был выйти в феврале, но еще ведутся работы по модернизации

Ах да и мы все же запустим комьюнити для женщин уже скоро, даже в течение недели, но это так новость на затравку для прекрасного пола🙄
Столько обновлений было за месяц, что забыл еще про одно:
У нас был очень крутой вебинар - РАЗВИТИЕ АНАЛИТИЧЕСКОГО МЫШЛЕНИЯ
Для тех, кто хочет прокачать свое серое вещество, просто обязательно к просмотру, если что, то большая часть команды DataLearn его посмотрело.
Специалисту в области данных очень полезно иногда отвлечся от технических штук и понимать как устроен окружающий мир, так что рекомендуем к просмотру
ссылка: https://youtu.be/7qVJO0-XdL4
Любим мы excel или нет, до сих пор его используют везде и всюду. Вышла хорошая книга. https://www.amazon.com/Data-Visualization-Excel-Dashboards-Reports/dp/1119698723/ref=sr_1_3?dchild=1&keywords=data+visualization+with+excel+dashboards+and+reports&qid=1612299426&sr=8-3&ref_=d6k_applink_bb_marketplace
Airbnb опубликовали замечательную статью про использование Apache Superset.
https://medium.com/airbnb-engineering/supercharging-apache-superset-b1a2393278bd
Автор решил сравнить Apache Airflow/Lugi/Pinball (последний я даже не знаю). http://bytepawn.com/luigi-airflow-pinball.html
Мои будни проходят в databricks, каждый день открываю что-то новое. Довольно сложно перестроиться из классического мира DW/ETL в мир notebooks и Delta Lake. Но зато потом буду умничать😎 Вот можете просмотреть записи вебинаров про Azure Databricks:
-Data engineering your Azure Databricks lakehouse — In this training, we’ll guide you through ingesting event data to build a lakehouse for analyzing customer product usage.
-Querying your Azure Databricks lakehouse — In this training, we’ll demonstrate how to engineer data marts in your Azure Databricks lakehouse for your data analyst team.
-Training an ML customer model using your Azure Databricks lakehouse — In this training, we’ll demonstrate how your data science team can use data marts in your Azure Databricks lakehouse to design and train an ML customer model on customer product usage data.
Я уже довольно давно занимаюсь Community, и один из главных +, это возможность учиться от профессионалов. То есть можно найти любого человека опытного и пригласить его выступить и поделиться опытом. Сейчас такая возможность есть у меня, но я с радостью ей поделюсь с вами, если вы хотите кого-то послушать, дайте знать, и мы попробуем пригласить человека выступить.
Кто-то заморочился:

So I wrote a 5400-word lecture note on the basics of data engineering for my students, covering:

* data formats (row- vs. column-based, text vs. binary)
* ETL
* batch processing vs. stream processing
* training datasets

This is a work in progress.


https://docs.google.com/document/d/1b9iuZiDEGVLHyMmnf6w2y1aN6yWQhAyqk3GHlpI9q6M/edit
#вакансия #москва #snowflake #dataengineer

Крутая вакансия и солидное вознаграждение!🔥

Архитектор данных (Snowflake❄️) в «ФИНАМ» (крупнейший брокер Восточной Европы).
Мы ищем сотрудника, который организует автоматизированный сбор данных из различных источников в единое централизованное хранилище Snowflake. Опыт работы со Snowflake – обязателен.
Локация - Москва, гибридный формат работы (удаленно и в офисе)
Компенсация по вакансии обсуждается индивидуально – от 300К+ net.
Отклики и вопросы в @baibakova или ebaybakova@corp.finam.ru

PS как обычно хорошо поддержали vsevsevmeste☺️
По вакансии выше, хочу добавить от себя. Я пообщался с ними, и возможно можно добавить, что важен следующий опыт:
- опыт с AWS или Azure или сертификация Solution Architect, ну или опыт, чтобы можно было создать решение в облаке, обеспечить безопасность, настройки сети и тп
- понимание как работать с DW и ELT в облаке, например опыт с Redshift/BigQuery/Synapse и Glue/Data Factory
- знать как развернуть BI и подключить все это дело вместе (end to end ELT, DW, BI)
- понимать как построить DW с точки зрения создания модели данных
- инструменты обеспечения качества данных и документации
- умение использовать элементы DevOps для кода (CI/CD, Git)

То есть опыт со Snowflake это хорошо, но сам продукт не сложный, важно знать принципы создания облачного решения по аналитики и иметь подходящий опыт. Про Python я тоже особо ничего не сказал, так как можно и без него обойтись, например использовать dbt (будет шикарно и на SQL + CI/CD).
А вот и видео новое по курсу ML&DS 101 от Анастасии Риццо.

В этом уроке мы:
1) Пройдем весь Exploratory Data Analysis, который включает в себя:
📌 Descriptive Statistic
📌 Observation of target variable
📌 Missing Data
📌 Numerical and Categorical features

2) Рассмотрим Data Wrangling and Transformation:
📌 Multicollinearity
📌 Standard Scaler
📌 Creating datasets for ML part
📌 'Train\Test' splitting method

https://youtu.be/S-ZBb4yvxAQ