Мы часто слышим термин ETL, а иногда мы слышим про ELT. Это неотъемлемая часть любого аналитического решения, когда необходимо консолидировать данные из различных систем источников (Source) в едином месте, обычно, корпоративное или аналитическое хранилище данных (DW, которое является target для нас). Так же есть термин data pipeline, mapping и другие. Помимо терминов, есть еще роли - ETL разработчик и Data Engineer. В этом видео мы попробуем разобраться, что такое ETL, как термин и как инструмент. Вы узнаете:

📌 Что такое ETL?
📌 Чем отличается ELT от ETL?
📌 Что такое Data Pipeline и почему это так называется?
📌 ETL для Big Data
📌 ETL в облаке (Cloud)
📌 Клиент-Сервер для ETL
📌 Batch vs Streaming
📌 ETL разработчик vs Data Engineer

https://www.youtube.com/watch?v=3IRU-E_BnYc

Предложили идею для вебинара. Я не смогу рассказать про отечественный setup и цены, но вижу, что вопросы очень правильные. Возможно сделать комлексный вебинар, где 2-3 человека расскажут про кейсы и ответят подробно на вопросы. Пишите в комментах, если хотите выступить у нас на вебинаре по такой теме.

Свежий пост про сертификацию. Звучит мощно "лучший сертификат для Data Science". Я его сдавал на конференции Enterprise Data World, но он совсем не про Data Science, он про Data Management и тоже бесполезный, зато они баксов 100 с меня взяли за экзамен🤗

Всем привет, новый вебинар от Романа:

Короче Друзья!
Тут такое дело, DataLearn просто намбер ван!
Просили спикера из России, вы конечно же, ну а мы что - берите, наслаждайтесь!
Завтра вебинар по питону, а если точнее. то тема вебинара:
"PYTHON для работы с данными".
Любителей посмотреть "потом" прошу быть, так как если вебинар сложится, то для вас будет потом целый курс по питону от этого спикера.
Имя учителя - Дмитрий Беляев
О спикере:
2014 HSE BSc Economics and Finance
2020 HSE MSc Data-driven Communications
В ДС в маркетинге ~ 2года
Senior Data Scientist - Sber, ранее работал в Omnicom, Publicis.
Для тех, кто думает, что не дорос до питона - комон гайз мы же DataLearn.
На заметку - ничего страшного если не закончили 3-й модуль, это питону не мешает :slightly_smiling_face:
Во сколько движ:
В 14:00 (мск) 07.11.2020 в прямом эфире на нашем ютубе - да, знаем, что суббота, но за бесплатно можно и подвинуть свои планы.
Всех ждем.
Обязательно подписаться на наш ютуб и нажать колоколчик.
Вперед ребята! Обнял всех вас
https://youtu.be/gDd4WFiXjj0

Когда забыл проверить источник данных своего отчета 😂

Автоматизация в Python для Data Engineering с использованием библиотеки Python Prefect. Можно даже позиционировать как замену или дополнение Airflow.

Ну и традиционный вопрос, кто-то использовал?

Если кто-то захочет производить качественный видеоконтент, например для видеокурсов, то вот очень круто расписано, как можно собрать студию. У #datalearn пока бюджетный вариант на Pixel 3xl + external mic.

Буду выступать на крупнейшей Data Science конференции в Восточной Европе, где расскажу про взаимодействие команд, создании современных аналитических решений в облаке и ML решениях.

Отличный способ удивить коллег, нарисовать портрет в Табло. Все очень просто - с помощью кода можно обработать фотографию и записать координаты каждого пикселя и потом визуализировать в Табло. Пример в этом блоге.

Всем привет! Хотел с вами поделиться новостью. Себе на день рождение (у меня 10 ноября🥳) я сделал интересный подарок. Я уволился из Амазон, почти после 5 лет работы и устроился в Microsoft в Ванкувере, на позицию Senior Data Engineer в gaming. Буду строить платформу данных для студии, которая выпускает Gears of War. Теперь полностью погружаюсь и индустрию игр. Мой старший сын рад больше меня))) Да и мне тоже нравиться.

Но я все еще не люблю Power BI и SSAS кубы. В качестве решения, я хочу использовать Databricks, чтобы создать Delta Lake. В целом мне нравится, что я могу создать impact на студию и построить что-то инновационное для индустрии игр в Microsoft, осталось придумать что и как🙈

PS если есть крутые ресурсы и видосы по теме, кидайте в комменты.

Уже ни раз говорили про DBT tool, инструмент для трансформаций данных (ELT) с помощью SQL. Они получили 2й раунд инвестиций.

Вот и mail.ru выкатил свои облачные сервисы, будет у них вебинар и можно будет сравнить с Яндекс облаком. https://events.webinar.ru/mcs/bigdata1

День про Инжиниринг Данных, должно быть интересно. Как я понял есть доступ на бесплатные доклады, так что обязательно посмотрите, Алексей собрал крутецкие доклады. 😎

Андрей Осипов, в своем канале "Школа бородатого аналитика" публикует как свои материалы (в последнее время больше про bigquery и новую версию google analytics 4), так и интересные и полезные решения в целом, про веб-аналитику и инженеринг данных;

А еще он сделал группу поддержки (https://t.me/firebase_app_web_bigquery), для тех, кто хочет использовать ga4, firebase analytics и bigquery в своих проектах.

Следом за мной, создатель python тоже устроился в Microsoft 🤗(или наоборот).