Статья про ELT. Вы знаете, что данные можно грузить 2мя способами - batch (раз в сутки, в час) и streaming (поток). Batch это обычно ETL или ELT. То есть процесс загрузки и трансформации, консолидации данных. Вся разница в том, кто будет делать трансформацию, в ETL(SSIS, Informatica) у нас есть сервер, который через себя пропускает данные, значит он должен быть большой, мощный и дорогой. А в ELT, мы используем SQL и аналитическую БД для трансформаций. В облаке часто ELT, я тоже люблю ELT. Кстати plsql в Oracle, это тоже ELT.

Заметил интересный момент в Alexa. У нас в команде 4 BIE и один DE. Конечная задача понятно, мы должны деливирить аналитику, метрики, инсайты для внутренних клиентов. Мы получаем запросы на новые фифи, метрики или на изменение бизнес логики.

Проблема возникает, когда DE становится узким местом, и начинается хаос. BIE начинает решать задачу любым известным методом, обычно это custom SQL, которые оторван от основной модели данных, начинает появляться избыточность логики и данных. Все это ведет к неэффективной работы команды на long term, и в целом все аналитическое решение начинает трещать по швам.

Мне кажется, хорошая пропорция 1DE на 2BIE/Data Scientists. Если у вас действительно много аналитиков, то тогда создается Data Platfrom Core team, и уже департаменты на self-service. Но я рассказал про свой кейс. Если посмотреть почему так получается, то это видение менеджера, которому комфортно общаться с BIE и понятно, что они делают, и сложнее понять, что происходит глубже.

Сегодня утром я проснулся, и оказалось, что у меня вебинар вот-вот начнется. Наверно и вам можно зарегистрироваться. К сожалению это очень спонтанно, но я успел собрать слайды и на русском будет.

а вот и презентация

Увидел на хабре - "Золотое правила фрилансера: последняя зарплата — это та, которую тебе не заплатили."

Пока дети дома сидят важно продолжать обучение. Вот пример программы для разных классов https://docs.google.com/document/d/e/2PACX-1vSZhOdEPAWjUQpqDkVAlJrFwxxZ9Sa6zGOq0CNRms6Z7DZNq-tQWS3OhuVCUbh_-P-WmksHAzbsrk9d/pub#kix.9nnn8qypp56d

Теперь есть возможность сдать экзамен AWS онлайн. Будет полезно пройти и сдать: Cloud Practioner, Solution Architect, Big Data Specialization

Интересный вебинар от табло - как измерить возврат инвестиций от внедрения BI (Tableau).

Еще один вебинары, cloud native data 31 марта https://www.7wdata.be/event/cloud-native-data-the-foundation-of-modern-business/

Попалось куча бизнес книг на русском https://drive.google.com/drive/folders/1Yg2mo7NLb7oR50Nobcai9xWWpbUciK-1 доступно временно

Интересный сайт про сравнение градаций ролей в топ компаниях https://www.levels.fyi/?compare=Amazon,Google,Facebook,Microsoft&track=Software%20Engineer#

Как обычно супер статья. Очень классно разложил по полочками роли и особенности, можно применить не только к разработчикам ПО, но и data engineer, big data, BI, и тп. Очень важно про Soft Skills, чем старше специальность, тем важнее soft skills. Я бы еще добавил по опыту в Амазон, очень важно говорить про Operational Excellence (безопасность, бэкапы, типы данные - критичные/некритичные, аутентификация и авторазиция и тп).

25 марта будет вебинар от основателя курсов по Data Literacy - Avoiding Data Pitfalls - COVID-19 Edition https://zoom.us/webinar/register/1615850941130/WN_bwd7GEDtRcWIlZFBd0smzQ

Классная штука для Tableau - создание палитры https://color.tableaumagic.com/

31 марта будет вебинар про Data Literacy как новый скил. Будут учавствовать 2 компании Spotify и Unbounce.
https://brainstation.io/event/online-event-data-literacy-march2020

Так как конференцию отменили в San Diego - EDW20, то ее перенесли на октябрь в Чикаго, но предложили записать запись вебинара. Мне уже и почти нечего шарить с вами, не успеваю контент новый создавать🤗 Но на картинку всегда силы найдутся

Амазон набираем много студентов на стажировку, в основном в Америке. Я собеседую студентов для BI intern. Я даже не смотрю их резюме и не знаю на каком они курсе.

Тут интересный момент, когда мы готовимся проходить собеседование, для нас это центр вселенной, мы все готовы ради прохождения собеседования, особенно если на кону стоит хорошая компания и завивисит наше будущее. А вот люди, которые проводят собеседование делятся на 2 группы - Hiring Manager (заинтересованное лицо) и все остальные, кто участвует в раунде собеседований. Они как правило настолько перегружены задачами, приоритетами, что для них это "еще один митинг на 60мин" в их тяжелом графике.

В моем случае, я сначала напрягался из-за этих собеседований, но потом просто стал говорить со студентами о всем вподряд, рассказывал им как провалил собеседование в Тесла.

На стажировке BI 3 типа вопросов:
1) Статистика (Например мы хотим открыть новый дата центр AWS, как понять, где его открыть, какие данные нужны, и что с ними делать. Или, мы хотим поменять функцию поиска, как понять, что это улучшит поиск, а не ухудшит).

2) Теория БД (primary key, joins, SQL functions). Потом сам SQL, нужно исправить неправильный SQL.

3) Amazon Leadership Principals. Например, расскажи про ситуацию, когда ты взял инициативу в свои руки, и додела проект (Ownership).

Сначала я был строг. Но потом подумал, что студенты и так прошли тяжелый путь, чтобы попасть на собеседование, и я стал всех поддерживать и никого не запарывал. Если, кто-то не знает SQL или статистику, я просто накидываю ссылок на курсеру и прошу прислать мне подтверждение о прохождении.

Меня попросили ссылки скинуть, которые я скидывал студентам.

Если вы хотите работать с данными, то навык номер один это SQL. Поэтому, неважно, что вы будете делать, нужно знать SQL. Статистика это уже завивисит от задачи, я ее не знаю, а вот кто-то знает и успешно использует.

SQL:
Intro to SQL
Lean SQL
Solve SQL Challenges
Мой любимый, отечественный - sql-ex.ru Только там теперь жесть какая-то с рекламными баннерами.

Статистика:
Basic Statistics


А вот остальные курсы, которые будут полезны, практически все они бесплатные!
Аналитика:
Basic Data Processing and Visualization
Data Visualization and Communication with Tableau
Data-driven Decision Making with PWC
Data Analysis and Presentation Skills: the PwC Approach Specialization
Strategic Business Analytics Specialization
Business Analytics Specialization
Business Analytics Executive Overview
Excel to MySQL: Analytic Techniques for Business Specialization
Building High-Performing Teams
Doing Business in China Capstone

А по AWS много материалов у AWS.
Overview of AWS: AWS Cloud Practitioner Essentials (Second Edition) - 6hours
Data Analytics Fundamentals 3.5 hours
Amazon Redshift Tutorial (бесплатно)

Microsoft курсы на edx.
Analyzing and Visualizing Data with Power BI
Spark and Databricks

Google Cloud Platform:
Data Engineering, Big Data, and Machine Learning on GCP Specialization
Google Data Engineer