Кстати из интересного, пока все бегут работать в Data Scientists, в Амазон data scientists переходят в SDE. Вчера мне менеджер ответила на очередной крик душу про повышение зарплаты - чувак становись SDE, там больше платят. 🤦‍♂️ Поэтому варианта 2:
1) Быть близко к бинесу, насколько это вообще возможно
2) Быть крутым программистом с Computer Science degree

А если не 1 и не 2, то уже приходиться изобретать. По моим наблюдениям в Северной Америке в среднем на вакансию откликается 50-100 человек, то есть тут уже даже проблема, не в том, чтобы пройти собеседование, а как его вообще на него попасть. Так же, чтобы не говорили про diversity, это работает не так хорошо.

Получается, все старо как мир, нужны личные знакомства.

Прикольная штука https://airflow101.python-jitsu.club/ курс по Airflow! Я бы записался, но знаю точно, что не пройду до конца, и потеряю 5к, поэтому не запишусь. На нашем ресурсе datalearn мы тоже затронем Airflow, но без углубления.

Airflow - это такой популярный open source инструмент для интеграции данных (в народе ETL).

Кстати в Amazon его используют, недавно нашел команду, кто от него отказывается, типа сложно поддерживать

Тут про роли https://youtu.be/5OkCvQOF3Wg

Это прям нереально круто! Есть такой же кейс в Амазон, я даже встречал его в аэропорте Сиэтла. Я считаю это очень важная тема. Например в Северной Америке, люди живут полной жизнью, а в России с этим сложно.

Современные технологии позволяют работать удаленно и эффективно. COVID19 показал, что это уже и не так важно быть в офисе. Для data learn одной из идей, мы хотели бы помогать людям, действительно кому нужна помощь, мы может обучать профессия BI разработчик, дана инженер, аналитик. Для этого нужно несколько составляющих:
1)нуджно донести информацию для желающих (я пытался писать в группах вконтакте и даже написал в одну организацию, никакого отклика)
2)помогать усваивать материал силами сообщество, которое уже есть
3)работадателям меня их мировоззрение и брать на работу людей с disabilities.

Если кто-то знает как быть с 1 и 3, было бы здорово сделать пилотный проект.

Автор сравнивает облачное и традиционное DW, ETL и ETL. Как я понял автор из AWS. И перевел white paper panoply (даже не слышал про такое).

Обязательно подпишитесь на youtube 🤗https://www.youtube.com/watch?v=Ei21wxKKCMI

Огого - 20 мая 10 лет BigQuery! https://www.youtube.com/watch?v=O4_q2fQ1sJw&feature=youtu.be

Для Северной Америке главный интерес сейчас вокруг миграции DW (не важно откуда и куда, но главное все мигрировать и модернизировать), обычно это будет одна из 4х платформ Redshift, Azure Synapse, Big Query, Snowflake. (Или это просто мой feed и мой bias)

Проблемы с данными

Из комментариев:

Dmitry Pimkin
13:56
По алгоритмам и структурам данных есть два очень крутых курса на русском:
https://stepik.org/course/1547/syllabus
https://stepik.org/course/217/syllabus
Они даже переведены на английский и достаточно популярны на Coursera: https://www.coursera.org/specializations/data-structures-algorithms

Знакомый подписчик рассказывает от том, как собрать governance as a code на основе Open Policy Agent https://ritfest.ru/2020/abstracts/6857 . Есть идеи как использовать данный продукт в хранилищах данных?

Обзор вакансий data engineer, аналитик, bi разработчик на hh, indeed, amazon. На что я обращаю внимание, и заодно можно разглядеть 2 типа инженера.https://www.youtube.com/watch?v=A18WOwkInoQ (подписывайтесь!🤗)

А вот про архитектуру аналитического решения https://youtu.be/_M8yxr2Inyo

С сентября в University of Victoria я буду преподавать Cloud Computing для студентов MBA и для курсов повышения квалификации. Скорей всего это будет AWS Educate + Azure. Заодно можно будет и на русском сделать этот курс для data learn

Data Learn начинался как супер ресурс для Data Engineering. Но программа получилась такая, что она пойдет даже тем, кто вообще без опыта (и мне даже так легче, последовательно). Реальный DE начнется в модуле 5-6. Но зато всем будет понятно, что это.

Если есть простые вещи, просто пропустите и мы дойдем до вещей по сложней. Зато, возможно ваши знакомые кто, слышал про ИТ и думает, что это только программирование, computer science и Machine Learning, смогут отрыть для себя новый мир, где нет высоких входных требований, и от простого идти к сложному.

В общем небольшой обзор Excel. Это такой опциональный вариант, для аудитории, кто совсем без опыта. Уверен много классных ресурсов по Excel (скиньте в комменты ссылки).

Один из учеников - Павел Новичков создал дашборд для примера и пишет пошаговую инструкцию, как можно сделать такой же.

Учите Python? Попался классный ресурc Learn Python on AWS Workshop