Интересная у меня лента в google pixel, все новости про , российские компании. Вот про Яндекс.

Прислали про data vault на русском

Кстати из интересного, пока все бегут работать в Data Scientists, в Амазон data scientists переходят в SDE. Вчера мне менеджер ответила на очередной крик душу про повышение зарплаты - чувак становись SDE, там больше платят. 🤦‍♂️ Поэтому варианта 2:
1) Быть близко к бинесу, насколько это вообще возможно
2) Быть крутым программистом с Computer Science degree

А если не 1 и не 2, то уже приходиться изобретать. По моим наблюдениям в Северной Америке в среднем на вакансию откликается 50-100 человек, то есть тут уже даже проблема, не в том, чтобы пройти собеседование, а как его вообще на него попасть. Так же, чтобы не говорили про diversity, это работает не так хорошо.

Получается, все старо как мир, нужны личные знакомства.

Прикольная штука https://airflow101.python-jitsu.club/ курс по Airflow! Я бы записался, но знаю точно, что не пройду до конца, и потеряю 5к, поэтому не запишусь. На нашем ресурсе datalearn мы тоже затронем Airflow, но без углубления.

Airflow - это такой популярный open source инструмент для интеграции данных (в народе ETL).

Кстати в Amazon его используют, недавно нашел команду, кто от него отказывается, типа сложно поддерживать

Тут про роли https://youtu.be/5OkCvQOF3Wg

Это прям нереально круто! Есть такой же кейс в Амазон, я даже встречал его в аэропорте Сиэтла. Я считаю это очень важная тема. Например в Северной Америке, люди живут полной жизнью, а в России с этим сложно.

Современные технологии позволяют работать удаленно и эффективно. COVID19 показал, что это уже и не так важно быть в офисе. Для data learn одной из идей, мы хотели бы помогать людям, действительно кому нужна помощь, мы может обучать профессия BI разработчик, дана инженер, аналитик. Для этого нужно несколько составляющих:
1)нуджно донести информацию для желающих (я пытался писать в группах вконтакте и даже написал в одну организацию, никакого отклика)
2)помогать усваивать материал силами сообщество, которое уже есть
3)работадателям меня их мировоззрение и брать на работу людей с disabilities.

Если кто-то знает как быть с 1 и 3, было бы здорово сделать пилотный проект.

Автор сравнивает облачное и традиционное DW, ETL и ETL. Как я понял автор из AWS. И перевел white paper panoply (даже не слышал про такое).

Обязательно подпишитесь на youtube 🤗https://www.youtube.com/watch?v=Ei21wxKKCMI

Огого - 20 мая 10 лет BigQuery! https://www.youtube.com/watch?v=O4_q2fQ1sJw&feature=youtu.be

Для Северной Америке главный интерес сейчас вокруг миграции DW (не важно откуда и куда, но главное все мигрировать и модернизировать), обычно это будет одна из 4х платформ Redshift, Azure Synapse, Big Query, Snowflake. (Или это просто мой feed и мой bias)

Проблемы с данными

Из комментариев:

Dmitry Pimkin
13:56
По алгоритмам и структурам данных есть два очень крутых курса на русском:
https://stepik.org/course/1547/syllabus
https://stepik.org/course/217/syllabus
Они даже переведены на английский и достаточно популярны на Coursera: https://www.coursera.org/specializations/data-structures-algorithms

Знакомый подписчик рассказывает от том, как собрать governance as a code на основе Open Policy Agent https://ritfest.ru/2020/abstracts/6857 . Есть идеи как использовать данный продукт в хранилищах данных?

Обзор вакансий data engineer, аналитик, bi разработчик на hh, indeed, amazon. На что я обращаю внимание, и заодно можно разглядеть 2 типа инженера.https://www.youtube.com/watch?v=A18WOwkInoQ (подписывайтесь!🤗)

А вот про архитектуру аналитического решения https://youtu.be/_M8yxr2Inyo