Spark 3 никто еще не пробовал? https://medium.com/javarevisited/spark-3-0-new-functions-in-a-nutshell-a929fca93413

ETL на Python https://towardsdatascience.com/python-etl-tools-best-8-options-5ef731e70b49

Затронуло кого кризисы в ИТ? Слышал, что сокращают зарплаты и предлагаю уйти по собственному желанию. Если раньше ИТ было надежным местом, то теперь самое надежное это свой огород, как у вас? https://habr.com/ru/company/jugru/blog/507354/

Вот это интересно, stackoverflow позволяет искать remote jobs, вот пример data engineer https://stackoverflow.com/jobs?id=380126&q=data+engineer&r=true

В datalearn мы говорили про 3nf в качестве модели данных. А какие бывают форму и в чем различия? https://habr.com/ru/post/254773/

Нашел свои заметку про требования к кандидатам DW/ETL/BI в 2014. Не считая облака, мало что изменилось с тех пор.

Ещё одна статья про сравнение озера данных и хранилища

AWS SageMaker - фреймворк для Machine Learning и Data Science. Или уже не модно использовать data science)). А вот курс End to end SageMaker Workshop на гитхаб https://github.com/data-science-on-aws/workshop

Авторы курсы из AWS еще и книгу написали. https://www.oreilly.com/library/view/data-science-on/9781492079385/

Последние пол года я пытался записаться на курсы по SageMaker, но все не было места. Мы даже его используем для Alexa Churn модели. И так получилось что я записался на Machine Learning Accelerator (3 дня курс) и параллельно с этим попал на курс по SageMaker в тоже время. Начальника сказала нельзя учиться, надо работать, пришлось взять отпуск. Будет контент для модуля 12 datalearn. Кто-то использует SageMaker на работе?

Сегодня я задался вопросом в чем разница между массивом и dataframe в python. https://towardsdatascience.com/python-list-numpy-and-pandas-3a32f1aee948

Еще я придумал новый термин - HR Казино. Это когда вам предлагают сыграть в игру, типа останься и "может быть" мы повысим зарплату, точнее спросим у HR. А HR работает как казино, всегда в выигрыше, а вы в проигрыше. Поэтому я не стал с ними играть, а это значит с хайпом Alexa можно подождать. Alexa это пересечение NLU (Natural Language Understanding), AI, ML и Software Engineering. Оказалось, что рынок не так уж благосклонен к голосовым ассистентам, так как это относительно новая категория продуктов и все навыки часто очень специфичны.

Вместо платформы качества Alexa, которая кстати назваться должна была Спутник (это слово понравилось даже топам Алекса👌🏻). Я буду заниматься более приземленными вещами, где тоже надо построить платформу, но уже больше свободы. Маркетологи, трепещите😆 "The Customer Behavior Analytics team is building a big data platform to provide machine learning based solutions to measure and optimize marketing experiences. The next generation of our marketing analytics solutions will go beyond the transaction a customer makes to help us understands what customers think about our products and services. We will develop an array of solutions that create and consume data which measures and predicts customer perceptions. The platform and measurement services will be consumed across brands and page owners. "

Самое интересное, что ко мне пришла девочка, которой я помогал в 2016 году с базовыми вещами SQL/Tableau. А теперь она начальник Science команды, где строят модели для атрибуции элементов Amazon и все, что с этим связано. Так что, очень важно всем помогать, не знаешь, что будет в будущем.

Согласны с цифрами? https://habr.com/ru/company/new_hr/blog/507538/

Америку "колбасит", продлили запрет на визу H1B. Именно за счет иммигрантов в Америке собираются таланты со всему мира и создают великие компании.