Презентация - dataops для современного хранилища данных на Azure
www.slideshare.net
DataOps for the Modern Data Warehouse on Microsoft Azure @ NDCOslo 20…
Talk Description: The Modern Data Warehouse architecture is a response to the emergence of Big Data, Machine Learning and Advanced Analytics. DevOps is a key a…
Как проверит качество издания? Например CNews? Оказалось просто, они проводят конференции по аналитике, я им предложил рассказать про DataOps, про аналитику, которуб делает Амазон. Они мне сказали, конечно рассказывай, но будет стоить тебе 85т рублей😂 Соответственно, они не могут быть качественным издательством, кто платит, тот и музыку заказывает. А вы что думаете про них?
Spark 3 никто еще не пробовал? https://medium.com/javarevisited/spark-3-0-new-functions-in-a-nutshell-a929fca93413
Medium
Spark 3.0 — New Functions in a Nutshell
Recently Apache Spark community releases the preview of Spark 3.0 which holds many significant new features that will help Spark to make a…
Затронуло кого кризисы в ИТ? Слышал, что сокращают зарплаты и предлагаю уйти по собственному желанию. Если раньше ИТ было надежным местом, то теперь самое надежное это свой огород, как у вас? https://habr.com/ru/company/jugru/blog/507354/
Хабр
Влияние кризиса на IT: уволят ли нас всех
Нередко вижу слова в духе «по другим отраслям коронавирус сильно ударил, а вот IT практически не затронул». Мол, веб-сервисы от карантина только выиграли, писать код можно и удалённо, а раз...
Вот это интересно, stackoverflow позволяет искать remote jobs, вот пример data engineer https://stackoverflow.com/jobs?id=380126&q=data+engineer&r=true
В datalearn мы говорили про 3nf в качестве модели данных. А какие бывают форму и в чем различия? https://habr.com/ru/post/254773/
Хабр
Нормализация отношений. Шесть нормальных форм
В данной теме я затрону 6 нормальных форм и методы приведения таблиц в эти формы. Процесс проектирования БД с использование метода НФ является итерационным и заключается в последовательном переводе...
К собеседованию - Evernote.pdf
88.6 KB
Нашел свои заметку про требования к кандидатам DW/ETL/BI в 2014. Не считая облака, мало что изменилось с тех пор.
AWS SageMaker - фреймворк для Machine Learning и Data Science. Или уже не модно использовать data science)). А вот курс End to end SageMaker Workshop на гитхаб https://github.com/data-science-on-aws/workshop
GitHub
GitHub - data-science-on-aws/data-science-on-aws: AI and Machine Learning with Kubeflow, Amazon EKS, and SageMaker
AI and Machine Learning with Kubeflow, Amazon EKS, and SageMaker - GitHub - data-science-on-aws/data-science-on-aws: AI and Machine Learning with Kubeflow, Amazon EKS, and SageMaker
Авторы курсы из AWS еще и книгу написали. https://www.oreilly.com/library/view/data-science-on/9781492079385/
O’Reilly Online Learning
Data Science on AWS
With this practical book, AI and machine learning practitioners will learn how to successfully build and deploy data science projects on Amazon Web Services. The Amazon AI and machine learning … - Selection from Data Science on AWS [Book]
Последние пол года я пытался записаться на курсы по SageMaker, но все не было места. Мы даже его используем для Alexa Churn модели. И так получилось что я записался на Machine Learning Accelerator (3 дня курс) и параллельно с этим попал на курс по SageMaker в тоже время. Начальника сказала нельзя учиться, надо работать, пришлось взять отпуск. Будет контент для модуля 12 datalearn. Кто-то использует SageMaker на работе?
Сегодня я задался вопросом в чем разница между массивом и dataframe в python. https://towardsdatascience.com/python-list-numpy-and-pandas-3a32f1aee948
Medium
Python List, NumPy, and Pandas
How to choose the right data structure from Python list, Numpy array, and Pandas DataFrame