Амазон запустился в Швеции, возможно будут туда делать релокейшн крутых спецов из России и других стран СНГ.

Не так давно я переименовал свой Linkedin с Data Engineer в Analytics Engineer. И потом крус на datalearn переименовал из Data Engineering в Analytics Engineering. Как видно из подкаста я это сделал не случайно. Если data engineer фокусируется на разработке pipelines, то analytics engineer для меня делает полностью весь цикл решения end to end. Интересно, что он делает согласно подкасту

Заключительный урок для модуля 3: Fancy BI Tools

На рынке существует огромное количество BI инструментов. В модуле 3 мы уже познакомились с лидерами индустрии и попробовали их в деле. Так же мы попробовали разные сервисы для визуализации. А теперь, чтобы полностью закрыть тему Business Intelligence, я хочу вас познакомить еще с рядом интересных BI решений, которые активно используются на западе.

В этом видео мы узнаем:
📌 Про fancy BI tools
📌 ThoughtSpot
📌 Looker
📌 Opensource решения Redash и Dash
📌 Mode, Sigma, Chartio
📌 Посмотрим на финальный проект для модуля 3

Microsoft время не теряет и выпустил очень интересный сервис, причем бесплатный - Microsoft Clarity. Это инструмент для веб аналитики аналогично google analytics, который так же позволяет записывать клиентские сессии и смотреть heatmap по кликам. В общем очень интересное решения с точки зрения аналитики, особенно если строить решение на Azure. Интересно какие там ограничения.

Как говаривал Остап Бендер - “«Лёд тронулся, господа присяжные заседатели!»” И вот уже интро для модуля 4 про интеграцию и трансформацию данных.

Мы часто слышим про serverless архитектуру решений, в том числе и аналитических. На русском языке мало ресурсов по AWS, но вот есть хорошая статья про AWS Lambda (function as a service).

Data Engineer + Data Scientist

Введение в Pandas на русском. https://dfedorov.spb.ru/pandas/

Из slack #datalearn

Заказал книжку с многообещающим названием - Data Engineering with Python.

И еще Designing Cloud Data Platforms. Ее пишут уже больше года и планируют закончить в январе 2021. За время пока ее пишут технологии сильно меняются, это минус книг про технологии. Пока мы пишем книгу, появляются новые фичи и подходы и книга может быть немного устаревшей). Один из авторов наш соотечественник - Danil Zburivsky.

Очень удобно получилось - VSCode + Markdown Preview. И все это дело sync через GitHub Desktop. Будущее наступило для меня))

Попалось очень хорошее видео от Head of DE в Zalando на русском. “Дата-инженеры и кому они нужны / Валентин Гогичашвили (Zalando SE)”.

Под последним вебинаром - "ПОИСК РАБОТЫ ДЛЯ АНАЛИТИЧЕСКИХ СПЕЦИАЛЬНОСТЕЙ", где Анастасия разложила все по полочкам, как создать резюме и показать себя с лучшей стороны (продать подороже) у нас есть 2 комента:

1) Анастасия за лучший вопрос подарит консультацию, так что задавайте вопросы в комментариях. И если не смотрели еще, обязательно посмотрите.
2) Евгений оставил прекрасный фидбек. Мы искренне рады, что наша информация ему помогает. Лучшая награда для нашего ресурса это ваши истории, когда знания вам помогают достигать ваших целей.

Flink SQL - интересная технология для инжиниринга данных.

Один из подписчиков @AlexRattnik (кому подходит, пишите ему напрямую) попросил помочь найти к нему в команду Middle Data Engineer (Full-time). Он работает в сервисе онлайн образования в Москве. Пока COVID - работа из дома, потом - офис м.Октябрьская
Вилка: 120-160k net

Описание: Основной задачей команды является сбор и обработка данных для принятия управленческих решений, улучшения продукта, аналитики и машинного обучения.

Что предстоит делать:
- Поддержка и развитие инфраструктуры обработки данных. Используем HDFS,Mongo, Postgree, Dremio
- Написание и поддержка существующих ETL. Используем Python и Prefect.
- Участие в проектировании и внедрении DWH

Что мы ожидаем:
- Продвинутый опыт работы по администрированию Linux, Bash, Docker, git
- Опыт написания кода на Python
- Отличные навыки SQL, работы с реляционными БД (PostgreSQL ) и NoSQL
- Опыт по построению DWH и проектированию ETL

Будет плюсом:
- Опыт взаимодействия с Kubernetes, Prometheus, Grafana, Gitlab CI
- Работа с Clickhouse
- MLOps
- Умение работать со Spark, Hadoop, Kafka

Что мы предлагаем:
- ДМС;
- Гибкий график работы (время начала рабочего дня в интервале с 9 до 12)
- Работу в молодой и драйвовой команде
- Бесплатный доступ к любым нашим курсам и корпоративная скидка на обучение Английскому языку у наших партнеров.