Инжиниринг Данных
23.4K subscribers
1.92K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
А в этой статье обсуждается стоимость аналитического решения на Microsoft Azure. Уже понятно, что на облаках можно все сделать просто и быстро (относительно конечно), но при этом еще можно потратить очень много денег, и даже не заметить этого
Хотел поделится успехами одного из студентов. Я про него писал, он местный канадец, работал поваром. Во время пандемии его сократили. Мы как-то разговорились перед тренировкой джиу джитсу летом, я как обычно предложил ему стать BI разработчиком (наверно я предлагал всем своим знакомым🤔, у меня и других тем для разговора нет🤪). К моему удивлению он согласился.

Я его нагрузил материалами, книгами и курсами. Так как datalearn на русском, то пару студентов вызвались добровольцами переводить ему контент и помогать, ну и практиковать английский заодно.

Если честно, я даже удивился результатам:
1. Сделал хороший Linkedin профайл
2. Он сдал сертификат по AWS Cloud Practitioner.
3. Он прошел кучу курсов на Linux Academy, Cloud Academy и несколько на Coursera
4. Он стал учавствовать в MakeOverMonday по Tableau и уже нарисовал хорошие дашборды.
5. Он завел блог на medium и пишет чего-то там, выглядит солидно, пусть даже очень базовые вещи.
6. Он сделал резюме в Tableau

Сейчас он нашел контракт на PowerBI в местной консалтинг компании. “Человек сам кузнец своего счастья” - это прям про него. Я ему указал направление и за месяцев 8 он сделал такой крутой скачок. Он даже слово “аналитика” не знал, не то, чтобы SQL.

Поэтому, все в ваших руках!🤗
😊😜🤫
Нашел интересное:
Artificial Intelligence = linear regression & decision trees

Smart Algorithms = random forest

Next-Gen machine learning = boosted trees

AutoML = import autosklearn

Intelligent Automation = Windows scheduler, crontab

MLOps = docker

Analytics at scale = no more excel

Customer-centric data lake = we have customer_id in our database tables

Serverless Architecture = I have no idea what a server is

Cloud APIs = my dev-ops guy made me click some link

Advanced Analytics = SQL

DataViz Guru = library(ggplot2)

Data Consultant = often draws convenient conclusions from data

Advanced ML/DL = Python

Image Recognition = MNIST

NLP Experts = transfer learning on GTP-3/Bert

Reproducible experiments = jupyter notebooks

Maintain source code = git add . && git commit -m "yolo" && git push origin master

Distributed Analytics = no more MySQL on a laptop

Experimentation Framework = z-tests

Advanced Statistics = random control groups

Customer loyalty focus = we spam them with emails

Centre of Excellence = fancy team name to justify payrises

HR analytics = people leave, we didn't pay them enough


Добавляйте свои примеры в комменты
🐳1
Замечательные новости, скоро расшарю интересную вакансию в Москве. Оплата поста как обычно идет в организацию https://vsevsevmeste.ru/ (3000 рублей). Это хороший тренд использовать деньги за рекламу в постах на что-то хорошее. Все просто, если я не трачу свое время, то почему бы не направить эти деньги на что-то хорошее. Возможно и другие каналы могу работать по такой же модели🤗
Пообщался со Slalom недавно, раз так 7. В итоге они предложили интересную позицию Director - Data Engineering. Они открывают офис в Ванкувере и хотят развивать компетенцию Data Engineering, вырастить практику до 30 человек. Это первый раз когда история про Rock Your Data сработала на все 100%.

С одной стороны это большой риск, развивать консалтинг во время пандемии. Но где большой риск, там большие возможности. Морально я готов потерять работу и провести пол года на Бали или около того. Несмотря на то, что. Slalom это крутая компания, зарплата директора ненамного больше старшего инженера в FAANG и нет стока. Так же это суета, меньше времени с семьей. Но при хорошем раскладе это может быть отличное развитие карьеры. Из главных минусов, это то, что я начал работать в Microsoft совсем недавно, и это будет очень неудобно и некрасиво уходить. В общем это первый раз когда я абсолютно не уверен, что делать дальше.
Ребята, а вот супер крутые новости про #datalearn. Так уж получилось, что мы решили занять нишу для совсем начинающих в дата профессиях. И я с удовольствием представляю вам новый курс по data science. Вы сможете узнать, что такое data science, и если вам понравиться, то уже можно самостоятельно продолжить углубляться. Курс подойдет не только будущим data scientist, но и BI разработчикам, инженерам данных, продуктовым аналитикам и менеджерам, чтобы получить представление как это работает и как лучше взаимодействовать с отделом Data Science.

Представляем Вам курс по Getting Started with Machine Learning и Data Science (кодовое название ML - 101).
Преподаватель курса:
Анастасия Риццо
Задача курса:
- помочь вам войти в профессию “с нуля”;
- создать фундамент знаний;
- привить вам любовь к Data Science;
- дать вам возможность примерить на себя профессию Data Scientist.

Курс состоит из 3 модулей. Первый модуль это теория, Второй и Третий модуль это теория вместе с практикой.
За прохождение каждого модуля вы получите значок. Наберете 3 значка, получите финальный сертификат о прохождении курса!


Требуется серьезная мотивация и целеустремленность, чтобы закончить курс, и если вы справитесь со всеми модулями курса ML-101, то вы легко справитесь с базовым уровнем задач на позициях Data Science Intern, Junior Data Scientist, Applied Scientist.


Линк на интро: https://youtu.be/g2azOLGzeNo
Регистрация на странице:
https://datalearn.ru/kurs-po-ml-ds
А вот и вакансия! Всегда круто когда команда создается с 0, есть возможность строить инновационные дата продукты.

Вакансия: Senior DWH Developer в Циане
(Москва/Питер/Удаленка)

Циан – крупнейший в России сервис для поиска недвижимости. 18 лет мы помогаем людям найти, сдать, продать жилье по всей России. Циан не просто сайт, это высокотехнологичная компания, которая входит в топ-10 лучших сайтов по недвижимости в мире.

Сейчас мы выводим нашу аналитику на новый уровень с точки зрения эффективности и ценности для Циан. Формируем с 0 команду “Аналитическая Платформа”, и ищем 2ух DWH-разработчиков грейда Senior и Middle.

Задачи, которые могут стать твоими:

🔹Разработка модели данных;
🔹Разработка и развитие ETL фреймворка;
🔹Разработка витрин данных;
🔹Разработка системы контроля качества данных.

Подробнее о позиции и условиях:
https://hh.ru/vacancy/40289639
Контакты для вопросов и резюме (Настя):
a.uzzhina@cian.ru, @NastyaUzzhina - telegram.
Apache Superset выпустил версия 1.0, то есть полноценный BI инструмент (продукт). https://preset.io/blog/2021-01-18-superset-1-0
Кто нибудь использует его?
Давненько я нигде не выступал, но это важный атрибут современной карьеры. Вообще не важно о чем говорить и где, главное практиковаться🤪 в этот раз это будет митап в Торонто по big data и data science, где 14к пользователей. Меня конечно смущает, что организатор это псевдо школа по аналитике wecloud, которые впаривают курсы по Канаде.
Хорошая презентация про классику - Dimensional Modelling. (от 15 декабря 2020)

Dimensional modelling described in the Kimball Toolbook was in its 3rd edition 15 years ago yet is still the latest in data modelling advice. So much is different in cloud warehouses that many of those best practices are now bad practices. In this video Dave Fowler, the founder of Chartio and author of Cloud Data Management goes over what no longer applies, and what does.

А про Chartio было в Fancy BI tools на 3м модуле;)
Мы провели очередную Tableau User Group в Vancouver. Было 2 топика:

1. Data Visualization for Global Health at PATH: Jonathan Drummey, Data Visualization Specialist, PATH
2. Latest Feature in 2020.4, and a sneak peak of 2021.: Honto Ming, Tableau (тут можно подсмотреть про roadmap табло и новые фичи от Product Manager Tableau)
Я очень много рассказываю про облачные решения для аналитики (AWS, Azure, GCP). Они уже стали де-факто стандартом в Северной Америке, да и в Европе, наверно тоже. Есть и российские компании, которые создают облако, например Yandex cloud и Mail Cloud. Про mail я совсем не слышал ничего, а вот Яндекс переодически появляется в ленте. Я им недавно написал и предложил провести вебинар для нас, что рассказать про возможности облака, примеры и кейсы. Так же один из подписчиков Сергей Сорокин, который работает в яндекс облаке, скинул материлы по облаку, если вам интересно - Итоги Yandex Cloud за 2020.

Если у вас есть уже опыт или есть какие вопросы для вебинары, пишите в комментах.
Знаете кто это? Это самый популярный мем сейчас!))
А тут было написано, что теперь адские отчёты в excel замёрзли, навсегда!))
И в google дата центре
Интересная ситуация с онлайн образованием. Наверно ещё и коллекторы придут, спросят с вас🙄 кредиты дело такое, лучше не связываться. Никто не попадал?

Я не против онлайн образования за рубли, но я за прозрачность и качество. Если мы платим кучу денег, то за эту кучу денег должны быть гарантии трудоустройства и контент должен быть очень высокого качества.