Инжиниринг Данных
21K subscribers
1.57K photos
33 videos
176 files
2.86K links
Делюсь новостями из мира аналитики и вредными карьерными советами;)

8 лет в FAANG, инвестиции в недвижимость, компании и акции, solo entrepreneur🏄‍♂️
Download Telegram
Будем считать, что на канале и на datalearn мы сажаем семена знаний😜
Forwarded from data будни
нужны ли алгоритмы программистам?

холиварный выпуск Moscow Python подкаста: Григорий Петров и Злата Обуховская накидывали на вентилятор, направленный на Асю Воронцову из Яндекса.

Тезис №1: знание алгоритмов нужны только тем, кто работает с высоконагруженными сервисами, где важна эффективности. Типа ядра Линукса или поисковика Яндекса. (важно отметить: даже в самом Яндексе не все работают с хайлоадом)

Тезис №2: внедрение алгоритмов в код ухудшает его читаемость. Это важно, т.к. код больше читается, чем пишется.

Тезис №3: времязатраты на написание эффективного кода не всегда окупается. Можно потратить две недели на код, который даёт всего 5% в сравнении с уже готовой библиотекой.

Тезис №4: профилировщик — лучший друг программиста. Это снимает большинство вопросов с эффективностью. Например, он подскажет, если вдруг код зайдёт в цикл.

Тезис №5: в больших компаниях спрашивают знание алгоритмов (и умение их писать на бумажке) не только ради самого знания, но и просто как ещё один фильтр, чтобы отсеять людей, которые уже приложили усилия и вызубрили редко используемую информацию.


Подкаст в iTunes и overcast
Самая главная книга про Spark от его создателей. Теория + практика на Scala и Python. Я себе купил такую книга, где-то за 50$, но мне амазон вернет, а вам нет. Но оказывается есть и в PDF -> https://www.pdfdrive.com/spark-the-definitive-guide-big-data-processing-made-simple-e184791342.html
А это уже advanced уровень, для серьезного использования приложения. Я тоже купил. Я где-то покупаю по 2 книги в месяц, лучше бы я столько читал в месяц. 🤔 PDF -> https://www.pdfdrive.com/high-performance-spark-best-practices-for-scaling-and-optimizing-apache-spark-e158286073.html
В обще это 2 топ книги по spark. Но нужно еще знать Python или Scala для Spark. И не забывать, что есть 2 типа инженера данных - hardcore и gentle. В зависимости от задач и целей, можно двигаться от одного к другому. Я вот ощущаю себя gentle, и теперь хочу развиваться в hardcore, поэтому и фокусируюсь на python, spark. Даже не смотря на то, что на работе могу решать все задачи без Spark/Python.
У Амазон есть конференция - re:Mars. Это конференция, на которой рассказывают про самые современных технологии, роботов, искусственный интелект, космос и тп. Если вы хотите заглянуть в будущее, то это отличный способ сделать это.

re:MARS is Amazon's global AI event on Machine learning, Automation, Robotics, and Space. Amazon re:MARS combines the latest in forward-looking science with practical applications that will inspire you to initiate change and accelerate AI innovation within your organization.

https://www.youtube.com/channel/UCgkkeHebGYy7udnkNAeBv0w
Супер крутые новости - Tableau Conference в этом году полностью бесплатна и онлайн! 7-9 Октября, регистрация здесь: https://www.tableau.com/community/events/conference

Кому будет полезно?
1. Tableau разработчикам и просто BI разработчикам - вы узнаете много нового и увидите примеры внедрений аналитических решений и лучшие практики со всего мира
2. Руководителям аналитики - вы будете лучше понимать, как можно строить эффективные аналитические решения (причем не только на Tableau, а в целом)
3. Руководители бизнес подразделений - вы увидете насколько аналитика и визуализация может быть эффективна и полезна для бизнеса
4. Новичкам - не важно на кого вы учитесь - программист, инженер данных, саентист,аналитик - вы сможете понять почему столько много шума вокруг данных, и почему Tableau лидер в этой области.
5. Рекрутерам - вы поймете каких людей искать и о чем с ними говорить на собеседовании
6. Учите английский? - Идеальная замена сериалам, netflix, Ted talks и тп.
Один из создателей Netflix написал книгу "No Rules Rules: Netflix and the Culture of Reinvention ", доступна в магазине Амазон с 8 сентября.

https://www.amazon.com/No-Rules-Netflix-Culture-Reinvention/dp/1984877860/
Рома Бунин делает сегодня презентацию для дата сообществ Амазон (5т+ человек)🥳
Analytics & Data Engineering Manager.pdf
177 KB
Вчера меня попросили поделиться свежим резюме, расшарю здесь тоже. Из популярных трендов:
- коллаборация с prodcut managers
- коллаборация c science teams
- privacy (GDPR and so on)
- analytics modernization
Ещё одна бесплатная книга про ML
https://dafriedman97.github.io/mlbook/content/introduction.html
Вот это я понимаю правильный подход!) - "Глава Netflix объяснил, почему нельзя платить сотрудникам премии по KPI"
Оч крутые новости, благодаря рекламе в канале можно сделать маленькое доброе дело. На картинке перевод 10т рублей в фонд "измени одну жизнь". Это фонд записывает видео для детей сирот, чтобы помочь им найти родителей. А скоро я опубликую рекламу, а вы с ней обязательно ознакомьтесь🙏
Всем привет! Команда аналитики Яндекс.Практикума ищет маркетингового аналитика.

Яндекс.Практикум — сервис онлайн-образования. Мы помогаем людям расти — на работе и в жизни. Студенты могут освоить новую специальность, заговорить на иностранном языке и получать удовольствие от того, чем занимаются — каждый день.

Выпускники Практикума могут работать python- и веб-разработчиками, аналитиками данных, инженерами по тестированию и специалистами по Data Science. В апреле 2020 года мы запустили Флоу — курсы английского языка от Яндекс.Практикума. Готовим курсы по интернет-маркетингу и дизайну интерфейсов.

Наш девиз: «Каждый может». Каждый может менять свою жизнь, каждый может научиться новому, каждый может начать сегодня. Даже если раньше не получалось. Если вы считаете так же — вы уже часть нашей команды.

Описание задач и требования по ссылке: https://www.notion.so/praktikum/23b04bb891b641bab2114cb2156f24d8
Бонус: Яндекс.Станция Мини за полезную рекомендацию (если человек по вашей рекомендации станет частью команды).