Инжиниринг Данных
23.7K subscribers
2.31K photos
69 videos
194 files
3.37K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Компания Dbt Labs анонсировала - The Foundry Program:

What exactly is the Foundry Program?
It is a 6-month program designed to give:
- aspiring software engineers training and experience in writing code in production at a software company, and
- aspiring analytics engineers experience working with the modern data stack including, of course, dbt.


Классный метод продвижения продукта и его внедрения в массы. Уверен будет интересный контент, вы можете попробовать записаться, не знаю как у них там по географии и по лимитам. Они ищут новичков.
Теперь вы можете увидеть все каналы в одном месте - Ребята из @it_resume собрали большую подборку авторских телеграмм-каналов для аналитиков. Там более 20 каналов на любой вкус - анализ данных, программирование, data engineering, data science и многое другое 👍

Теперь вам точно будет, что почитать на предстоящих выходных 🙃
Подробнее - в статье
Уже завтра Виктория Олейник, расскажет о работе в Quantum Black(это дочка McKinsey с фокусом на DE и DS, это самая моя любимая компания вместе с McKinsey) и McKinsey в своем докладе Pipelines and Deadlines. Виктория закончила Высшую Школу Экономики и у нее крутой опыт работы в топовых консалтинг компаниях! Готовьте свои вопросы и не пропустите ивент!

https://youtu.be/v1CR4GotN-w
Dremio будет проводить панель по озерам данных с топовыми спикерами онлайн https://www.dremio.com/subsurface/live?_ga=2.203573072.1949877702.1626636985-1007574036.1626636985
Когда мы создаем аналитическое решение, часто нам нужно сделать те или иные решения связанные с дизайном и архитектурой аналитического решения, вот ключевые моменты design decisions:
- Verbosity
- Latency
- Completeness
- Access Frequency
- Compliance and Privacy
- Security
- Developer Efficiency
- Retention
- Cost
- Developer Satisfaction and End User Friendliness

В процессе создания решения возникают следующие challenges:
- Documentations
- Scale
- SLA
- GDPR and Privacy
- Consistency
Если в первый год жизни вы не начали изучать темы из книг на картинке, возможно уже поздно!🤣

Следующий этап - Neural Network для беременных и потом для Бабушек и Дедушек.
Я всегда говорил - надо 20-30 собеседований завалить, чтобы пройти одно заветное. И уж точно, компании мечты должны быть в конце списка, а не наоборот)) Если что, есть план Б - 80 собеседований провалить - я бы разделил на 40 собеседований в РФ, 20 в Украине и по 10 в Казахстане и Беларусии. И тогда будет вам счастья. Но это для СНГ. А вот для Европы и Северной Америке другая пропорция;)
Все так😔 Если вы не смотрели на Netflix - Social Dilemma, очень интересно про нашу зависимость к социальным сетямhttps://www.thesocialdilemma.com/
Forwarded from Simon Osipov
Протестировал разные кластеры в Databricks (Spark) для задачки с минимальными трансформациями - staging etl. Основная задача - писать в delta lake. Все совпадает с документацией - для простого ETL лучше подойдут маленькие кластера compute optimized. Заметил еще один + такой эластичной среды - для staging я могу использовать один тип кластера, для fact tables - другой, для BI будет 3й тип и для DS 4й. И платить за все это только за активное время работы кластеров. В модуле 7-8 вы сами увидите как это работает.
Forwarded from Reveal the Data
30 июля пройдёт Tableau User Group Moscow 🎉
Будут очень интересные доклады, советую послушать! Например, там выступит замечательней Виталий Ковалёв из нашей команды. Он расскажет как мы издеваемся над дашбордами, чтобы реализовать в них асинхронную загрузку визуализаций. 🤪

Жалко только, что всё опять онлайн, корона уходи! 😷
#ссылка
От читателей я наслышал о проблемах с work life balanced, о нездоровой среде и рабочей атмосфере, где перерабатывать, сидеть по вечерам и выходным это нормально. Я хочу провести опрос и узнать насколь это касается вас или вашей компании.

Перерабатывать - это нормально, если это добровольно, если у нас мало опыта и у нас нет дома семьи, если у нас нет личных дел и личной жизни. Но часто бывает, что все это есть, но нам приходится сидеть на работе. Да еще и чувствовать себя виноватыми за то, что не успели.

Я до сих пор помню как в РФ компаниях на меня коллеги могли посмотреть косо, когда я уходил вовремя или раньше или как мне было не комфортно. Как я отвечал в 11 вечерам на письма коллег и менеджера и думал о том - какой же я молодец, заслужил "звездочку". Но по факту всем плевать и менеджеру и руководству.

За ошибки и проблемы планирования и приоритетов сверху приходится рассплачиваться вам. Если у вас такая среда, то у вас не компетентный менджменд и руководство.

Давайте наведем порядок в аналитических рядах (по возможности) и если у вас на работе беспредел, давай анонимно расскажем в телеграм канале о нем. Присылайте сообщение о вашей ситуации, названии компании и тп, обязательно опубликую и вынесу на обсуждение.

И давайте возьмем за правило - если мы не на on-call (это тех поддержка), нам не платят сверурочные, мы не изучаем новые концепции, то мы шлем все в баню, так как это нормально провести выходные с семьей и друзьями, отключиться от работы, набратиься сил и вдохновения.