Мы добавили в slack новый канал #data_news_from_the_world которые будет вас сам кормить новостями Databricks, snowflake, Tableau и другими. А вы просто выбирайте, что вам нравится.

Недавно полистал эту книжку, вышла недавно. Книга не фонтан, подойдет для тех кто планирует работать в облаке Azure и никогда не работал там, но есть уже опыт в data engineering.

Книга вышла в августе 2021 и в ней 600+ страниц.

Вот ее содержание:
Part I. Getting Started
Part II. Azure Data Factory For ELT
Part III. Real-Time Analytics In Azure
Part IV. DevOps For Continuous
Part V. Advanced Analytics
Part VI. Data Governance

В книге вы узнаете про SSIS, ADF, Synapse Analytics, DevOpse, Azure Stream, и много других ключевых слов, даже есть Purview.


Как вы видите есть вообще все, что только возможно. Но и без глубокого погружения.

Возможно тоже будет интересно перевести😜https://haseebq.com/my-ten-rules-for-negotiating-a-job-offer/

Анилитическое хранилище данных Snowflake появилось в 2015 году и порвало всех конкурентов - on-premise (Oracle, Teradata, Netezza и др) и облачных (Redshift, Azure SQL DW, BigQuery).

https://youtu.be/CzrOa15QbWk

Продукт был создан с 0я выходцами и Оракл и они понимали проблемы индустрии и знали о возможностях облачных вычислений. И подарили нам замечательный продукт, где при помощи SQL, мы можем обрабатывать терабайты данных и не думать слишком много об организации данных.

Snowflake одноверменно SMP и MPP, если вы смотрели другие уроки этого модуля, то вы должны знать, что это!;) Огромное спасибо команде снежинки за то, что они дали огромный пинок всей индустрии и заставили других вендоров шевелиться и улучшать их продукты. В Северной Америки снежинка в топе хранилищ данных среди организций и больше половины организаций от мало до велика использую снежинку как свое хранилище данных.

Кстати, а вы знали, что Snowflake - это Lakehouse - смесь хранилища данных и озера данных? Теперь точно знаете!:)

В этом уроке вы узнаете про:
📌 Историю Snowflake
📌 Материалы по изучения продукта
📌 Выход на IPO
📌 Кейсы миграции
📌 Архитектуру и особенности снежинки
📌 О продукта экосистемы снежники - SnowCLI, SnowPipe, SnowSight, SnowPark
📌 Ключевые фичи - Time Travel, Data Sharing, Zero Cloning
📌 Экосистему партнеров и конкурентов снежинки

На лабораорной работе:
📌 Я вам покажу как создать бесплатный кластер снежинки
📌 Загрузить данные SuperStore в хранилище данных
📌 Создать Database, Stage, IAM user (AWS)

Дополнительные материалы:
📌 The Snowflake Elastic Data Warehouse Paper
📌 Snowflake, Anchor Model, ELT и как с этим жить
📌 Обзор первого эластичного хранилища данных Snowflake Elastic Data Warehouse
📌 Пример архитектуры аналитического решения с использованием платформы Snowflake
📌 Руководство по аналитике для основателя стартапа
📌 Вебинар ДатаЛерн SNOWFLAKE ИЛИ КАК БД ВЫБИРАЛИ / НИКОЛАЙ ГОЛОВ / MANYCHAT

В качестве лабораторной работы вы можете:
📌 Выполнить оффициальные tutorial Snowflake
📌 Сделать близкий к реальному кейс с SalesForce, Fivetran, Snowflake, Tableau - Zero To Snowflake
📌 Сделать упражнения модуля 4 datalearn DE-101 при помощи SQL и Pentaho DI и заодно понять почему ETL это плохо для Cloud DW;)
📌 Зарегистрироваться и пройти бесплатные курсы Snowflake Data Academy

Hype Cycle for Data Management, 2021 где Lake House на взлете! https://databricks.com/p/ebook/gartner-hype-cycle-for-data-management-2021

Учите Data Engineering и Data Science? Сейчас и потом….

Когда цель оправдывает средства🤪 https://www.examtopics.com/
Знакомый скинул, сдавал экзамены по Azure успешно

Татьяна выложила свою крутую статья про Амазон на хабр, и конечно сразу же нашлись умники, которые ее уже видели на VC, и поспешили об этом написать🤣

Пожалуйста, лайкните и оставьте коммент, если вы на хабр.

Я заметил, что зарплаты меняются очень быстро. Например в Канаде за последние 6 лет базовая зарплата меняется каждый год на 10т канадских. Все hr имеет доступ к одинаковым данных о цене специалистов и все предлагают одинаковую зарплату. Faang в Канаде может лишь сверху предложить сумму стока (акций) на 4 года, что эквивалентно живым деньгам с конским налогом. Компании, которые частные, дадут вам маленькую долю, которую можно потратить только в случае успешного IPO.

Другой интересный момент, что в Канаде зарплата имеет корреляцию со стоимостью рынка жилья. Это только в ИТ. Все остальные получают столько же, сколько и 5 лет назад.

Но самая главная мысль, которая свойственна не только Канаде, а вообще всем - это то, что ваша входная зарплата будет ровно такая, на какую вы пришли. Очень редко компании будут повышать вас, обычно это индексация. Но всеми силами буду рассказывать вам басни о ценности, миссии и видении и о вашем прогрессе, и что вы молодец, но ещё не совсем молодец, чтобы получить лишнюю денюшку.

Пройдет какое-то время пока молодой специалист снимет розовые очки и поймет, что к чему и побежит искать работу, поменяет работу и получит минимум 50% прибавки.

Поэтому все красивые слова про миссию компании, печеньки и кофе в офисе вас должны мало волновать. Как я скидывал в статье выше, вы предлагаете свои услуги рынку, рынок как на аукционе предлагает вознаграждение, за ваше время. А не наоборот.

Цените себя и свой труд и почаще снимайте "лапшу с ушей". Делайте так как удобно вам и вашей семье. Ну и конечно, если вы что-то делаете, делайте это максимально круто и качественно!

Собрался силами и опубликовал свой курс "Введение в Облачные Вычисления для всех" на хабр.

Хотел на степик, но там столько заморочек и ограничений, что решил так. Для всех всех, кто хочет знать больше про облака, будет теперь идеальный контент на русском.

Еще до Microsoft я перешел на VSCode, а теперь он доступен в браузере! https://vscode.dev/

Сейчас я в библиотеке University of British Columbia, мне попался энциклопедический словарь, в нем я нашел слово, data(множественное для datum), и вот его значение(я)

Придумал как объяснить SMP vs MPP. Вы же знаете, что ресурсы можно масштабировать вертикально, как у SMP баз данных, и горизонтально, как у MPP баз данных. Карьерный рост - это вертикальное масштабирование, и оно не дает значительного прироста в деньгах, а вот горизонтальное масштабирование может - удвоение, утроение работ и тп. 😇

Идеи публикаций подходят к концу. Можно сказать, что это почти research work. Сначала я проводил "эксперименты", а потом описал их. Все про все заняло месяц.

Есть ли жизнь после FAANG компании или мой опыт собеседований в Северной Америке, 20+ компаний за 3 недели

Возможно будет интересно вам как дела обстоят на западе. Хорошо, что все онлайн происходит, а представляете ходить по несколько раз в офис чужой. Хотя у меня давно была идея бесплатных путешествий по Северной Америке, такой вот интервью тур.

Самое ценное это выводы, но можете посмотреть детали "эксперимента", буду ошибки, а их много отмечайте в хабр.

Обязательно лайк. Вот прошлая статья про облака вообще не двигается, а там такая большая работа проведена на создание контента 🙄

Ура, сегодня воскресенье!

Кто-то отдыхает и попивает раф с банановым молоком, кто-то с утра выпил двойной эспрессо и работает над свалившейся внезапно задачей. Ну а ещё кто-то не может усидеть на месте и думает — куда же ему развиваться в целом в IT и в области данных в частности. Один из таких людей обратился к нам с просьбой помочь.

Наш постоянный слушатель пришёл за советом в области образования, а это вопрос очень серьёзный. Мы не могли просто так в паре слов упомянуть об этом в новостном выпуске, от образования ведь зависит будущее человека! Мы решили помочь нашему слушателю и сотням других людей, которые тоже сейчас сомневаются и не могут выбрать дальнейший образовательный путь, для чего обратились к нескольким data-экспертам и попросили их ответить на поставленный вопрос.

Представляем вашему вниманию специальный бонусный эпизод подкаста Data Coffee🎙и приглашаем к прослушиванию!

#datacoffee #data #podcast #данные #подкаст

https://anchor.fm/data-coffee/episodes/23-bonus-e197nft

Карьера как продукт.

Мой недавний пост про горизонтальное/вертикальное масштабирование вызвал резонанс. Мой поинт бы не в том, чтобы работать 16 часов в день. И саморазвитие это очень важно.

Главное воспринимать свою карьеру как продукт. У вас должны появляться продуктовые гипотезы и вы должны их проверять. Чем больше гипотез проверили, тем лучше для вашего продукта.

Другой важный аспект в саморазвитии - это ограниченность временных рамок. Я не хочу в 50 лет учить какой-то новый тул с 0 или новый язык программирования. Поэтому после 10 лет усиленного саморазвития я осознаю пределы своих способностей и возможностей. Поэтому пока есть силы нужно крутиться и вертеться, неважно какое развитие (вертикальное или горизонтальное), главное понимать где вы будете через 5,10,15 лет.

Больше гипотез и экспериментов - лучше продукт.

Кто-то скинул в комментарий к статье на хабр - про необходимость прибыли в стартапе. Сразу становится понятно про современных единорогов. https://youtu.be/f1h76GSQtKg

Продолжаем нашу серию переводов про ценность измерения показателей для бизнеса на примере Амазон.

Татьяна сделала еще один перевод статьи про Amazon подход - Одержимость контролируемыми входными метриками

Поставьте лайки и поддержите комментом.

Таня сейчас бизнес/продуктовый аналитик в ДомКлике от Сбербанка, планирует развиваться в продуктовой аналитике и data science. Верит в большой потенциал у этого направления.

Она из химической технологии и науки перешла в Анализ данных, любит математику!! Но не Олимпиадница)))

Вот ее прошлая статья - Как Амазон измеряет эффективность. Обе эти статья помогут вам лучше понять роль аналитики в эффективности бизнеса и принятии бизнес решений.

В среду 27 октября в 20:00 по мск вебинар.
Тема: Введение в Airflow
Ссылка: https://youtu.be/cVDIbEsCTow