Мы начали наш вебинар про руководство Data проектов https://youtu.be/NLOq7GC7zA8

Из очень старого (2014 -2015) - прародитель курса datalearn https://smartia.me/profession/bintelligent/

Майкл Сейлор - создатель MicroStrategy. Сейчас они ещё на плаву за счёт больших клиентов, я даже про них написал книгу в 2015, когда работал с продуктом. И в Москве было большое разочарование, когда прошел собеседование на sales engineer по MicroStrategy и в итоге они решили закрыть офис в Москве. Интересный факт, что в прошлом году или в 2019, компания инвестировала 120млн баксов своих денег, + сам Майкл вложил кучу своих денег в Bitcoin. Неожиданное решение от совета директоров, но теперь это дело стоит 500млн. Интересно как дальше пойдет. Я вот без единого биткоина, но зато есть серебряные и золотые монеты, акции snow, Tesla, amazon и Microsoft. И на том хорошо, что хоть немного денег удалось не проесть🤗 а у вас как?

Для девочек 12-19 лет отличная возможность изучить технологии и профессии в tech.

DigiGirlz at Microsoft
Microsoft is proud to offer free technology programs specifically for youth. Our Microsoft DigiGirlz programs give middle and high school girls* opportunities to learn about careers in technology, connect with Microsoft employees, and participate in hands-on computer and technology workshops.

Новое видео https://youtu.be/KfuY2J9h5B0

Analytics Engineer vs Data Engineer vs Data Analyst. dbt в своем посте рассказывает про особенности каждой роли. Я на своем опыте понял, что гнаться за классными названиями не всегда удобно. Например, в Linkedin я сделал Analytics Engineering, но есть проблема - рекрутеры, руководители компаний и другие люди, кому я мог бы “продать” свой профайл, не очень понимают. Сейчас вроде как для большинства, что есть BI, Data Engineering и Data Science. Поэтому, несмотря на то, что Analytics Engineering более подходит к тому, что я делаю - end to end analytics solution, приходится играть по правилам рынка.

Кстати, чем больше узнаю про dbt, тем больше вижу преимущество SQL ETL vs того же Apache Airflow с питоном.

Про #datalearn

Мы используем GitHub как учебник, для конечного пользователя это просто страничка с текстом и гиперссылками на YouTube видео, дополнительные материалы или файлы для домашнего задания.

На текущий момент 2 основных страницы в нашем учебнике:
1. readme.md - Про курс “Введение в Аналитику и Инжиниринг данных”, информация про каналы Slack и пару ссылок на YouTube про курс.
2. DE-101.md - Следующая страница непосредственно про сам курс. Тут введение к курсу, оглавление, требования к курсу (больше как рекомендации), информация про значки и сертификат и ссылки на главы (модули) курса.

Trino - еще одна технология open source SQL engine. Я лично никогда не использовал. Из ближайшего я пользовался Amazon Athena (presto).Trino как раз и есть presto, они его переименовали и добавили новые фичи.

Update от Евгения из комментария: Есть два разных Presto - один это PrestoDB, это то что сделали в фб и эта версия поддерживается их сообществом. Есть prestoSql(теперь trino) - это часть разрабов ушедшая с фб организовали свою компанию и форкнулись от prestoDB и теперь пилят свою версию. А ещё есть https://www.starburstdata.com/ - они делают интерпрайз версию presto))

Новый, полезный вебинар от Романа. Нравится вам или нет, но git это важный инструмент современного инженера/аналитика. Поэтому мы хотим вам помочь освоить его.

Друзья уже в понедельник долгообещанный вебинар по гиту

Приготовьте свои датапушки 💣 и заварите чай ☕️

Дата: понедельник 18 января в 20:00 по мск
Спикер: Денис Волк
Senior Data Scientist в зарубежном стартапе, через фриланс-биржу Toptal. 18 лет опыта в науке и наукоёмких проектах, из них 8 непосредственно связаны с разработкой DS/ML решений. PhD in math.
Тема вебинара: Расскажет о Гите - что, как и зачем
Краткое содержание:

Зачем?
Как?
Основная часть: "как устроена работа с git": демонстрация экрана
Создания репозитория
Git add
Git reset
Git commit
Ветки
Git merge
Два основных формата работы с ветками
Методология git flow
Github/gitlab

И это вкратце - там дофига, возможно разобьем на 2 вебинара
Гитхаб - это один из самых необходимых инструментов для работы, так что приходите и учитесь
🔔 Что нужно сделать:
📌 Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌 Отложить все дела на понедельник
📌 В понедельник в 20:00 быть на вебинаре

Всех обнял, до встречи в эфире :hugging_face:
И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
ССЫЛКА: https://youtu.be/-CPiOe9rnh0

Последний раз я работал с Microstrategy в 2015 году и даже написал книгу про продукт. Они были реально крутыми среди Enterprise BI. И как я говорил, я мечтал работать у них. Даже была возможность работать на них в Торонто, но я выбрал Amazon.

Их лидер, реально шарит в трендах, поэтому обязательно посмотрите хотя бы keynotes их главной конференции.

https://www.microstrategy.com/en/resources/events/world-2021

Я хотел бы поделиться своими успехами и неудачами в 2020. Все они связаны в основном с работой. Я заметил, что лучше напридумывать себе планов много, и потом много завалить, чем напридумывать мало, и тоже много завалить.😂

Сначала список Failed:
❌Я провалил свою карьеру в Амазон, я так и не получил повышение L6. Я знаю почему, но все равно, 5 лет фигачить и не получить того, что хочется, это конечно еще та подстава. Я так и был просто data engineer. Но зато засчет communities, которые я развивал, меня многие знают в Амазоне, и будет легко прийти обратно, может быть на L7 сразу🤫
❌Rock Your Data консалтинг, после 3х лет, тоже дал течь. Но опыт крутой. Я придумал себе реальность, в которой я был Practice Director и моей миссией было нести инновации по облачной аналитике в Северной Америке. В остатке хорошая репутация на рынке, опыт и знания.
❌Впервые я почувствовал выгорание. Это когда ты лежишь в гору, а вершина все дальше и дальше и пропадает просто цель куда-то лезть.
❌Я думал сделать курс на datalearn это быстро. Оказалось нет. Я вообще не понимаю как всякие школы клепают курсы так быстро.
❌Я планировал сдать экзамены по AWS BigData, AWS Cloud Practitioner и Snowflake Core. 2 раза AWS Cloud Practitioner отваливался по среди экзамены🤯 и я в итоге забил. Прошел курс по AWS BigData и уже не стал освежать снежинку. И так сойдет.🤠 Сертификация полезна джунам, доказать, что они чего-то стоят.
❌Я планировал пройти все курсы по DataBricks, в итоге закончил только 10 процентов. И еще даже не вернулся к ним. Хочется, но не можется🥴
❌Я обложился книгами по Spark, и прочитал только 1ю главу (в 2х книгах)
❌Я нашел супер крутую книгу по Game Analytics, 800 страниц, прочитал где-то 80, и отложил🥴
❌ Так же я сделал с книгой по Building Data Teams, прочитал 4 главы и встало. А есть и другие интересные книги, которые ждут, чтобы я их прочитал.
❌Я должен был полететь в Сан Диего на EDW20 конференцию, даже купил билеты, но из-за пандемии “все пропало, шеф”
❌Я провалил собесы в Tesla, Lyft и Facebook (там было больше всего раундов) на позицию manager data engineer
❌Летом я должен был переехать в Seattle, но решил вообще уйти из Амазона и пока не соваться в США.

Но есть и хорошее:
✅За свои “страдания” в Амазоне, я получил Sr Data Engineer в Microsoft, и мой total comp улучшился на 50%, конечно не то, что я хотел, но в Канаде очень сложно ЗП прям высокую получать. Прибавьте еще высокие налоги. В принципе я рассматриваю свою ситуацию как норм, но на мои доводы не помогли подвинуть планку во время переговоров. Так же мне дали Xbox, Xbox Game Pass и игровой комп, чтобы играл😋
✅Мой Канал уже достиг 5600 подписчиков, это вроде здорово. Моя привычка искать новости по аналитики и кому-нибудь их показывать приносит пользу.
✅Я построил настоящий турник, даже 2, детский и взрослый у себя во дворе, теперь вот подтягиваюсь.👊
✅Я получил синий пояс по джиу джитсу после 3х лет, что приятно. 💪
✅С пацанами стали лазить по местным горам, в среднем 1500 метров высота, зато там снега по пояс У нас это называется hiking. Уже 3 раза сходили, было круто.🏔
✅Сдал экзамен на огнестрельное оружие и охоту, сами понимает зомби апокалипсис за окном🧟‍♂️
✅Вместе с подписчиками написали новую книгу - Azure Data Factory

В общем по карьере все провалил, но основную задачу решил. Как видите, теряю хватку и уже сложней доделывать дела до конца, точнее чаще появляется вопрос “Зачем”. По карьере стало сложно, раньше была простая цель, переехать куда-нибудь и работать в компании типа FAANG. И вот я все это сделал, а дальше не подумал, что делать. Еще из дома работать🤪 с 3мя маленькими детьми.

В итоге я определил для себя несколько сценариев:
- Проработать года 2 в Microsoft, и потом если не будет движение, посмотреть на Австралию или Европу или продать себя дорого в Seattle, если вообще такая возможность существует. Прочитать все книги и пройти все необходимые курсы. 2 года сидеть на попе ровно.😇

- Иногда появляются мысли, что может уже хватить этих крысиных гонок, больше гулять и с детьми играть. Но с другой стороны, мы живем один раз, жизнь должна быть насыщенной и бить ключом.🤫
- Может быть пойти по стопам Rock Your Data, и например возглавить практику Data Engineering в Ванкувере в Slalom, но бюджеты как обычно скромные на зарплатной фонд, но это уже другая лига. По словам 4х Sr Directors из Северной Америки, я могу справиться с поставленной задачей🙄

PS datalearn занимает особое место, это мой персональный challenge и я его доделаю. Сейчас я хочу добавить воронку для студентов, где активных студентов мы будет продвигать и устраивать на работу. Есть уже пар success stories в РФ, пока испытательный срок, и даже получилось одно Канада (он был поваром до ковида, со мной на джиу джитсу ходил) устроить в этом месяце разработчиком Power BI. Не без помощи студентов datalearn, которые его накачивали знаниями в замен на практику английского.

PPS Моя жена читает, ей самое большое спасибо, за все что происходит и за возможность заниматься любимым делом! Заграницу только со своим самоваром!😍

Статья про создания delta lake с помощью Redshift Spectrum и AWS Glue. Я про такое даже и не думал, а ведь Glue использует Spark, следовательно можно реализовать delta lake.

Всем привет, вебинар по Гиту перенесли по техническим причинам. Сообщим как будет новая дата.

Я никогда не рассказывал про секретный ингредиент успешной карьеры. Так вот расскажу, я проработал где-то 4 года на Moscow Fashion Week в рассадке. То есть носить стулья и заставлять их. Ничего интересного, но я быстро смекнул, где круто, это работать со спонсорами и получилось перейти работать напрямую на руководство недели моды. 2 раза в год по 7 дней было супер весело. На фотке это атрибут работы со спонсорами - коморка с ништяками. Как в стихах у Маяковского - “На работе ты хозяин, а не гость..”. Этим алкоголем мы платили в такси, угощали охрану гостиного двора или точнее платили им “дань”, за то, что могли пол ночи там шуметь. Это была целая эпоха. Будущую жену я водил не только в зоопарк, но и на первый ряд на закрытые показы, afterparty/preparty, да что там жену, на первом ряду сидели наши родители, бабушки, друзья и просто хорошие люди. Вот где я приобрел реально полезные навыки, которые пригодились в карьере. Одно радует, что не засосало в этот fashion, там денег нет🙄

Короткое видео про аналитическую платформу Databricks.