Статья “An Offline to Online Data Pipeline at WePay” про real time data pipelines на Google Cloud Platform и использование Airflow и Kafka. https://wecode.wepay.com/posts/an-offline-to-online-data-pipeline-at-wepay

Через 1,5 часа стартует вебинар с ребятами и booking.com про product management. Мне самому очень интересно послушать так как аналитика и управление продуктами это как data science и data engineering, должны работать вместе и иметь одну цель.

мы начинаем:
https://youtu.be/XvFVzeZcVGc

11 мая snowflake расскажет про data ops практики. Врятли вам нужен snowflake, но возможно они расскажут что нибудь дельное про DevOps для хранилища данных.

Distributing the data team to boost innovation reliably - Integrating Analytics Engineers into all cross-functional teams: a key success factor to scale a data platform efficiently and reliably

Вы слышали про Data Gateway? Можете познакомиться Data Gateways in the Cloud Native Era

Ещё одна возможность написать книгу, если есть опыт по табло и желание, можно сделать!) Есть желающие?

https://techcrunch.com/2021/04/30/cloud-infrastructure-market-keeps-rolling-in-q1-with-almost-40b-in-revenue/ ☁️☁️☁️

Знаете, где тусит народ из gaming компаний по пятницам во время пандемии?

Они собираются в Gather Town. Очень классная идея, как будто играем в денди, но можно поговорить с народом и даже познакомиться с коллегами, которых никогда не видел. Кстати бесплатно до 25 пользователей, попробуйте для онлайн team building.

Намечатеся маркетинговое мероприятие The State of Data Cloud https://pages.matillion.com/webinar_the-state-of-the-cloud-panel-discussion

Подходит ко всему)

https://youtu.be/_MnNM9NSCS0 накидайте прикольной музыки в комменты, скачаю в машину🕺💃👯‍♀️

Airbnb рассказывает про инфрастуктуру метрик и решение Минерва.
https://medium.com/airbnb-engineering/how-airbnb-achieved-metric-consistency-at-scale-f23cc53dea70

У нас идет модуль 5 про cloud computing. Cloud Computing это must have skills по всему миру. AWS запустил challenge по сертификации базовому экзамену AWS Cloud Practitioner. Очень вам рекомендую записаться на него, он будет идти 60 дней. В своем курсе я рассматриваю AWS и Azure и вам будет отличная возможность сдать на экзамен в конце! Совмещайте приятное (курсы datalearn) с полезным (экзамен AWS).

Если кто справится с challenge, обязательно о вас напишу!

12 мая LinkedIn будет проводит Big Data event. https://thelinkedinbigdatasummit.splashthat.com/

Как поговаривал мой любимый Остап Бендер в 12-ти стульев - «Лёд тронулся, господа присяжные заседатели!». Вашему вниманию представляю видео ВВЕДЕНИЕ В ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ (CLOUD COMPUTING):

📌 Несколько кейсов из прошлого
📌 История зарождения облачных вычислений и идеи utility computing
📌 Ключевые бизнес драйверы и риски
📌 Определения, терминология и характеристики облачных вычислений
📌 Основные компоненты облачных вычислений и датаценров

Так же на лабораторной работе я рассмотрел:
📌 Free trial account AWS и Azure
📌 AWS Virtual Private Cloud, Subnets, Security Groups - (виртуальная сеть, с этого начинается любой проект в облаке).
📌 Создали виртуальную машину EC2 и подключились к ней через протокол SSH с использование командной строки и ключа

В нашем учебнике на git DE-101 я добавлю все ссылки на документы и полезные YouTube видео.

На следующем уроке мы будем рассматривать Cloud Deployment Models и Cloud Delivery Models, а на лабораторной работе скачаем AWS CLI, чтобы управлять ресурсами через AWS API с локальной машины. Запустим web server и подключим его к Load Balancer.

Роман закончил landing для курса Анатолия по SQL. Сам landing это уже произведение искусства, а материалы курса бесценны для начинающих. Теперь вы можете зарегистрироваться и порекомендовать его в соц сетях.

Анатолий сделал настолько крутой курс, что нас завали позитивным фидбеком.

Как жалко, что такого курса не существовало 10 лет назад, когда я пытался учить SQL.

У Анатолия талант рассказывать сложные вещи простым языком, а его поддержка в нашем slack, выше всяких похвал.

Сейчас огромное количество курсов онлайн. Есть западные и отечественные. Единственный отечественный, который я могу посоветовать это stepik (про datalearn не буду писать ничего пока😎), но вы и сами знаете. Остальные коммерческие платформы это серьезный бизнес, в котором маркетинг привлечения студентов очень хорошо развит. А вот про западные, я могу рассказать, которыми я пользовался:
1. Это кончено Coursera. Изначально там были курсы от университетов, очень высокого качества и все можно было изучать бесплатно. Сейчас курсера стала очень сложной и похожа на барахолку, там уже могут добавлять курсы организации, маленькие компании и никому неизвестные университеты. Если поискать можно найти много интересного. Из русских курсов мне очень понравился курс МФТИ про Python и анализ данных.
2. Edx - это аналог курсеры. Раньше там были эксклюзивные курсы Microsoft, был 1й курс по Apache Spark. Сейчас стало много всего.
3. Khan Academy - это больше для школьной или университетской программы. Я не использовал.
4. Cloudguru (приобрел linux academy) - много хороших ресурсов для подготовки к сертификации по cloud.
5. Pluralsight (у меня теперь бесплатный доступ) - это как премиум udemy, у них много своих курсов, приятных интерфейс, но все курсы, которые я посмотрел по Microsoft, Azure, Databricks и Emotional Intelligence как “вода”.
6. Udemy - там есть все. Из-за этого практически не возможно найти ничего. Проходил там курс подготовки к Табло сертификации. Нужны личные рекомендации, чтобы найти, что-то дельное.
7. O’Reilly - доступ ко всем книгам (для меня книги оказались самым качественным инструментом изучения материала), можно читать и сразу выполнять задания в своем темпе. Есть так же и видео записи некоторых предметов.
8. Linkedin Learning (тоже бесплатный доступ) - классный интерфейс и говорят красиво, но часто льют воду. Я бы не стал покупать подписку там. Я там смотрел много курсов, и из 20, только один был отличный - Microsoft Integration Service, потому что было много практических примеров.
9. LeetCode -отличное место подтянуть Coding для интервью, сам там учил Python для Facebook собеседований и решил 3 задачи из 5 за 15 минут. Остался доволен результатом.
10. DataCamp (скинули в комментах) - много про него у нас в slack говорят, значит хороший ресурс для R, Python, SQL.

Есть еще западные платформы? Пишите в комментариях и ваши отзывы.

Главная проблема сейчас, точнее целых две проблемы:
1 - это изобилие ресурсов. Все овладели маркетинговыми навыками и внешне курсы выглядят одинаково хорошо. Но мы поймем не сразу, что это лажа, а время уже потрачено и денежка уплачена.
2 - еще более опасное, непонятно, что учить, что читать. Существует бездна подготовительных материалов, курсов, но совершенно непонятно, в какой последовательности, что учить, как применять на практики, и самое главное, как потом найти работу! Я бы вообще запретил бы продавать курсы дороже 5-10т рублей, при отсутствии 100% гарантии трудоустройства.

Всем привет!

Полезная информация для тех, кто изучает SQL.

Как вы знаете, у нас уже есть замечательный курс по SQL, который разрабатывает Анатолий Балакирев. Курс рассчитан на тех, кто ранее никогда не работал с базами данных. Построен курс вокруг таких СУБД, как PostgreSQL и MS SQL.

Хочу представить вам еще один интересный ресурс - курс по SQL от Максима Кухарь. Ссылка на группу в Телеграм: https://t.me/joinchat/S7wsOOByOEQ0MmIy

Курс также ориентирован на начинающих пользователей SQL, разбираются самые основы. Главное отличие представленного курса - здесь в качестве основной СУБД используется Oracle, довольно-таки популярная и часто используемая система управления базами данных в России.

Формат обучения - смотрите бесплатные обучающие видео в рамках курса, пробуете повторить. Если возникают какие-либо вопросы в процессе, уточняете в группе. К слову, группа живая, активная. Поддержка в группе очень дружелюбная.

На текущий момент в рамках данного обучения уже есть завершенный блок видео на тему "Базовый курс по SQL для аналитиков и менеджеров" (24 урока с домашними заданиями). Сейчас в процессе публикация обучающих видео на тему "Расширенные возможности SQL" (10 опубликованных видео уже есть, новые видео добавляются каждую неделю).

Если тема Oracle SQL вам интересна, присоединяйтесь: https://t.me/joinchat/S7wsOOByOEQ0MmIy

PS автор поддержал #vsevsevmeste!