Можно получить любой learning path на Databricks абсолютно бесплатно, если применить код "DB_CE" при чекауте.

https://academy.databricks.com/learning-paths

Доступны следующие треки:

Business Leader
Platform Admin
SQL Analyst
Data Engineer
Data Scientist

Так они стоят, вроде, $2000.

Умный дядька рассказывает как они делали крутые вещи много лет назад в FedEx и Netscape

через 10 минут начинаем:
https://youtu.be/gBq5XarMhfM

Топ 10 анонсов (на самом деле 11) с конференции Data+AI (databricks)
- Delta Lake 1.0 (Полноценное DWH на озере данных)
- Delta Sharing (догоняют Snowflake с их фичей Data Sharing?)
- Delta Live Tables (удобство ETL)
- Early Release: Delta Lake Definitive Guide by O’Reilly (Книга про Delta Lake, уже присылал вам)
- Unity Catalog (каталог данных, must have для любого проекта)
- Databricks SQL: improved performance, administration and analyst experience (SQL наше все!)
- Lakehouse momentum (Lakehouse подход сейчас самый популярный подход в мировых компаниях, рецепт просто: DW+Data Lake + Cloud Computing)
- Koalas is being merged into Apache Spark (Koalas это как pandas на стероидах)
- Machine Learning Dashboard (разделили workspace для ML и DE)
- Machine Learning Feature Store (про feature store мы не раз тут обсуждали, нужная и удобная штука)
- AutoML with reproducible trial notebooks (надо быть в тренде!)

У нас уже готово 2ое интервью - DATALEARN | ИНТЕРВЬЮ С ЕВГЕНИЙ РЕБРИКОВОЙ (МЕНЕДЖЕР ПО АНАЛИТИКЕ В "БАЛТИКА"
от нашего сообщества “Women in data” (можно добавиться в отдельный канал slack).

Если вы пропустили прошлое интервью, то вот ссылка - DATALEARN | ИНТЕРВЬЮ С КСЕНИЕЙ ПЕВЗНЕР, РУКОВОДИТЕЛЬ МАРКЕТИНГОВОЙ АНАЛИТИКИ ОНЛАЙН КИНОТЕАТРА ОККО

PS Какие же девушки крутые! 💪🚀

В тему про безопасность данных в облаке https://www.wired.com/story/dating-apps-leak-explicit-photos-screenshots

У Microsoft очень большие планы на Gaming! https://news.xbox.com/en-us/2021/06/10/satya-nadella-and-phil-spencer-on-gaming-at-microsoft/

Новая книга про красоту визуализации данных - Data Sketches by Nadieh Bremer and Shirley Wu. В приложение глава в pdf. Сейчас в Microsoft проходит MLADS конференция(внутренняя), где есть трек про визуализацию, как раз на ней автор и выступала.

Вообще в Microsoft столько всего происходит, вообще не понятно Когда работать🤔

8-16 июля airflow summit https://www.crowdcast.io/e/airflowsummit2021/register

Продолжаем - МОДУЛЬ 5-5 ДАННЫЕ В ОБЛАКЕ

Данные повсюду и облака не исключение. Облачные решения могут создавать или использовать данные для различных целей, например аналитика, IoT, мобильные приложения, бизнес приложения и многое другое. Все данные, которые находятся в "нашем" облаке - являются нашей собственностью и мы несем за них ответственность и должны соблюдать законодательство и все регламенты. В этом уроке мы:

📌 Характеристики данных
📌 Соответствие с законами
📌 Тип хранения данных
📌 Данные в России
📌 Персональные Данные (PII)
📌 Как работать с персональными данными в облаке по закону
📌 AWS и Azure решения для Compliances


https://youtu.be/3YCUsekrhPU

Хотим провести следующие базовые вебинары, нужны добровольцы, чтобы рассказать:
1) Что такое streaming, когда используется, демонстрация (например Apache Kafka). В каких случаях для аналитики это подходи, а в каких нет.
2) Про Hadoop - история продукта Big Data и его наследие, и немного про основы и проекты.
3) Про классическое Озеро Данных (в эпоху до Delta Lake)
4) Про Power BI - как сделать best practices для self services в Power BI, как организовать data models и всегда ли нужен Dax.
5) Про бизнес специфику - какие метрики и показатели используются, на что смотрит бизнес, какие дашборды и тп (например маркетинг, финансы, логистика, машиностроение, добыча ресурсов и тп)
6) Airflow - что это такое простым языком и демонстрация
7) AWS/Azure/GCP - обзор аналитических решений и сервисов
8 ) Spark - что это такое, зачем используется, история и применение, демонстрация
9) Про руководство дата командой или управление дата проектом

В общем и целом, всегда рады, когда вы делитесь опытом с нами!