Через 65 минут будет трансляция посадки марсохода https://youtu.be/gm0b_ijaYMQ

Вот уже 10 лет я всегда с удовольствием смотрю на квадрант Gartner по BI инструментам.

Gartner, Magic Quadrant for Analytics and Business Intelligence Platforms, February 15, 2021, James Richardson, Kurt Schlegel, Rita Sallam, Austin Kronz, Julian Sun

Хоть и не хотя, я решил выступать хотя бы раз в месяц. В феврале будет презентация для Toronto Data Science user group про Modern Data Stack, а вот в Марте будет Calgary Tableau User Group про Snowflake+Tableau. Потом будет Microsoft User Group в BC про Azure Databricks, а потом Vancouver User Group про Tableau + Databricks. Я уже пришел к выводу, что для меня это бесполезное занятие, но раз в месяц можно делать, авось пригодиться.

PS всем кто никогда нигде не выступал, очень советую! Полезно для опыта, так же как и писать блог посты о чем-нибудь, чтобы в резюме была ссылочка.

Вот другой https://www.meetup.com/vandatascience/events/275909675/

У нас прекрасные новости, мы запускаем гениальный проект - комьюнити для женщин.
Зачем?
Чтобы объединиться и делиться опытом, сделать женщин более заметными в сфере аналитики и предоставить платформу для обсуждения достижений и поддержки

Кураторы сообщества Яна и Яна

Ознакомится и смотреть интро тут:
https://youtu.be/rNSLKxo6DiY

Тусовка будет в отдельном закрытом слак канале внутри нашего проекта DataLearn

Подробней инфа и регистрация тут:
https://datalearn.ru/women-in-data-community

Приглашение в закрытый канал можно получить путем регистрации и прохождением опроса, приглашение получат только те, кто пройдет опрос
ДОБРО ПОЖАЛОВАТЬ

🔥 Знаешь, чем отличается обычный аналитик от мощного цифрового аналитика?

Настоящий цифровой уже зарегистрировался на онлайн-контест для аналитиков Analyze.ME с призовым фондом 360 000 рублей от Группы «М.Видео-Эльдорадо», чтобы:

• Почелленджить себя, порешать интересные задачи для системных бизнес- и кросс-системных аналитиков
• Провести выходные 26-28 февраля в отличной компании
• Посмотреть, как работают профи в цифровом ритейле #1
• Получить оффер мечты – предложение, от которого невозможно отказаться!
• Кофе-брейк с доставкой на дом

А ты готов ПРОКАЧАТЬ ЦИФРУ В РИТЕЙЛЕ?

PS Как обычно пост поддержал #vsevsevmeste

Все чаще попадается информация про data-mesh. Я с ним не работал, мне ближе платформы данных, которые я могу сам построить от и до. А вот data-mesh это уже более сложная распределённая архитектура, которая подходит крупным Enterprise. В статье рассмотрен вариант внедрения в Intuit. Мне видится это как следующий шаг эволюции решений аналитики. Примерно так видеться:
1) аналитика на OLTP (на источниках)
2) хранилище данных
3) большие данные (озеро, Hadoop)
4) Lakehouse (озеро и хранилище данных) или облачная платформа данных. Так же назвать можно unified platform.
5) data-mesh

Я ещё не дорос пока до №5🙄

Я как то писал про новые ноды Redshift - RA3, которые разделили compute и storage. Точнее их вынудил это сделать Snowflake. И я использовал RA3 один из первых в Амазоне для платформы данных “Sputnik”, еще когда они не были доступны всем. Попалась статья, которая сравнивает Snowflake и RA3. Все так у Snowflake больше возможностей, чем у Redshift.

Netflix рассказывает про Data-mesh

Netflix processes trillions of events and petabytes of data a day in the Keystone data pipeline, which is built on top of Apache Flink. As Netflix has scaled up original productions annually enjoyed by more than 150 million global members, data integration across the streaming service and the studio has become a priority. Scalably integrating data across hundreds of different data stores in a way that enables us to holistically optimize cost, performance and operational concerns presented a significant challenge. Learn how we expanded the scope of the Keystone pipeline into the Netflix Data Mesh, our real-time, general-purpose, data transportation platform for moving data between Netflix systems. The Keystone Platform’s unique approach to declarative configuration and schema evolution, as well as our approach to unifying batch and streaming data and processing will be covered in depth.

Модуль 7 будет про Apache Spark и Databricks. С удовольствием послушаем вебинары про Spark, Huidi, Delta Lake и Iceberg. Форма вебинаров в шапке!

Cloud очень сильно развивается и создает новые возможности и вакансии. Много интересных вакансий помимо аналитики попадают в категорию Security и DevOps

Очень интересный канал про то, как данные и технологии помогают городам стать удобнее для жизни, а так же обзоры и ссылки на интересные проекты, анонсы мероприятий и лекций.

https://t.me/urbandata

Все так, +5 дней к отпуску🤭

Сейчас проходим Microsoft Gaming Research Summit (внутренний ивент). Я посмотрел несколько сессий, и мне очень понравились истории про создание игровых миров например Minecraft (Incredible Minecraft build in timelapse) или Microsoft Flight Simulator.

Microsoft Flight Simulator - это шедевр с точки зрения инженерии. Это реальный пример синергии. Bing maps - сервис карт Microsoft, накопил огромное кол-во данных (петабайтов), но все они 2D. С помощью стартапа BlackShark AI - они смогли построить deeplearning model, которая воссоздает дома в 3D, и это не просто статические картинки как у Google Bird Eye, тут они выглядят очень реалистично. Помимо это, они воссоздают погоду, турбулентность и множество других реальных вещей. И все это с помощью сотен виртуальных машин Azure. Таким образом, это не просто игра, но это стимулятор, который может помогать тренировать пилотов и автопилот для самолетов.

В целом, в играх очень много AI, есть множество базовых задач, есть задачки посложней. К нам недавно пришел Principal ML engineer, который перешел из Microsoft Research. Будет интересно с ними работать и смотреть какие данные они буду использовать из платформы, которую нужно будет для них создать.

Знакомый data engineer написал блог про интеграцию Tableau и SageMaker (сервис AWS для ML).