На этой неделе провёл небольшой мастер-класс про визуализацию личных данных в Вастрик Клубе:
— Показал примеры визуализаций про себя и где можно легко собирать свои личные данные;
— Сделал небольшой обзор Табло и показал как в нём создать простую визуализацию;
— Построили вместе с участниками дашборд про чатик в телеграмме и посмотрели свои перемещения на карте.

Было интересно выступить перед аудиторией не из тусовки датавиза и BI, и рассказать про визуализацию как хобби.

Презентация с ссылками

#выступление

Сравнение форматов файлов для озера данных.https://medium.com/adaltas/storage-size-and-generation-time-in-popular-file-formats-48a23190c1da

Все без изменений, Oracle обижен на Amazon, после того, как Амазон отказался от Oracle в качестве хранилища данных и backend для интернет магазина.

У AWS куча ресурсов, и они обязательно нагонят и обгонят лидеров рынка. Также как и Microsoft и Google. В 2018/2019 у снежинки было преимущество, но уже конкуренты догоняют.

21 год будет за Databricks, особенно если выйдут на IPO. А там дальше видно будет.

На западе LinkedIn уже вместо резюме и реально помогает найти работу и даёт отличные возможности для нетворкинга. А как же дела обстоят в России? HH ваше все? Или есть более интересные способы

Завтра в 4:30 pm по Альберте, расскажу и покажу Snowflake+Tableau для их user group

https://lnkd.in/gNKeHxc

Про data engineering для тех, кто не в теме: https://www.youtube.com/watch?v=qWru-b6m030
Классное вводное видео.

У Tableau есть свой онлайн магазин, и цены там совсем не высокие. https://bdasites.com/tableau/Main/Default

Конечно заказать в Россию не просто, но наверно возможно, через службы, которые делают вам американский адрес. Я себе маску Data Rock Star заказал, будут теперь из офиса работать, там нужно в маске сидеть.

Анастасия записала урок 2 2го модуля. https://youtu.be/p2R8eK5ljAA

Уже на следующей неделе пройдет первая в своем роде русскоязычная онлайн-конференция по продуктовой аналитике Aha!'21. Организаторы собрали убедительную программу:

- 20% - про монетизацию: из каких шагов состоит оптимальная воронка активации, как определить шаги (моменты) воронки, применение фреймворка от Reforge на практике и др.
- 20% - технологический стек - от работы с Power BI и Amplitude до Яндекс.Облака и Exasol.
- 20% - эксперименты: оценке долгосрочных эффектов после проведения эксперимента, этапам эволюции in-house системы экспериментов в любой компании, проверке качества систем сплитования трафика и мн. др.
- Много внимания уделено системам автоматического поиска инсайтов в данных, поиску, анализу и автоматизации процесса обнаружения аномалий, как находить инсайты по оптимизации монетизации. После этого, подходы к определению product market fit и обнаружению aha-моментов. Оргам удалось согласовать Q&A-сессию с вице-президентом Sequoia Capital (!!!) - самым успешным венчурным фондом в мире - они то уж точно знают что к чему в деньгах и продуктах + еще десяток тем и дискуссий. Подробная программа конференции.

🔥 Не пропускайте конференцию - промокод - LASTCALL - дает скидку 10% - регистрируйтесь!

❗️Важно! Все материалы — видео, презентации, мастер-классы, доступы в чаты - бессрочно доступны участникам в записи сразу после трансляции. Вещание студийного качества в формате FullHD, с возможностью поставить прямой эфир на паузу и потом ускорить. Если вы пропустили что-то в прямом эфире — не страшно! Вопросы к спикерам собираются в течение 1,5-2 недель и потом проводится общий Q&A Zoom со спикерами.

Помните - ничто не освобождает вас от знания матчасти!

Свежая книга по Data Literacy, 80 баксов за твердый переплет это конечно круто!)) https://www.amazon.com/Be-Data-Literate-Literacy-Everyone/dp/1789668018/?ref_=d6k_applink_bb_marketplace

Ссылки по analytics.

ML:
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
What is MLOps? Machine Learning Operations Explained
Building a Successful Enterprise AI Platform
Nested Attributes & Functions Operating on Nested Types in PySpark
Data Scientists, don’t worry about data engineering: Viewflow has your back.

DE:
Capturing Every Change From Shopify’s Sharded Monolith
Scaling Data Culture Is a Marathon, Not a Sprint
Taming the Dependency Hell with dbt
Executing a distributed shuffle without a MapReduce system

Interview:
The New York Times is rolling out a new approach to how we hire data analysts.

Мне нравятся мысли Зака про Data Engineering, у него большой опыт. В посте он сравнивает практики SDE vs DE, что важно, что не важно, по его мнению.

Чувак рассказывает про инструменты инженера данных на Azure и про то, как можно их учить бесплатно.


Кстати я продолжаю общаться с разными студиями Xbox, и если Minecraft и Rare (создатели Sea of Thieves) +/- довольны Databricks, но еще далеки от совершенства, то вот Turn 10 (создатели Forza) решили пойти по пути Azure Synapse. Оказывается, когда вышел Synapse, то они выпустили поддержку Delta Lake и Serverless SQL Engines. Пока еще сыровато, но звучит многообещающе. Я больше всего боюсь, что в один прекрасный день, Databricks уйдет из Azure, и останется мне только Synapse. Я очень хочу попробовать кейсы для DataBricks, чтобы запускать ML модели внутри игры в режиме реального времени, пока не знаю, как это работает, но технологии позволяют так делать. Сейчас основной проект это миграция HDInsight (Azure Hadoop)+Hive на Databricks.

Я часто тут затрагиваю тему сертификации, вот мои сертификаты за 10+ лет. 4 из них fake. Попробуйте угадать какие fake в опросе ниже.