Что делать с данными?

Вчера прошла в Ванкувере Tableau User Group, где я рассказал и показал как использовать Snowflake и Tableau. В целом не очень круто все прошло, так как у меня было не достаточно время подготовиться. Ну что есть, то есть. Презентацию не буду шарить, там ничего особенного, зато поделюсь насколько сложно добираться до Ванкувера одним днем. Я вышел из дома в 10 утра, а был дома в 1 ночи, чтобы провести 2 часа в Ванкувере. Вот как выглядит маршрут. Денег пока не заработал на самолет/вертолет (тут есть такая опция, стоит 150-200 долларов в один конец). А Автобусы и паром получается гдето до 45 за день. Но самое ужасное это время и кол-во автобусов.

Если вы еще не распечатали А3 формат эту картинку, еще не все потеряно! Украшайте ваше помещение правильными картинами😏

Кстати смешно но факт! Главный инструмент для BI это калькулятор - все время нужно считать цифры и мтерики. А вот главные инструмент для Data Engineer это календарь! Все время ищу дау начала и конец нужной недели, проверяю кол-во дней в месяце и многое другое. Мой секрет data engineering, я все стараюсь делить на дни, потому что так удобней забирать данные из источника по дням, проверять кол-во дней, кол-во строк за день и тп. Можно дальше агрегировать по месяцам и неделям.

— Ма-аам! Можно я из операционки выйду?
⠀
— Не поняла.
⠀
— Ну, буду управленческие функции делегировать, бизнес масштабировать и пассивный доход получать.
⠀
— Какой интересный набор звуков. А скажи мне, будь добр, ты аналитику внедрил?
⠀
— Ну, да.
⠀
— Что «да», сынок?! Что «да»?! Табличка в экселе «сколько потратили, сколько продали» — это не аналитика. Метрики сквозные чтоб были мне через неделю! Отчётность финансовая! Не умеешь сам — найми людей! Если процессы не измеряются — процессов нет!!! Как можно делегировать то, чего нет? Ты мне не скажешь?
⠀
— Ну, а вот стартапы же...
⠀
— Какие стартапы?! При чём тут стартапы?! Там люди чужими деньгами сорят, а ты тут — семейными! У тебя готовая бизнес-модель. То, что в ней бардак управленческий, не делает из тебя стартап!
⠀
— Ла-адно...
⠀
— Во рту прохладно! Так. Позиционирование расскажи своё.
⠀
— У меня хорошее качество по честной цене.
⠀
— Не смей травмировать мать!!! Отличие уникальное в чём? Чего вдруг именно у тебя покупать надо?
⠀
— У нас команда профессионалов...
⠀
— Ох, не жалеешь ты меня... А кому она упёрлась твоя команда? Ты у людей спрашивал вообще, что им нужно? Аналитику предпроектную делал? Конкурентов и аналоги изучал? Инсайты, барьеры, драйверы покупательские выявил? Нет! А ведь мы об этом говорили! Говорили ведь?
⠀
— Ну, говорили...
⠀
— Конечно. Но зачем маму слушать? Мама же всего-то всю жизнь в консалтинге проработала. Вряд ли она в бизнесе волочёт. Мы без маминых советов обойдёмся... Я тебе так скажу. Чтобы из операционки выйти, нужно сначала в неё зайти. А я тебя там пока что не обнаруживаю.

(с) Андрей Саламатов (Andrey Salamatov)

Это Ричард Феймэн, известный физик. Он был прородителем AI. Его известная цитата "Если я не могу это воссоздать, значит я этого не понимаю". Он использовал алгоритмы, чтобы лучше понимать окружайщий мир и сознание. У него была простая техника изучения материала: 1)Выбрать предмет/топик 2)Объяснить этот предмет кому-нибудь, кто совершенно этого не понимает, как ребенку 3)Выявить проблемы в своем понимании 4)Изучить их и дальше упростить обучение. Вывод: В общем, если вы хотите что-то новое изучать, начните учить этому других. Я с этим полностью согласен, я учил других SAP BusinessObjects, Tableau, Microstrategy и многое другое, и впроцессе обучения сам разбирался в предмете. Так же когда мы учим других, это очень помогает карьере, так как всегда приветствуется и поощряется!

Классная идея, искать сотрудников через Instagram. У меня всё ещё реклама Бостона, эта компания предлагает удобный сервис. Типа утконоса (если кто знал такого), вы в любом магазине выбираете продукты и вам привозят бесплатно. Вы платите 100$ в год.

Компания Alteryx купила компания по data science, которая помогает автоматически выбирать features для моделей. Сам по себе Alteryx довольно популярен, изначально это был настольный ETL tool, которые был нацелен на бизнес пользователей и умел создавать Tableau extracts. Потом появилась серверная версия и много примочек для data science. Очень популярный продукт среди аналитиков. Часто используется вместе с Tableau, хотя у Tableau есть Tableau Prep (вообще голяк). Вывод простой, сейчас тренд на упрощение data science/machine learning. Уровень входа в профессию будет понижаться за счёт упрощения ПО. Так было много лет назад с BI. Чтобы создать отчёт нужно было много водить, а теперь мы просто пару кликов мышкой.

Пример использования python для финансовой отчётности.

Уже существует DeepFashion, например из базовой фотографии создаются копии разных поз. Можно сэкономить на продакшане. Был еще другой проект DeepNude но его прикрыли по понятным причинам))

Нашел прикольный сайт агрегатор ивентов. И в нем вот есть всреча аналитиков (бесплатно) в яндекс https://events.yandex.ru/events/data-driven-2019

В Северной Америке без кофе никуда!☕️

16 Октября AWSomeDay, можно подтянуть знания по cloud.

Сегодня увидел, что главный менеджер Tableau в Канаде перешёл в другую компанию. Ploty это Канадская компания по визуализации данных. Это говорит о том, что в Канаде у Табло не вся так хорошо, как хотелось бы. Да и в целом с облачной аналитикой печалька пока.

Вот вот, и я им говорю что одни бананы и все))