Looker это облачный BI, который был куплен Google. Кстати у меня досих пор есть свой инстанс и доступ к нему, можете погонять если нужно, и получить ценный опыт еще одного BI продукта. А может быть кто-то хочет его внедрять в Канаде? (rockyourdata партнер Looker) Но я не нашел ни одного клиента:/
Сообщение про другое, они организуют в октябре конференцию JOIN, которая будет бесплатна, и можно узнать много нового про тренды аналитики, BI, BI+AI и кейсы западных компаний, и как обычно английский попрактиковать.
Сообщение про другое, они организуют в октябре конференцию JOIN, которая будет бесплатна, и можно узнать много нового про тренды аналитики, BI, BI+AI и кейсы западных компаний, и как обычно английский попрактиковать.
Google Cloud
Events | Google Cloud
Stay informed on Google Cloud Next ’21, other events, products, special offers, and more.
Forwarded from Мама метрик | Лена Серегина
#soft_skills
В корпорациях легко думать, что ты гуру софт скилов и лидерства. Но жизнь за их пределами способна сбить любую корону. Я хочу делиться с вами не просто важными моментами в аналитике. Но и тем, что оказалось критичным для меня при переходе из корпоративной работы в предпринимательство.
Мотивация. Когда у тебя ещё нет сильного бренда, умение мотивировать определяет всю судьбу. Жизнеспособность молодых продуктов не столько зависит от их юнит-экономики, сколько от энергии команды.
Хотя в книгах нас учат другому, на практике нередко самое простое - это мотивировать людей деньгами. Даже, когда в стартапе классическое состояние - "денег нет", он прибегает к так же классическому ходу: "но вы держитесь". А точнее, начинает обещать первым сотрудникам долю и большие доходы в случае успеха.
Далее только тезисы и видео от величайшего Ицхака Адизеса (кстати, рекомендую все без исключения его книги).
😎 Деньги - это не мотиватор.
😎 Деньги - это демотиватор.
😎Человек радуется повышению дохода пару дней.
Что реально мотивирует:
1. Миссия. Люди готовы на войну идти ради миссии, не то, что на работу (от себя добавлю: самое сложное - это не создание миссии, а способность её доносить без пафосного лица. Cпокойно, искренне, зажигающее).
2. Любовь к своему делу. Люди должны быть на своем месте. В небольших проектах все многостаночники. Но когда креативщик занимается рутиной, его глаза гаснут. А вслед за этим, едут сроки и качество. Кстати симптом того, что человек не на своем месте, - он чаще остальных просит (явно или через намёки) ещё больше денег.
3. Полномочия. Надо слышать людей. Надо давать им возможность решать и делегировать. Казалось бы. Как такое достижимо в маленьких командах. Важно учиться давать команде часть бюджета из оборота на покупку инструментов или найм фрилансеров. Мне и моей команде очень помогает горизонтальное делегирование. Наша аналитика похожа на парную гимнастику - это процесс непрерывной парной поддержки.
Хотите ещё такие темы в этом канале?
В корпорациях легко думать, что ты гуру софт скилов и лидерства. Но жизнь за их пределами способна сбить любую корону. Я хочу делиться с вами не просто важными моментами в аналитике. Но и тем, что оказалось критичным для меня при переходе из корпоративной работы в предпринимательство.
Мотивация. Когда у тебя ещё нет сильного бренда, умение мотивировать определяет всю судьбу. Жизнеспособность молодых продуктов не столько зависит от их юнит-экономики, сколько от энергии команды.
Хотя в книгах нас учат другому, на практике нередко самое простое - это мотивировать людей деньгами. Даже, когда в стартапе классическое состояние - "денег нет", он прибегает к так же классическому ходу: "но вы держитесь". А точнее, начинает обещать первым сотрудникам долю и большие доходы в случае успеха.
Далее только тезисы и видео от величайшего Ицхака Адизеса (кстати, рекомендую все без исключения его книги).
😎 Деньги - это не мотиватор.
😎 Деньги - это демотиватор.
😎Человек радуется повышению дохода пару дней.
Что реально мотивирует:
1. Миссия. Люди готовы на войну идти ради миссии, не то, что на работу (от себя добавлю: самое сложное - это не создание миссии, а способность её доносить без пафосного лица. Cпокойно, искренне, зажигающее).
2. Любовь к своему делу. Люди должны быть на своем месте. В небольших проектах все многостаночники. Но когда креативщик занимается рутиной, его глаза гаснут. А вслед за этим, едут сроки и качество. Кстати симптом того, что человек не на своем месте, - он чаще остальных просит (явно или через намёки) ещё больше денег.
3. Полномочия. Надо слышать людей. Надо давать им возможность решать и делегировать. Казалось бы. Как такое достижимо в маленьких командах. Важно учиться давать команде часть бюджета из оборота на покупку инструментов или найм фрилансеров. Мне и моей команде очень помогает горизонтальное делегирование. Наша аналитика похожа на парную гимнастику - это процесс непрерывной парной поддержки.
Хотите ещё такие темы в этом канале?
YouTube
08 Сотрудники постоянно хотят больше денег и при этом нет отдачи от зарплат
Ответ доктора Адизеса на вопрос:
"Наша компания является лидером рынка. Мы – лидеры в своем регионе, в своей нише. Наша компания растет хорошими темпами. Мы предлагаем своим сотрудникам хороший финансовый пакет. Наши зарплаты выше рыночных. Но люди постоянно…
"Наша компания является лидером рынка. Мы – лидеры в своем регионе, в своей нише. Наша компания растет хорошими темпами. Мы предлагаем своим сотрудникам хороший финансовый пакет. Наши зарплаты выше рыночных. Но люди постоянно…
Случайно нашел конференцию 1го октября Пирамида Метрик, возможно вам будет интересно. Как я понял ее организует DataLatte - студия аналитики, раньше их не встречал среди всех наших аналитических сообществ. Какое милое название, я даже захотел Латте☕️, вчера как раз пришла новая кофе машина.🤗
Forwarded from 🗞 Виз Ньюз
А еще, если интересно, вот его вчераашнее выступление на
DataVis Lisboa https://www.youtube.com/watch?v=qWG2KpHwKBA&ab_channel=DataVisLisboa
DataVis Lisboa https://www.youtube.com/watch?v=qWG2KpHwKBA&ab_channel=DataVisLisboa
YouTube
Moritz Stefaner – It’s a process
📈 Moritz Stefaner is constantly chasing the perfect shape for information — how can we create expressive, intriguing, and elegant data experiences? He will walk us through his learnings from past projects on what constitutes the ingredients and recipes for…
Часто слышу - "Работать в фанге это круто" или "хочу работать в фанге". Я примерно понимал, что FANG а позднее FAANG это набор компаний:
Facebook
Amazon
Apple
Netflix
Google
Я все думал почему там так круто работать, и получается если не там, то уже не круто?🤨
Оказалось все проще, на самом деле качество работы в компании, карьерный рост или вознаграждение не зависит от компаний. Хотя это факт, эти компании могут платить много, но еще надо продать себя подороже, причем ваша базовая зарплата будет немного выше рынка (если повезет), а если нет, то точно не меньше. Основное преимущество это сток, акции компании, которые вам дают на 4 года. И каждый год вы получате по 25% акций, можете их продать или хранить. Например, я получил акции амазона в 2016, когда они стоили 700$. Сейчас они 3200$+. Если перемножить кол-во акций на их цену, то о боги, я накопил приличную сумму денег, но потом мы спускаемся на землю, и находясь в Северной Америке, на собственном опыте начинаешь понимать слово TAX и их множество, они беспощадны. Начиная от налога в 50% на акции (в Канаде), когда Амазон мне дарит, например 10 акций, государство сразу забирает половину. А если, амазон мне дарит акции по 700, а через 2 года они 3т, то 2300 это capital gains, и снова - заплати налоги. В общем, вы поняли, вся это история про total compensation часто звучит мощно, пока 1/3 от всех этих денег на руки не получите. Это вам не 13% налог на зарплату в России. Я конечно где-то утрирую, решил поделится опытом после 4,5 года в FAANG.
Возвращаюсь к FAANG -
- The term "FANG" refers to the stocks of four popular American technology companies: Facebook, Amazon, Netflix, and Alphabet.
- Each of the FANG companies has shown extraordinary growth in recent years, reflected in both their revenues and their net profits.
- Although their business models vary, they each share the use of advanced technologies to acquire and retain users.
То есть просто компании, которые показали взрывной рост. Есть и другие хорошие компании, где хорошая культура и отличный зарплаты. Ставить целью работать в FAANG это круто, но получается мы часто переоцениваем компании FAANG и недооцениваем возможности в других компаниях. А вы как думаете?
Amazon
Apple
Netflix
Я все думал почему там так круто работать, и получается если не там, то уже не круто?🤨
Оказалось все проще, на самом деле качество работы в компании, карьерный рост или вознаграждение не зависит от компаний. Хотя это факт, эти компании могут платить много, но еще надо продать себя подороже, причем ваша базовая зарплата будет немного выше рынка (если повезет), а если нет, то точно не меньше. Основное преимущество это сток, акции компании, которые вам дают на 4 года. И каждый год вы получате по 25% акций, можете их продать или хранить. Например, я получил акции амазона в 2016, когда они стоили 700$. Сейчас они 3200$+. Если перемножить кол-во акций на их цену, то о боги, я накопил приличную сумму денег, но потом мы спускаемся на землю, и находясь в Северной Америке, на собственном опыте начинаешь понимать слово TAX и их множество, они беспощадны. Начиная от налога в 50% на акции (в Канаде), когда Амазон мне дарит, например 10 акций, государство сразу забирает половину. А если, амазон мне дарит акции по 700, а через 2 года они 3т, то 2300 это capital gains, и снова - заплати налоги. В общем, вы поняли, вся это история про total compensation часто звучит мощно, пока 1/3 от всех этих денег на руки не получите. Это вам не 13% налог на зарплату в России. Я конечно где-то утрирую, решил поделится опытом после 4,5 года в FAANG.
Возвращаюсь к FAANG -
- The term "FANG" refers to the stocks of four popular American technology companies: Facebook, Amazon, Netflix, and Alphabet.
- Each of the FANG companies has shown extraordinary growth in recent years, reflected in both their revenues and their net profits.
- Although their business models vary, they each share the use of advanced technologies to acquire and retain users.
То есть просто компании, которые показали взрывной рост. Есть и другие хорошие компании, где хорошая культура и отличный зарплаты. Ставить целью работать в FAANG это круто, но получается мы часто переоцениваем компании FAANG и недооцениваем возможности в других компаниях. А вы как думаете?
Конец сентября, Яндекс проводит большую онлайн конференцию. Можно послушать про облачную аналитику и другие полезные сессии.
Yandex Scale 2020
Большая онлайн-конференция платформы Yandex.Cloud
Amazon стратегически развивает SageMaker - облачный сервис для ML (виртуальные машины EC2 + Jupyter Notebooks + ML Framework). В 2021 году он планируется стать основным для внутренней и внешней разработки в области ML для Amazon/AWS. Есть интересный science paper про Autopilot (имеется ввиду AutoML).
Книги про SageMaker:
1) Learn Amazon SageMaker: A guide to building, training, and deploying machine learning models for developers and data scientists
2) Data Science on AWS
Тренинг и примеры Python Notebooks по Sage Maker. Там будет одна из лаб - использование Autopilot.
Книги про SageMaker:
1) Learn Amazon SageMaker: A guide to building, training, and deploying machine learning models for developers and data scientists
2) Data Science on AWS
Тренинг и примеры Python Notebooks по Sage Maker. Там будет одна из лаб - использование Autopilot.
Один из главных принцип лидерства (Leadership Principles) в Амазон - Любовь к Клиентам (Customer Obcession). Да и не только у Амазона, многие компании являются клиентоориентированными.
Когда мы внедряем или сопровождаем аналитическое решение, мы тоже должны быть customer obcession. Только для нас клиенты - это пользователи BI решения. Лучший способ узнать у коллег - провести опрос и визуализировать результат. Таким образом вы сможете собрать обратную связь, быть проактивным и приоритизировать или выявить ключевые проблемы у ваших пользователей, которые вы сможете решить. Таким образом, вы повысите клиентский опыт и у вас будет, что рассказать вашему руководителю или другой компании на собеседовании. 😉
В этом видео мы узнаем:
📌 Для чего нужны опросы пользователей BI
📌 Типы опросов
📌 Net Promoter Score
📌 Customer Satisfaction Score
📌 Customer Effort Score
📌 Реальные примеры опросов
📌 Пример визуализации опросов в Tableau
https://youtu.be/kKI5PMVC6A4
Когда мы внедряем или сопровождаем аналитическое решение, мы тоже должны быть customer obcession. Только для нас клиенты - это пользователи BI решения. Лучший способ узнать у коллег - провести опрос и визуализировать результат. Таким образом вы сможете собрать обратную связь, быть проактивным и приоритизировать или выявить ключевые проблемы у ваших пользователей, которые вы сможете решить. Таким образом, вы повысите клиентский опыт и у вас будет, что рассказать вашему руководителю или другой компании на собеседовании. 😉
В этом видео мы узнаем:
📌 Для чего нужны опросы пользователей BI
📌 Типы опросов
📌 Net Promoter Score
📌 Customer Satisfaction Score
📌 Customer Effort Score
📌 Реальные примеры опросов
📌 Пример визуализации опросов в Tableau
https://youtu.be/kKI5PMVC6A4
Для модуля 3.9 я хотел установить Tableau Server на Windows. У меня 16Гб оперативки, и я выделил 8Гб для виртуальной. Раньше этого было достаточно. Теперь Tableau попросил меня мин 32Гб оперативки. Поэтому я скачала версию 2018 года, и ей хватило 8ми.
Почему я так люблю возиться с виртуальными машинами? Для меня это единственный способ понять как все работает. Идеальная ситуация, когда на одной виртуальной машине (Windows) находиться BI Server, на другой (Linux) находится аналитическое хранилище данных (раньше можно было скачать готовую виртуалку с Teradata) или виртуальная машина Cloudera с Hadoop. Дальше, мы все это соединяем в одну сеть, и подключаемся с BI клиента и SQL клиента с локального компьютера. И когда вся эта история работает, для меня это прям ZEN. Чего и вам желаю.
К счастью или к сожалению не достаточно уметь писать SQL запрос или строить графики, нужно понимать как сервисы взаимодействуют между собой.
Почему я так люблю возиться с виртуальными машинами? Для меня это единственный способ понять как все работает. Идеальная ситуация, когда на одной виртуальной машине (Windows) находиться BI Server, на другой (Linux) находится аналитическое хранилище данных (раньше можно было скачать готовую виртуалку с Teradata) или виртуальная машина Cloudera с Hadoop. Дальше, мы все это соединяем в одну сеть, и подключаемся с BI клиента и SQL клиента с локального компьютера. И когда вся эта история работает, для меня это прям ZEN. Чего и вам желаю.
К счастью или к сожалению не достаточно уметь писать SQL запрос или строить графики, нужно понимать как сервисы взаимодействуют между собой.
Если вам нужно быстро визуализовать данные, построить пару графиков, которые буду сами обновляться, то вы можете поддержать отечественного производителя Yandex DataLens.
Я его добавлю в обзор fancy BI решений для модуля 3.12.
Цена у dataleans прозрачная, платим не за пользователей, а за часы. До 166 часов в месяц бесплатно.
Из преимуществ - есть встроенные конекторы к яндекс сервисам.
Кому подойдет? В первую очередь людям, которые любят пробовать новые решения или кому нужно быстро визуализировать данные с использованием простых графиков, чтобы показать коллегам или вывести на экран в офис.
Через несколько лет появятся вакансии, где уже будет требоваться опыт Yandex Cloud, так что лучше изучить на ранней стадии все про решения в облаках, тем более все на русском.
Я его добавлю в обзор fancy BI решений для модуля 3.12.
Цена у dataleans прозрачная, платим не за пользователей, а за часы. До 166 часов в месяц бесплатно.
Из преимуществ - есть встроенные конекторы к яндекс сервисам.
Кому подойдет? В первую очередь людям, которые любят пробовать новые решения или кому нужно быстро визуализировать данные с использованием простых графиков, чтобы показать коллегам или вывести на экран в офис.
Через несколько лет появятся вакансии, где уже будет требоваться опыт Yandex Cloud, так что лучше изучить на ранней стадии все про решения в облаках, тем более все на русском.
И еще один сервис, который вы можете запустить бесплатно (на облачные кредиты) - Yandex Data Proc. То есть вы можете запустить кластер Hadoop со Spark. Отличный вариант потренироваться на больших данных и Spark. То есть вместо того, чтобы учить как настраивать hadoop, hdfs, как крутить всякие настройки, вы можете сразу перейти к делу и сосредоточиться на решение проблемы. Пару кликов, и вы можете уже писать PySpark или Scala для обработки массива данных. Мне кажется хорошая история для собеседования, рассказать как вы интересуетесь современными технологиями и сравнили AWS EMR и Yandex Data Proc. https://cloud.yandex.com/docs/data-proc/concepts/
Yandex
Yandex Cloud Documentation | Yandex Data Proc | Relationship between Data Proc service resources
Data Proc helps implement distributed data storage and processing using the Apache Hadoop service ecosystem. Resources Resources.
Линейная регрессия на sql? Не вопрос! До этого я только в табло ее делал😬
Mode
How to do linear regression in SQL | Mode
A step-by-step guide to get a simple regression analysis done in pure SQL with relatively little pain.
Все слышали про IP адрес? Вы можете всегда узнать какой у вас IP адрес, набрав в google "What's my IP", и получите что-то вроде 205.251.233.106, цифры могут быть любые. Когда мы делали домашнее задание по 3му модулю - подключение БД postgres к локальному клиенту, то мы просто открывали firewall между нашей БД и клиентом SQL полностью (public access). Так никогда не делают, обычно прописывают конкретный range IP адрессов, для этого используют CIDR Notation. Вы на практике познакомитесь с ней в модуле 5 (облачные вычисления) и 6 (облачное хранилище данных. А вот пока для ознакомления статья, как это работает.
Напишите примеры использования CIDR, если на работе сталкиваетесь при кейсах аналитики, доступа сервисов и тп.
Напишите примеры использования CIDR, если на работе сталкиваетесь при кейсах аналитики, доступа сервисов и тп.
Medium
Understanding CIDR Notation and IP Address Range
This article will help you become familiar with IP addresses and CIDR notation.
На ресурсе datalearn мы хотим собрать информацию о самых лучших телеграм или youtube каналах, блогах или сообществах для наших студентов, подписчиков и посетителей сайта.
Много талантливых ребят делятся опытом и рассказываю об интересных проектах, мероприятиях и вакансиях связанных с аналитикой. Мы решили собрать их вместе! Если у вас есть телеграмм канал и в нем больше 500 подписчиков, значит у вас хороший контент и им необходимо поделиться со всеми!
Пожалуйста, заполните опрос или перешлите кому будет интересно.
Много талантливых ребят делятся опытом и рассказываю об интересных проектах, мероприятиях и вакансиях связанных с аналитикой. Мы решили собрать их вместе! Если у вас есть телеграмм канал и в нем больше 500 подписчиков, значит у вас хороший контент и им необходимо поделиться со всеми!
Пожалуйста, заполните опрос или перешлите кому будет интересно.
Technical debt.pdf
161.7 KB
Интересная статья про technical debt для ML, написанная сотрудниками google.
Technical debt - это метафара, которую ввели в 1992 году, она обозначает стоимость решения на долгой перспективе. То есть, чтобы быстро строить решения, двигаться быстро (fast time to market, quick wins). Вы сможете показать быстрый результат, особенно при использовании облачных вычислений, но со временем вам это встанет в копеечку, так как поддерживать систему будет все сложнее. И это не пусты слова, прямо сейчас я наблюдаю такую картину у нас в команде, нам необходимо создавать Onsite Feature Attributiin модель для маркетологов, чтобы они могли измерять эффективность кампаний. Мы двигаемся быстро, а это значит сотни ТБ данных разбросаны по AWS аккаунтам, и я все добавляю новые данные (даже не думаю, чтобы что-то ненужное удалить - потом удалю). Это стоимость хранения данных, которая еще не очень большая. А вот стоимость вычислений (compute) - сканировать данные (processing, querying) - это уже дорого, особенно если это GPU.
Technical debt - это метафара, которую ввели в 1992 году, она обозначает стоимость решения на долгой перспективе. То есть, чтобы быстро строить решения, двигаться быстро (fast time to market, quick wins). Вы сможете показать быстрый результат, особенно при использовании облачных вычислений, но со временем вам это встанет в копеечку, так как поддерживать систему будет все сложнее. И это не пусты слова, прямо сейчас я наблюдаю такую картину у нас в команде, нам необходимо создавать Onsite Feature Attributiin модель для маркетологов, чтобы они могли измерять эффективность кампаний. Мы двигаемся быстро, а это значит сотни ТБ данных разбросаны по AWS аккаунтам, и я все добавляю новые данные (даже не думаю, чтобы что-то ненужное удалить - потом удалю). Это стоимость хранения данных, которая еще не очень большая. А вот стоимость вычислений (compute) - сканировать данные (processing, querying) - это уже дорого, особенно если это GPU.
Поэтому моя роль как data engineer, на основе информации выше, разбираться с этим, чтобы на выходе я мог написать что-то вроде (взял у Facebook data engineer и немного изменил):
- Managed a 10 PB+ data platform
- Consolidated and conformed company-wide growth metrics (across Amazon Events and marketing efforts) into a single, company-wide view.
- Optimized machine learning feature set generation pipelines (200+ TB/day) from having a 4 day latency to having a 1 day latency. While also dropping compute costs for those pipelines 4x.
- Reduced core notification data set latencies from 36 hours to < 8 hours.
- Migrated 50% of notifications pipelines from using Hive to use Spark, Presto, or real-time streaming.
- Cut compute cost from notifications pipelines by 40% over the course of 9 months.
+ надо обязательно упомянуть Privacy (GDPR, и все другие вещи, про удаление клиентских данных и compliance)
- Managed a 10 PB+ data platform
- Consolidated and conformed company-wide growth metrics (across Amazon Events and marketing efforts) into a single, company-wide view.
- Optimized machine learning feature set generation pipelines (200+ TB/day) from having a 4 day latency to having a 1 day latency. While also dropping compute costs for those pipelines 4x.
- Reduced core notification data set latencies from 36 hours to < 8 hours.
- Migrated 50% of notifications pipelines from using Hive to use Spark, Presto, or real-time streaming.
- Cut compute cost from notifications pipelines by 40% over the course of 9 months.
+ надо обязательно упомянуть Privacy (GDPR, и все другие вещи, про удаление клиентских данных и compliance)