Нашел на прсоторах Амазон, ссылочку на 15 часов видео про ML. Все очень подробно! https://www.r-bloggers.com/in-depth-introduction-to-machine-learning-in-15-hours-of-expert-videos/
R-bloggers
In-depth introduction to machine learning in 15 hours of expert videos
In January 2014, Stanford University professors Trevor Hastie and Rob Tibshirani (authors of the legendary Elements of Statistical Learning textbook) taught an online course based on their newest textbook, An Introduction to Statistical Learning with Applications…
Следующие 2 недели я планирую ничего не писать и просто отдохнуть, в Мексике🏖 По возвращению, я хочу сделать лендиг для курса(ов) про которые я уже говорил. Хочу сделать 3 курса, они будут бесплатные, и будет отдельный чат в Slack для каждого из них, где участники смогут помогать друг другу. Такой вот community driven. Заодно, может кто будет ambassador и помогать с курсом и организацией.
====
2 главных принципа у всех материалов:
1) Максимально просто - KISS (Keep it super simple), поможет понять основы, а дальше уже можно и углубляться самим.
2) Будет от простого к сложному и будет все взаимосвязано, например, когда у нас не помещается в Хранилище данных наши данные, мы только тогда будем использовать BigData, или например когда устали вручную в excel данные гонять, мы будет в BI делать.
=====
Курсы:
1. Getting Started with Data Engineering, ~10 недель, с одним вебинаром в неделю и с домашкой, от простого к сложному, что-то вроде моей карьеры за 10 недель.
2. Data Literacy for everyone - это такой совсем водный, кто вообще не работал с данным, начнем с эксельки, потом BI/SQL, визуализация и может еще чего.
3. Data Analytics for Women 👩🔧👩🏭👩🔬👩⚕️🧝♀️💃 - идея запустить это сообщество, научить работать с данными, BI/DW/SQL и тп. Уравнять шансы с другими. Я решил выделить отдельно его, что вам было комфортно друг другу помогать (женская солидарность?). Так же надеюсь, что появится много новых специалистов по данным кто до этого не работал, отличная возможность построить новую карьеру. Здесь мне конечно понадобиться ваша помощь, чтобы кто-то курировал и развивал (женское комъюнити). Но точно будет отличная возможность научить.
====
Потом нужно придумать сертификат, будет по принципу успеваемости, если не делаете домашнее задание за неделю, то отсеиваетесь, кто дайдет до конца получит сертификат, и референс, или еще чего, но что-нибудь полезное, и заодно в конце обсудим, что можно делать со знаниями, где искать работу и тп.
====
FAQ
1) Почему бесплатно? - Все самое лучшее, всегда бесплатно! Вы просто можете посылать мне лучи благодарности и я буду счастлив😉 Ну заодно, возможно получиться вырастить аудиторию, а если есть аудитория, то уже можно делать интересные проекты и привлекать вендоров/спонсоров.
2)Как будет это все происходить? Пока точно не понятно. Но я создам простой сайт в wix/tilda, где будут все материалы. Каждую неделю, буду добавлять модуль + видео и задание. Будет slack канал где можно будет обсуждать проекты и задавать вопросы. Так как курс бесплатный, то придется иногда самим разбираться и читать на английском инструкции.
3)А вообще нужно платить? Вообще, когда мы дойдем до облачных сервисов, возможно придется платить, но большинство бесплатно.
4)Какие технологии? Будет точно BI/DW/ETL/ELT/BigData. Использовать будем:
- Excel, notepad
- SQL databases Postgres/Mysql
- DW (sql database) Amazon Redshift (Cloud MPP DW)
- ETL Pentaho DI
- ELT Matillion (возможно) или Amazon Glue
- BigData Elastic Map Reduce (Hadoop), Hive, Presto, Athena, Spectrum
Самое главное это понять, как все это взаимосвязано, и какие еще элемeны есть, например можем ли мы пользоваться командной строкой и когда это нужно.
- BI Tableau (или Power BI если вы сами будете). В принципе.
====
PS может про 10 недель нон стоп это очень амбициозно, но посмотрим как пойдет, может будет 5 человек всего, и тогда вопрос отпадет сам собой😎
====
2 главных принципа у всех материалов:
1) Максимально просто - KISS (Keep it super simple), поможет понять основы, а дальше уже можно и углубляться самим.
2) Будет от простого к сложному и будет все взаимосвязано, например, когда у нас не помещается в Хранилище данных наши данные, мы только тогда будем использовать BigData, или например когда устали вручную в excel данные гонять, мы будет в BI делать.
=====
Курсы:
1. Getting Started with Data Engineering, ~10 недель, с одним вебинаром в неделю и с домашкой, от простого к сложному, что-то вроде моей карьеры за 10 недель.
2. Data Literacy for everyone - это такой совсем водный, кто вообще не работал с данным, начнем с эксельки, потом BI/SQL, визуализация и может еще чего.
3. Data Analytics for Women 👩🔧👩🏭👩🔬👩⚕️🧝♀️💃 - идея запустить это сообщество, научить работать с данными, BI/DW/SQL и тп. Уравнять шансы с другими. Я решил выделить отдельно его, что вам было комфортно друг другу помогать (женская солидарность?). Так же надеюсь, что появится много новых специалистов по данным кто до этого не работал, отличная возможность построить новую карьеру. Здесь мне конечно понадобиться ваша помощь, чтобы кто-то курировал и развивал (женское комъюнити). Но точно будет отличная возможность научить.
====
Потом нужно придумать сертификат, будет по принципу успеваемости, если не делаете домашнее задание за неделю, то отсеиваетесь, кто дайдет до конца получит сертификат, и референс, или еще чего, но что-нибудь полезное, и заодно в конце обсудим, что можно делать со знаниями, где искать работу и тп.
====
FAQ
1) Почему бесплатно? - Все самое лучшее, всегда бесплатно! Вы просто можете посылать мне лучи благодарности и я буду счастлив😉 Ну заодно, возможно получиться вырастить аудиторию, а если есть аудитория, то уже можно делать интересные проекты и привлекать вендоров/спонсоров.
2)Как будет это все происходить? Пока точно не понятно. Но я создам простой сайт в wix/tilda, где будут все материалы. Каждую неделю, буду добавлять модуль + видео и задание. Будет slack канал где можно будет обсуждать проекты и задавать вопросы. Так как курс бесплатный, то придется иногда самим разбираться и читать на английском инструкции.
3)А вообще нужно платить? Вообще, когда мы дойдем до облачных сервисов, возможно придется платить, но большинство бесплатно.
4)Какие технологии? Будет точно BI/DW/ETL/ELT/BigData. Использовать будем:
- Excel, notepad
- SQL databases Postgres/Mysql
- DW (sql database) Amazon Redshift (Cloud MPP DW)
- ETL Pentaho DI
- ELT Matillion (возможно) или Amazon Glue
- BigData Elastic Map Reduce (Hadoop), Hive, Presto, Athena, Spectrum
Самое главное это понять, как все это взаимосвязано, и какие еще элемeны есть, например можем ли мы пользоваться командной строкой и когда это нужно.
- BI Tableau (или Power BI если вы сами будете). В принципе.
====
PS может про 10 недель нон стоп это очень амбициозно, но посмотрим как пойдет, может будет 5 человек всего, и тогда вопрос отпадет сам собой😎
Свежий отчет Gartner по BI решениям. Появился Alibaba Cloud, ThroughtSpot в лидерах, а вот AWS Quicksight что-то не дотягивает. https://www.tableau.com/reports/gartner
Сегодня прочитал интересную цитату, из средневековья причем - Люди хотят облегчения, но не хотят лечиться, так как это больно. На английском звучит проще - "People Want Relief. Cure Is Painful". Эту цитату можно отнести к чему угодно.
Например, хотим успехов в спорте? Диеты, тренироки? Долго и муторно, лучше как-нибудь по-быстрому. Красивая реклама продаст волшебную пилюлю, и обещает результат.
Хотим денег? Учиться, работать - тоже долго, а вот лотерея это быстрей.
Хотим быть крутыми аналитиками, инжинерами и разработчиками? Тоже можно повестись на красивую рекламу, которая гарантирует "облегчение" но не "лечение".
Так же и с финансовыми операциями, вообще применимо ко всему.
Получается реальный результат достигается через боль и труд. А у вас как?
Например, хотим успехов в спорте? Диеты, тренироки? Долго и муторно, лучше как-нибудь по-быстрому. Красивая реклама продаст волшебную пилюлю, и обещает результат.
Хотим денег? Учиться, работать - тоже долго, а вот лотерея это быстрей.
Хотим быть крутыми аналитиками, инжинерами и разработчиками? Тоже можно повестись на красивую рекламу, которая гарантирует "облегчение" но не "лечение".
Так же и с финансовыми операциями, вообще применимо ко всему.
Получается реальный результат достигается через боль и труд. А у вас как?
Я тут написал о своем канале в KZ BI канал, и поэтому я с вами поделюсь этим каналом, вдруг кто из KZ
Forwarded from Екатерина Рехерт
🎉Ура! KZ BI community исполняется 1 год! - отпразднуем в субботу 22.02.2020 в 12:30 🎉
KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях KZ BI Community любой желающий с нуля может научиться реальным навыкам анализа данных (Excel, PowerBI, SQL, Python и др), а также познакомиться с топовыми экспертами Казахстана и мира (у нас выступали специалисты из аналитических команд Kolesa Group, Kaspi Bank, Beeline, и даже Google!).
🔥🔥🔥На этом митапе мы столкнем друг с другом 3 главных конкурентов в сфере BI-аналитики: PowerBI, Tableau, Qlik Sense - будет жарко! Приходи и отпразнуй наш день рождения вместе с нами! Будут спикеры из Microsoft Kazakhstan, KPMG, EPAM, Tableau User Group, Datanomix
🎯Дата и время: 22.02.2020, суббота, 12:30
📍Локация: г.Алматы, ул. Сатпаева, 16А, университет «Туран», 3 этаж, Актовый зал
💃С собой: иметь хорошее настроение
💰Бюджет: вход бесплатный, по регистрации https://forms.gle/t4CrK6aynfaQtDhS9
KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях KZ BI Community любой желающий с нуля может научиться реальным навыкам анализа данных (Excel, PowerBI, SQL, Python и др), а также познакомиться с топовыми экспертами Казахстана и мира (у нас выступали специалисты из аналитических команд Kolesa Group, Kaspi Bank, Beeline, и даже Google!).
🔥🔥🔥На этом митапе мы столкнем друг с другом 3 главных конкурентов в сфере BI-аналитики: PowerBI, Tableau, Qlik Sense - будет жарко! Приходи и отпразнуй наш день рождения вместе с нами! Будут спикеры из Microsoft Kazakhstan, KPMG, EPAM, Tableau User Group, Datanomix
🎯Дата и время: 22.02.2020, суббота, 12:30
📍Локация: г.Алматы, ул. Сатпаева, 16А, университет «Туран», 3 этаж, Актовый зал
💃С собой: иметь хорошее настроение
💰Бюджет: вход бесплатный, по регистрации https://forms.gle/t4CrK6aynfaQtDhS9
Google Docs
Митап KZ BI community - нам 1 год!
🎉Ура! KZ BI community исполняется 1 год! - празднуем 22.02.2020 в 12:30 🎉
KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях KZ BI Community любой желающий с нуля может научиться реальным навыкам…
KZ BI Community за один год объединило более 1200 человек, которым интересна сфера анализа данных! На мероприятиях KZ BI Community любой желающий с нуля может научиться реальным навыкам…
Дочитал книгу Fake. Действительно крутая книга, про РЕАЛЬНОЕ финансовое образование. В книге Роберт пишет про:
1) Fake Money - все знаю о том, что деньги печатаются в любом количестве и этот процесс не контролируется государством. Богатые богаче, бедные бедней. Деньги печатаются, инфлация растет, покупательская способность падает. Решение, это реальные деньги - золото, серебро и другие металлы, значит, нужно часть активов хранить в реальных металлах (god's money). Все стоки, бонды ETF, акции и тп, это деривативы, то есть fake.
2) Fake Teachers - это про школу и университеты, где нас не учат реальным знаниям, а готовят по специальности, главная задача, чтобы мы работали и платили налоги, отчисления в пенсию и тп. Рабочий класс несет основную налоговую нагрузку. Для бизнеса очень много налоговых послаблений. Вариант - накопить денег, купить акций, откладывать на пенсию и тп, это плохой вариант. Так как мы сначала заплатим все налоги, фи и тп, и потом нас еще оберут, и деньги подешевеют, это вариант для "бедных" (бедный не значит мало денег, автор делит людей на бедных и богатых по другим признакам, по финансовой грамотности, бедные это рабочий класс и самозанятые, кто платят налоги, а богатые ты кто работает не ради денег, они знают как использовать заемный капитал (кредиты, ипотеки и тп), чтобы быть еще богаче (легально).
Так же он говорит, в общем про учителей, тренеров, менторов и тп, кто нас учит как нужно делать правильно и берут за это деньги. Часто бывает, что это fake, и дает неправильные советы, особенно много финансовых советников, которые живут на комиссиях. То же самое и про курсы по работе с данными. Где вы учитесь? У реальных учителей или нет?
3) Fake Assets - он разделяет на 2 категории liability (то что у нас забирает деньги, например ипотека, кредиты, семья) и assets ( что нам приносит деньги)
Я немного сумбурно пересказал 450 страниц с картинками и графиками. Но я понял, что я был наивный, считал, что я получаю хорошую зп (плачу до хрена налогов) и есть немного акций, откладываю в Канадский пенсионный фонд, и думаю о том, чтобы копить. Так умные люди не делают, если я хочу действительно быть богатым, я должен перейти из квадранта наемного сотрудника и самозанятого контрактора в бизнес квадрант, и не боятся разбираться как работает налоговое регулирование в Северной Америке и научиться использовать заемный капитал, ну и копить золото и серебро. В общем надо учиться реальной финансовой грамотности.
А у вас как с этим? Откладываете зарплату или что посерьезней?
1) Fake Money - все знаю о том, что деньги печатаются в любом количестве и этот процесс не контролируется государством. Богатые богаче, бедные бедней. Деньги печатаются, инфлация растет, покупательская способность падает. Решение, это реальные деньги - золото, серебро и другие металлы, значит, нужно часть активов хранить в реальных металлах (god's money). Все стоки, бонды ETF, акции и тп, это деривативы, то есть fake.
2) Fake Teachers - это про школу и университеты, где нас не учат реальным знаниям, а готовят по специальности, главная задача, чтобы мы работали и платили налоги, отчисления в пенсию и тп. Рабочий класс несет основную налоговую нагрузку. Для бизнеса очень много налоговых послаблений. Вариант - накопить денег, купить акций, откладывать на пенсию и тп, это плохой вариант. Так как мы сначала заплатим все налоги, фи и тп, и потом нас еще оберут, и деньги подешевеют, это вариант для "бедных" (бедный не значит мало денег, автор делит людей на бедных и богатых по другим признакам, по финансовой грамотности, бедные это рабочий класс и самозанятые, кто платят налоги, а богатые ты кто работает не ради денег, они знают как использовать заемный капитал (кредиты, ипотеки и тп), чтобы быть еще богаче (легально).
Так же он говорит, в общем про учителей, тренеров, менторов и тп, кто нас учит как нужно делать правильно и берут за это деньги. Часто бывает, что это fake, и дает неправильные советы, особенно много финансовых советников, которые живут на комиссиях. То же самое и про курсы по работе с данными. Где вы учитесь? У реальных учителей или нет?
3) Fake Assets - он разделяет на 2 категории liability (то что у нас забирает деньги, например ипотека, кредиты, семья) и assets ( что нам приносит деньги)
Я немного сумбурно пересказал 450 страниц с картинками и графиками. Но я понял, что я был наивный, считал, что я получаю хорошую зп (плачу до хрена налогов) и есть немного акций, откладываю в Канадский пенсионный фонд, и думаю о том, чтобы копить. Так умные люди не делают, если я хочу действительно быть богатым, я должен перейти из квадранта наемного сотрудника и самозанятого контрактора в бизнес квадрант, и не боятся разбираться как работает налоговое регулирование в Северной Америке и научиться использовать заемный капитал, ну и копить золото и серебро. В общем надо учиться реальной финансовой грамотности.
А у вас как с этим? Откладываете зарплату или что посерьезней?
Классное сравнение Power BI и Tableau. Автор фломастерами нарисовал картинки, получилось забавно. https://www.whatdatashows.com/between-tableau-and-power-bi/
Whatdatashows
Between Tableau and Power BI -
My company recently shifted from Tableau to Power BI. And it was painful, as it always is, to say goodbye to something you love and rely on. I was excited about learning a new tool though. Excited to add something new to my toolkit. But a bit reluctant too.…
15 часов видео про ML https://www.r-bloggers.com/in-depth-introduction-to-machine-learning-in-15-hours-of-expert-videos/
R-bloggers
In-depth introduction to machine learning in 15 hours of expert videos
In January 2014, Stanford University professors Trevor Hastie and Rob Tibshirani (authors of the legendary Elements of Statistical Learning textbook) taught an online course based on their newest textbook, An Introduction to Statistical Learning with Applications…
А вот и про Airflow на русском, очень понятно написано, что такое DAG и Airflow. https://khashtamov.com/ru/apache-airflow-introduction/
Khashtamov
Введение в Apache Airflow
Также по теме Airflow:Apache Airflow и XComTaskFlow API в Apache Airflow 2.0Apache Airflow — это продвинутый workflow менеджер и незаменимый инструмент в арсенале современного дата инженера…
А вот квадрант по Data Science. Я знаю хорошо про DataBricks (Spark) и Alteryx. SAS хоть и лидер, но дорогой и неудобный. https://www.alteryx.com/third-party-content/gartner-2020-mq-data-science-machine-learning-thank-you
Недавно я скидывал статью на русском про Airflow. Там на хорошо было написано, что такое Directed Acyclic Graphs (DAG). Для тех кто любит углубиться в детали я нашел paper.
Все больше и больше постов про имлементацию моделей. (data science, ML, AI, не важно каких). Вот еще одна с использование AWS SageMaker (вычислительные мощности и фреймфорк + pyhton notebooks), Python, контейнер (Docker) и MLFlow (для обеспечения цикла разрботки, например dev-prod). Лично я хочу в этом разобраться, я писал про свою задача для оттока клиентов Alexa, работая с DataScienеtist я масштабирую модель, автоматизирую data pipelines. Остался последний элемент, все это сделать и использование best practices.
Medium
Deploying Models to Production with Mlflow and Amazon Sagemaker
As data science continues to mature in 2019, there is increasing demand for data scientists to move beyond the notebook. matplotlib and…
Screenshot_20200220-152210.png
393.5 KB
Классная вакансия в Авито https://m.avito.ru/company/job/data-analyst
О визуализации данных на понятном языке. Почему столбиковые диаграммы строятся только от нуля, как перестать исппользовать чудовищное стандартное оформление из Экселя, почему даже у президента России графики как из 90-х. Разборы неудачных графиков и диаграмм, и события из мира датавиз в канале @chartomojka. Ведущий — преподаватель визуализации данных в Высшей школе экономики, автор книги "Графики, которые убеждают всех" Александр Богачев.