Инжиниринг Данных
23.4K subscribers
1.92K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Если вы еще не знаете, что такое Матемаркетинг, то вам обязательно нужно сходить. Это не реклама, это действительно крутая конференция, где можно многому научиться.


А вот и описание:
Главная конференция для маркетинговых и продуктовых аналитиков, data-инженеров, стратегов - Матемаркетинг-2019

80 докладов, 10 мастер-классов, 100 докладчиков, 2 полных дня
Докладчики летят со всего мира - от Сан-Франциско до Токио.
Ключевые темы: алгоритмический маркетинг, a/b-тестирование, маркетинговая аналитика, маркетинг микро- и малого бизнеса, трек игровой аналитики и секция полностью зарубежная секция по user acquisition.

Подробнейшая программа Матемаркетинга на двух вкладках google sheets: http://bit.ly/33SYfe0

Все решения, о которых пойдет речь, можно имплементировать у себя в компании и учитывать при планировании сервисов.

Конференция пройдет 14 и 15 ноября (четверг и пятница) в центре Москвы.
Билеты: http://bit.ly/2SEBSUJ
Все подробности на сайте: matemarketing.ru
Нашел интересную матрицу, которая показывает, сколько времени загружать при какой скорости интернета. Скорость загрузки лимитирована законами физики и пропускной способностью сети. Средняя скорость в организации - 100 Mbps. Чтобы загрузить 100TB данных, нам потребуется 4 месяца.
История ML
Архитерктура решений Machine Learning от Gartner. Как вы видете ML будет использоваться повсеместно и очень важно понимать, какие задачи в бизнесе он может решать. Вам не обязательно знать, как запилить модель, но вы должны понимать, для чего он используется, какие требования и тп. Тоже самое Big Data, врятли вы Map Reduce на Java будете писать, но вы понимаете в каком случае можно использовать Hadoop. Например в Amazon, множество внутренних курсов по AI/ML для не технический специальностой. Не важно, вы аналитик, Product Manager, вам нужно знать о пользе ML/AI для бизнеса, а польза действительно большая. Наглядный пример - это недавная инвестиция в Element AI, они решают конкретные задачи и бизнес за это платит.

Курсов много - coursera, edx, AWS, GCP, Azure. У последних даже есть специализации.
Из новостей про Element AI: "Элемент AI был запущен с интересной предпосылкой, которая заключается в чем-то вроде этого: AI - это следующий серьезный трансформационный сдвиг не только в области вычислений, но и в том, как работают компании. Не каждая компания является технологической, и это создает своего рода цифровой разрыв между компаниями, которые могут определить проблему и решить ее с помощью AI, и теми, которые не могут это сделать." То есть, компанию хочет демократизировать решения AI и уровнять шансы технологических и не технологических компаний. Достойная цель для инвестиций.
Я тут вспомнил, что не расшарил презентацию с McKinsey Boston, вот она.

Сегодня я еще подался на 2 конференции в 2020 году:
- Data Summit - проходит в Бостоне, в прошлом году меня взяли, но это уже был перебор по деньгам опять лететь за свой счет.
- Big Data Canada 2020 - в прошлом году я не успел податься.
- Зато подался на Big Data Toronto, но не ответили.
- До этого подался на Enterprise Data World 2020. Я там уже выступал в 2018 и 2019.

Хотелось бы конечно попасть на Tableau Conference, Re Invest и Gartner Analytics Summit, но пока не сложилось. И думаю про Сингапур и Лондон. Все по классике, #fakeittillyoumakeit

Теперь я уже стал проводить A/B тестирование, на Big Data Canada откликнулся как Rock Your Data, а на Data Summit как Alexa AI, тем более в Бостоне вся моя команда. В целом я пытаюсь понять, что ценней для организаторов консалтинг, который входит в TOP 20 Big Data Consulting Firms in North America и Top 10 Big Data Analytics companies in Canada или Amazon Alexa AI. И в целом, пока все эти конференции - это большая статья расходов. Но работаем на будущее.

Вообще конференции это здорово, к сожалению часто бывает, что конкуренция крутая, очень много сессий, и в итоге ничего толком не посмотрел, а толку от записей нет, так как времени на них нет. У меня так было с Табло конференцией, там одновременно сессий 20-30 идет и еще воркшопы на половину дня, поэтому вроде как и весело, а вроде и бесполезно. Но что-то в них есть, ты попадаешь в другой мир, много новый идей и людей, и чувствуешь как развиваешься.

Если вы знаете классные мировые конференции (только не про AI) про Big Data, Cloud, то делитесь, попробую зааплится с #покерфеис
Я кстати тоже искал репетитора по математике в 2015, я пытался объясниить, что я хочу учить все что нужно для Data Science, но репетитор по скайпу так меня и не понял
Возможности Power BI
Я не один в Канаде топлю за облачную аналитику
Cloud Data Warehouse in a Day - Agenda (2).pdf
91.4 KB
Практически закончили подготовку к Workshop в Ванкувере про облачное хранилище данных на Azure. Я прикрепил содержание, если интересно.

Это был нон стоп марафон последние 2 недели, пришлось с 0 изучать Azure DW, но знания AWS очень помогли, посути все тоже самое. В целом от Azure SQL DW ожидал большего, но оказалась, что тут много настроек - индексы, партиции. Это вам не Snowflake.

А еще, получили серебряный статус партнера Майкрософт по ” Платформе Данных”, это позволило добавить услуги на маркетплейс, вот пример курса для США https://azuremarketplace.microsoft.com/en-us/marketplace/consulting-services/rockyourdata.clouddw8hoursworkshopus но можно добавить все, что угодно. Посмотрим как работает.
Tableau выпустила новую верси 2019.3, много классных фич. Один из трендов - BI вендоры добавляют AI элементы в их продукты. Это можно увидеть и в Power BI, Tableau, QuickSight, да и другие. Другой важный элемент - это Data Catalog и Data Lineage. Это не новые слова, но раньше существовали отдельные решения Enterprise класса, а теперь мы может все это найти в BI решении.

Data Catalog - поможет нам иметь общий список показателей и измерений и их описание. Я знаю хороший продукт - Alation, но достаточно дорогой.

Data Lineage сможет вам показать всю трансформацию показателя сверху вниз. Такое было много лет назад у SAP BusinessObjects (BI) и SAP Data Services (ETL), я видел дело еще в 2011 но не впечатлило.

Кстати в августе в Амазоне была внутренняя конференция по аналитике и одним из трендов было - Data Catalog и Data Lineage, но для более сложный кейсов, когда у нас и озеро данных, и Spark и Redshift и ML
Попробуйте пройти тест на гражданство Канады http://www.yourlibrary.ca/citizenship/mobile/