Инжиниринг Данных
23.4K subscribers
1.91K photos
57 videos
190 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Отличный пример как нужно презентовать экономическую целесообразность BI решения, The Total Economic
Impact Of Tableau BI or Analytics Solution
https://www.tableau.com/sites/default/files/whitepapers/the_tei_of_tableau_-_final.pdf
Сейчас все новости про COVID19. Все работают из дома, Северная Америка на карантине, практически все магазины закрыты. В России пока ещё все расскачивается, но если есть возможность, то лучше сократить перемещения, возможно вы не пострадаете, но можете заразить того, кто в группе риска. Свежая статья от NYTimes про Италию.
У меня вопрос! Пока все дома сидят с детьми, можете посоветовать ресурсы для онлайн обучения? Матемика, русский, чтение Мне нужно 5 - 8 лет. Ресурсов много, но не понятно насколько хороший. Хотелось бы усадить детей, чтобы решал примеры и задачки. Накидайте в комментарии, заодно и другим будет полезно.
Интересная мысль (не моя) - "Если мы не измеряем, то мы не контролируем" или как-то так.

Всвязи с COVID19 многие бизнесы встали в ступор, все их бюджеты, прогнозы, которые основаны на линейной регрессии и базовой статистики рухнули. Если вы работаете с данными в своей компании, строите отчеты и тп, то первое, чем вы можете помочь своей компании, это добавить открытые данные по COVID19 к существующим метрикам.

Вот главный дата сет, все что вам нужно, это загрузить эти данные в ваше хранилище или BI и добавить корреляцию. Не факт, что это поможет, но это лучше, чем просто сидеть и ждать. Мы так сделали в Alexa.

Я использовал Matillion ETL, там есть коннектор к Google sheets. Можно попробовать Pentaho DI, Python, R. Есть так же Tableau Public дата сет.

Вот еще некоторые источники:
🎱https://coronavirus.jhu.edu/map.html

🎱New York Times’ US Data – https://github.com/nytimes/covid-19-data

🎱Our World in Data World Data https://ourworldindata.org/coronavirus-source-data
Я написал пост про Covid19. Я решил внести свой маленький вклад, и единственное, что мне пришло на ум это сделать shared jobs для Matillion. Заодно посмотрим, как зайдет такой материал с точки зрения маркетинга. https://medium.com/rock-your-data/matillion-etl-covid-19-data-transformation-starter-kit-d9b986235c47
Пишут - хорошие книги
Есть 3 основный типа файла для big data:
💃AVRO
💃PARQUET
💃ORC

Я обычно сразу использую parquet и даже не заморачиваюсь. Но вы можете посмотреть, в чем разница https://blog.clairvoyantsoft.com/big-data-file-formats-3fb659903271
Прямо сейчас начался вебинар - Data Literacy: The New Essential Skill. Возможно узнать, что это такое и попрактиковать английский https://brainstation.io/event/online-event-data-literacy-march2020
Роли для работы с данными и их потребности.
Шаблон документа, чтобы вы могли донести идею до коллег, команды и не использовать power point
Одна из крупных и модных компаний DataRobot начала сокращать персонал, я даже откликался к ним на вакансию AI Solution Architect, но так и ничего не слышал. Но в целом, если посмотреть список компаний, которые увольнают тысячи людей, то они явно что-то знают, что мы не знаем. По Rock Your Data консалтинг, почти все лиды, которые были, сдулись и пропали. А вот Amazon пока держится, даже сток не сильно упал.
Wow, 90 дней Tableau даёт бесплатный доступ на тренинги. Не важно работаете вы с табло или нет, обязательно пройдите их!
Привет, нм нужно выбрать домен для курсов, вот варианты:
Engineering-analytics.ru
Englytics.ru
Lyeng.ru
Enlytics.ru
Sayyesdata.ru
omydata.ru
Datalearn.ru
Dadabigda.ru
Bigda.ru
Analitika.club

Ну или пишите ваш вариант в комментах. Я хочу сделать основу, и потом добавить ambassadors , кто может более подробно писать инструкции в github в markdown, по сути это будет как ваше портфолио, и можно будет всегда менять содержание учебника.
datalearn.ru победил! а мне понравился omydata:) В общем приобрел datalearn.ru на 1 год, теперь мы его прикрутим к сайту, который создает Роман (@rspon) на тильде, за что ему спасибо!

Дальше можно будет сделать:
🎥youtube (для видео) GitHub (для текста)
🏖 какой-нибудь веселый лого
🏆сертификат
😎 программу курса прописать (Data Literacy это у нас был introduction), Gentle Data Engineering (это у нас DWH, BI, ETL, ELT, BigData). Тут у меня есть контент и идеи.
💃Analytics for Women, тут сложней, так как я не woman:) Но я хочу быть ментором и найти заинтересованных девушек, кто хочет развивать это русскоговорящие комьюнити (просто идеи с запада взять).

Как я писал нужны добровольцы, кому интересно помочь создать этот ресурс. Самое трудоемкое это создать подробные инструкции на GitHub, такие вот туториал step by step. Зато потом можно в резюме ссылок наставлять😜

Вообще скидывайте идеи, можно также и какие-нибудь курсы в таком формате сделать. Главное идея это что бы был четкий контекст, не просто "строим график и нажимаем кнопки", а зачем график, почему график, почему в Табло, а не в экселе и почему столбчатый график хорошо , а пирог не хорошо, и тп.

Так как я не могу быть экспертом всего, то соответственно где-то я буду срезать углы и округлять. По принципу парето 20% знаний, решать 80% проблем.

Мой личный интерес это масштабировать мою передачу знаний и закрепить ее, я уверен это поможет другим.