Инжиниринг Данных
23.4K subscribers
1.91K photos
57 videos
190 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
А вот и отклик комьюнити на это. Народ уже давно катит бочку на вендоров, что они берут open source, запаковывают его в сервис на облаке, и продают за денежку. То есть как то не комильфо. Макс это один из создателей Airflow и Superset (Preset - это коммерческая версия Superset). Он пишет, ребята, вы конечно молодцы, но вы хоть одну строчку кода там написали или планируете писать...
Всем привет! Я осилил статью на хабр про историю с консалтинг компанией. Это как другая жизнь, в которой не было обычных дом-работа-дом. Work Hard, Have Fun. Это было круто. Я надеюсь, что вам понравиться история, и ответит на разные вопросы, а может кому-то лично поможет. 😊
Как написали в комментарие к предыдущему посту - решение в multicloud. Но тут бы с одним облаком разобраться. Можно как вариант в Alibaba дублировать. А в России будет колаб Mail и Yandex или Yandex и Mail, если их Сбер не купит раньше или просто не выкатит свой Sber cloud😜
С чего начинается (маркетинговая) аналитика…
Пример аналитического решения в статье - Picnic’s Lakeless Data Warehouse
👍1
DevOps для решения аналитики это не просто. Требует время, чтобы привыкнуть. Я рад, что сейчас есть возможность использовать Azure DevOps и все data pipelines, таблицы и тп, все в git. Но пока ещё не привык как это все работает. Но это важно и это best practices. Храните ваши SQL и код в git. Сделайте это частью рутины.

А MLOps это ещё сложней. Вот будет вебинарчик с экспертами.
Для datalearn хотим сделать вебинар для новичков про git. Чтобы люди поняли как им пользоваться. На примере простых сценариев, SQL/Python, и объяснить очень простым языком, почему это удобней, чем хранить файлы с v1,v2,v2.1 и тп. Чтобы люди смогли начать использовать это каждый день. Есть желающие?! Напишите @rspon
Так, понятно всем нужен вводный урок по git. Есть ли инструктор, кто сможет рассказать? Пишите @rspon
Про внедрение BI.
Про мировые проблемы и как данные помогают с ними бороться.
Посмотрел доклад по DS от Riot, они делают League of Legends.

Выступает их Principal DS и рассказывает про Churn.

Они создали решение на Databricks. Он сказал “If you layout your data properly - solving questions is very easy”, то есть успех мероприятий по DS зависит напрямую от работы DE. Так же он привел новый для меня термин - Feature Store. Эта область специально для DS, чтобы они могла иметь доступ ко всем features, создавать новые и двигаться быстрей.
Публикация про решения для clinical data analytics, полностью на open-source 💪 https://ascopubs.org/doi/10.1200/CCI.20.00045
Сегодня Black Friday, а значит, все бегут покупать подарки на праздники. Хороший пример, что бывает, если ваша инфраструктура еще не перешла на облачные сервисы и вы не можете воспользоваться преимуществом elasticity и auto scaling. Lego хоть нашли workaround.
Введение в SQL для пользователей Excel. YouTube канал, и мужик знает в этом толк.
Крутецкий слайд!