Инжиниринг Данных
23.4K subscribers
1.92K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
А вы уже добавили в резюме?
Вакансия в Австрии, визу дают. Больше деталей не знаю.
Работает консультантом? Вот список книг, который (возможно) даст вам новые идеи. Я заказал себе все книжки. Кстати использовал Абебукс (Амазон дочка) которая продает б/у книги по 4-5 долларов вместо 20-30.
Как вы знаете, есть два основных типа загрузки данных в хранилище данных(или озеро данных), это batch (грузим пачками раз в сутки или в час) и streaming (поток данных). Как правило ETL/ELT поддерживает только batch. Для стрима нужно использовать другие решения. Самое популярное это Apache Kafka. Ее коммерческая версия это Confluent. Так же у облачных провайдеров есть свои решения. Самое популярное AWS Kinesis. А вот и ссылка с туториал по кафке
Большие данные стали ещё больше
Вы слышали про DevOps? Это понятие пришло из разработки ПО, по простому это как мы разрабатываем ПО, есть ли у нас версионность кода, можно ли вместе менять код, где хранить код, как мы разделяем тест и прод и ТП. Это важно и в аналитике, часто когда мы меняем код (ETL, DW, BI) мы легко можем все поломать и бизнес пользователи не довольны. Отсюда и DevOps для аналитики. Для предикативных моделей тоже важно. https://www.red-gate.com/simple-talk/sql/database-devops-sql/introduction-to-devops-devops-and-the-database/
AWS опубликовал новый блогрост про построение озера данных. Озеро данных это по-сути защищённое файловое хранилище где можно хранить данные в сыром виде и анализировать. Дёшево и быстро, но можно легко превратить все это в болото данных если не подумать о сборе метаданных, такой вот справочник, что и где храниться. Другая сложность, что в озере сложно редактировать историю данных(если вам надо обновить что-то в прошлом) поэтому хорошо использовать вместе с хранилищем данных.
Фоточка из Бостона. Кстати немножко не в тему, я перешёл с iPhone на Google pixel 3xl. Телефон очень понравился, много полезный фич, которых нет у Айфона, а главное я купил его на Amazon renewed (только в штатах) новый со скидкой 50%. Так что если вы заказываете что-то из Америки то это отличный вариант сыкономить на технике и аксессуарах
Вот и Forbes пишет, что без аналитике нынче никуда. В своей свежей статье они вам расскажут аж про 5 способов, как аналитика поможет бизнесу. Сейчас все просто, вам нужны инструменты для аналитики, люди, которые смогут работать с этими инструментами (могут быть и разработчики, аналитики и просто бизнес пользователи) и, конечно, вам необходимо понимать взаимоотношения данных и бизнес процессов, а то будет как в пословице - смотрю в дашборд, а вижу фигу;)
Учите Azure? Пользователь Reddit подготовил список ресурсов для подготовки к экзамену https://www.reddit.com/r/AZURE/comments/cp70ux/az103_lab_study_guide/