Инжиниринг Данных
19.2K subscribers
1.5K photos
24 videos
175 files
2.79K links
Делюсь новостями из мира аналитики и вредными карьерными советами;)

8 лет в FAANG, инвестиции в недвижимость, компании и акции, angel investor.

Контакты и реклама: @dimoobraznii (сам не предлагаю купить рекламу или взаимопиар за деньги).
Download Telegram
🎉 Телеграм-канал Яндекса специально для ML-специалистов

Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы применяем ML в продуктах Яндекса, и показываем людей, которые двигают вперёд технологии прямо сейчас.

Подписывайтесь
👉 @Yandex4ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Самое время пойти в Linkedin и нажать LIKE! И еще лучше reshare 😍

Спасибо!

Unveiling the Surfalytics brand, meticulously crafted through hand-drawn animation that captures the essence of North Shore and West Coast vibes, infused with an analytical twist.

Animation by MUTI
Music by DJ Andrei Andronikov
⭐️ Во вторник 27 февраля пройдет вебинар"Российский BI в мессенджере с ИИ. Новые возможности".

На вебинаре речь пойдет об отечественном BI-решении Easy Report, которое присылает отчеты в мессенджер по запросу на естественном языке. Расскажут о последних доработках, благодаря которым можно существенно сократить затраты на бизнес аналитику.

Повестка вебинара:

1. Как ИИ в BI помогает сделать аналитику доступнее для бизнеса: кейсы использования в строительстве, ретейле и других отраслях

2. Возможности Easy Report:

- формирование отчетов "на лету"
- распознавание запросов на естественном языке
- интерактивные графики в мессенджере
- интеграция с другими BI-системами и Superset

3. Как снизить стоимость BI-ландшафта на 47%

Ссылка на вебинар.

🗓 27 февраля • 11:00 мск • Онлайн
Agoda - огромная компания в Бангкоке. Она знаменита тем, что их инфраструктура работает on-premise.

Let's dive into Data Platform at Agoda. We're all about harnessing data to drive insights and innovation. Picture yourself managing 22PB of data, orchestrating over 80k Spark jobs daily, and handling 600,000 SQL queries every day. Our Kafka ecosystem is a testament to scale and efficiency, handling 1.7 trillion messages a day, totaling 450 TB of compressed data. 

У них появились вакансии с релокацией в Бангкок. Меня пригласили на собеседование на роль Staff DE, но так как у них все начинается с leetcode, я решил не тратить время🙈 А так конечно, было бы интересно узнать вилку зарплат и стоимость жизни в Бангкоке. (я бы туда не хотел бы, просто любопытно)

Но написал письмо, чтобы узнать про их вилку зарплат.

Статьи про их аналитику
- How Agoda Builds Efficient Data Warehouse with Vertica
- How our data scientists' petabytes of data is ingested into Hadoop (from Kafka)
- The Infinite Data Lake: how Vast’s Universal Storage Platform simplifies our large-scale database
- Inside Agoda’s Data Pipeline Team
- Testing Finance Platform At Scale With Shadow Testing
Please open Telegram to view this post
VIEW IN TELEGRAM
Snowflake написал о новой фиче - Hybrid Tables.

Hybrid Tables is a new table type that enables transactional use cases within Snowflake with fast, high-concurrency point operations.

Не совсем понятно как это дело использовать, но у них есть и пример:

For example, in order to control which ads users see, William Hill stores precomputed promotion treatments in a Hybrid Table and serves that data with low latency to their web and mobile apps. “Serving promotion treatment from Hybrid Tables reduces point lookup latency and allowed us to maintain unified governance by keeping all of that sensitive data within Snowflake,” says Rahul Jha, Senior Data Architect at William Hill.

То есть такой reverse ETL “не отходя от кассы”.
Forwarded from Job Interviews | Английский | Коучинг (Светлана Николаева | Job interview. English. Coaching)
🧭Навигатор полезных постов для тех, кому в ближайшее время предстоят собесы:

▪️Сколько времени лучше готовиться к собесу? ➡️ как понять

▪️5 главных ошибок при подготовке к собесу ➡️ здесь

▪️Нужны ли вам шаблоны ответов на интервью? ➡️ мое мнение

▪️Почему списки полезных фраз для интервью не работают ➡️ здесь и здесь

▪️Не знаете, что рассказать о себе? 3 важных навыка и 4 совета от меня ➡️ читать

▪️А здесь - пример, как мы готовили рассказ о себе с клиенткой-дизайнером ➡️ смотреть

▪️Как ответить на вопрос не слишком длинно, и не слишком коротко ➡️ читать

▪️И как не затягивать ответ, но сделать его исчерпывающим и информативным ➡️ здесь

▪️Если у вас “болит” small talk, то вот шпаргалка по тому, как его строить (и выше мой комментарий, как я вписываю эту работу в занятия) ➡️ смотреть

▪️Как усилить вашу подготовку к интервью, если вы параллельно уже проходите собеседования (под постом вы найдете пример инструмента, который можно забрать себе и работать с ним даже самостоятельно, без преподавателя)➡️ читать

▪️Что делать, если вы боитесь звучать глупо во время собеседования ➡️ читать

▪️Пример подготовки к tech interview (вопросы профессионального характера) с Java developer ➡️ по ссылке - начало серии постов об этом, читайте, забирайте себе стратегию, пробуйте

▪️Как рассказать о проекте так, чтобы вас действительно слушали ➡️ читать стратегию

▪️Если не знаете, что и как рассказывать о своих достижениях ➡️ научиться

▪️Как “продавать” себя на собеседовании, если ты с нуля идешь в новую сферу? ➡️ банк идей от читателей канала

📚Материалы:

Что сказать на интервью, когда не знаешь, что сказать (2 видео с разными советами и речевыми стратегиями, которые я всегда предлагаю своим клиентам, если у них есть эта проблема) ➡️ смотреть

Как писать cover letter (и нужно ли?) ➡️ 2 стратегии

Мои ТОП-6 англоязычных ресурсов, откуда можно брать информацию, идеи и вдохновение при подготовке к собеседованию (самый сохраняемый пост, кстати) ➡️ здесь

🖥Эфиры:


Эфир: Как отслеживать прогресс при подготовке к собеседованию?
Эфир: Как рассказать о себе, если напал ступор?
Эфир: Как мне подтянуть английский к собеседованию, если меня тошнит от грамматики и неправильных глаголов?

🎤Полезные войсы:

Подкаст с эйчаром (в 2 частях) ➡️ слушать
Войс: Почему вы до сих пор не выучили английский?)
Войс: Нужно ли вам изучать Business English, если вы готовитесь к собеседованию или уже работаете в международной команде?
🔥Самый горячий войс: Как подготовиться, если до собеседования остался один день?
Please open Telegram to view this post
VIEW IN TELEGRAM
рёли? oh my gosh, как сказали бы канадцы🤸
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌋 Нейросеть Яндекса поможет отслеживать распространение вулканического пепла

Пеплопад — опасное природное явление. Ежегодно сотни населённых пунктов по всему миру накрывает пеплом, останавливается авиасообщение. Нельзя предотвратить моменты выброса пепла, но можно заранее определить, на какую территорию он будет распространяться.

Для этого Yandex Cloud, Яндекс Погода и Школа анализа данных (ШАД) Яндекса вместе разработали специальный сервис в виде интерактивной карты. С его помощью спасательные, городские службы и учёные-геофизики смогут быстрее оповещать международную авиацию, жителей и туристов о распространении пепла и эффективнее устранять последствия выбросов. Сервис можно адаптировать для прогноза распространения выбросов пепла в любой точке мира. Сейчас технология уже помогает следить за пеплопадом на Камчатке.

💬 Читать подробнее о проекте.
Как использовать Базы данных для анализа данных на максимум?

Как быстро освоить ключевые навыки на практике, зачем использовать NOSQL, почему вам стоит использовать векторные базы данных и какие тренды стоит изучать в 2024 году.

А если вы не хотите терять время на бесполезные материалы и гайды — читайте канал: SQL Data Science, здесь вы за пару месяцев, а не за пару лет научитесь проектирвоать базы данных для проектов любого масштаба.

Разбор реальных практических задач с собеседований крупнейших компаний и новейшие тренды в работе с базами данных.

Для вас мы собрали маст-хэв папку для всех, кто работает с данными.

Подписывайтесь, такие знания в 2024-м году на вес золота: @sqlhub
Добавил недостающий модуль к Data Learn, правда теперь на английском и уже к Surfalytics.

Module 00 - Prerequisites Engineering Tools for Data roles

Тут 5 видео:
- Module 0.1: Choosing the Best Laptop, Monitor, Chair, and Lighting for Data Professionals
- Module 0.2: Getting Started with VSCode IDE
- Module 0.3: Just Enough CLI
- Module 0.4: Just Enough GitHub
- Module 0.5: Just Enough Docker

Я немного изменил фокус и теперь хочу, чтобы все студенты были on the same page, у всех были правильные ожидания от их рабочего компьютера, был аккаунт в GitHub, базовые навыки работы с командной строкой и хороший IDE, ну и как бонус базовые знания про контейнеры.

Даже если ничего не понятно, это не страшно, главное практиковаться.

Зато, когда вы присоединетесь к компании, то вам будет легче разобраться, что происходит, быстро соеринтироваться в code base и у вас отпадут вопросы, что такое .pre-commit.yaml, и другие файлики, которые живут в репозитории.

Мне реально не хватало этих навыков и самому приходилось до всего доходить окольными путями, а теперь вот я записал это для вас.

Must have для всех кто учится и не знает что-нибудь из этого, будет ваше competitive advantage.

Можете подписаться на youtube: https://www.youtube.com/channel/UCnO5iETX7Q72PCvafzlsoOg
Нашу новую книжку оффициально опубликовали и ее можно заказать https://www.amazon.com/gp/aw/d/1803246596/ref=tmm_pap_swatch_0?link_from_packtlink=yes

Для меня это уже 7я книга, я обязательно напишу блог про написание книг!
Я записал видео про обзор вакансий Новой Зеландии и стоимость жилья и примерный расскалд по зарплатам.

Почему Новая Зеландия? Потому что единственный сидр, который был в отеле, был из NZ.

Следующий выпуск будет про автралийский сидр и рынок Австралии.

Мне было лень переводить мой пост на русский и я перевел с ChatGpt:

В этом эпизоде "Тестирование сидра Surfalytics" я погружусь во вкусы Новой Зеландии с дегустацией сидра Isaac 🍏 и исследую работу в области данных, технологический стек и популярные инструменты данных, специфичные для этого региона.

Также я рассмотрю средние цены на дома 🏠 и чистый доход 💰 для должностей в области данных, опираясь на информацию, доступную в описаниях вакансий.

Кроме того, я оценю общее качество этих описаний вакансий и поделюсь важными советами для специалистов по кадрам и рекрутингу о том, как составлять привлекательные объявления о вакансиях, чтобы привлечь подходящих кандидатов.

Некоторые выводы:
- Большинство вакансий в НЗ предполагают работу в офисе или гибридный формат 🔄
- Малое количество вакансий в области данных, с минимальной конкуренцией 📉
- Заметное присутствие рекрутинговых компаний и агентств-посредников 🕵️‍♂️, которые, похоже, перепродают инженеров
- Многие государственные работодатели предлагают хорошие льготы, некоторые из которых предлагают достойные технологические стеки 🏛️
- Среди описаний вакансий не увидел ни одной компании из MAANG или других крупных технологических компаний

Основные технологии:
- Преобладание технологий на месте, с лидерством SQL Server и стека Microsoft 🖥️
- Многие компании рассматривают переход на Azure, особенно на Synapse ☁️
- Power BI является самым популярным инструментом BI, в то время как Snowflake и DBT пользуются популярностью среди современных компаний ❄️🛠️
- Диапазоны зарплат часто не раскрываются или низки по сравнению с такими странами, как Канада 🇨🇦
- Высоко ценятся навыки инженерной совершенности и DevOps, включая инфраструктуру как код, CI/CD и контейнеры 🚀
- Azure и AWS являются главными выборами публичных облаков, GCP не упоминается ☁️

Информация о зарплатах:
- Инженеры по данным получают около 7-8к, в то время как аналитики данных получают около 4-6к 💵
- Налоги ниже, чем в Канаде 🍁

Информация о жилье:
- Средняя стоимость трехкомнатного дома превышает 1 миллион 💸
- Локации дальше от Окленда дешевле, но с преобладанием гибридной и офисной работы это часто не имеет значения 🌆


https://youtu.be/CcWbvDklXTI
This media is not supported in your browser
VIEW IN TELEGRAM
Эх последний день отпуска, Фиджи очень понравился! Из Канады и США отличное направление. Из Австралии и НЗ вообще 3 часа.
Snowflake отлично продает свои сервисы. Про Databricks мы обычно не слышим и не видим информации о продажах, доходах, а вот у снежинки наоборот, всегд информации на поверхности и ее любят шарить data (snowflake) influencers.

Лично для меня, Snowflake это про простоту и SQL.

Databricks я считаю более серьезных продуктом, и с ним легче оптимизировать цену.

Работаю и с тем и с тем последние лет 5. Но это больше как holly war, что лучше или что больше нравится, не стоит тратить время на обсуждение и споры.

CEO срубил бабла и уже 2й раз на пенсию=)
🫥 Конференция UNION ALL: объединяем экспертов и дата-технологии

📆 20 марта, онлайн и офлайн (Москва, «Синема Парк Мосфильм»)

Большая конференция, на которой поговорим о работе с данными и о цифровой трансформации.
Приглашённые эксперты отрасли поделятся практическим опытом построения дата-проектов в облаке — от создания корпоративных хранилищ данных в облаке до построения систем скоростной аналитики.

Также обсудим:


возможности работы с YandexGPT и запуск собственных ML-моделей;
безопасное хранение данных в облаке;
актуальные новости о сервисе для визуализации данных DataLens.

А ещё будет секретный доклад, зоны для нетворкинга, чат-бот для бизнес-знакомств, стильный мерч и афтепати.

Можно участвовать онлайн и офлайн.

📌 Участвую
Please open Telegram to view this post
VIEW IN TELEGRAM