Алексей Колоков все время что-то придумывает!
Вот в этот раз для своих (и не только) аналитиков, он придумал Crazy Data Quizzzz, потому что от обычных уже все устали. Вы можете собрать команду из 4х человек, встретиться в 16:00, напиться (можно квасом), и к 18:00 уже прийти в полной готовности отвечать на дата вопросы.....Алексей, еще сказал, что для девушек будет автограф сессия🍸
15 мая в клубе анонимных аналитиков пройдет Крейзи Дата Квиз!
Это тематическая вечеринка в формате квиза, адаптированного под аналитиков! Рекомендую всем, кто будет в Москве
Вы можете собрать свою команду (от 4 чел), либо попасть в рандомную (так больше нетворкинга)
Расписание:
18:00 - знакомимся, рассаживаемся по командам
19:00 - старт квиза
20:30 - призы победителям, нетворкинг
21:00 - завершение, афтепати для самых отчаянных
Розыгрыш билета
Напишите в комментарии самый забавный вопрос, который вам задавали на собеседовании. И я рандомайзером выберу счастливчика, который получит билет.
Регистрируйтесь, будет весело!
https://alexkolokolov.com/data-quiz
Вот в этот раз для своих (и не только) аналитиков, он придумал Crazy Data Quizzzz, потому что от обычных уже все устали. Вы можете собрать команду из 4х человек, встретиться в 16:00, напиться (можно квасом), и к 18:00 уже прийти в полной готовности отвечать на дата вопросы.....Алексей, еще сказал, что для девушек будет автограф сессия
15 мая в клубе анонимных аналитиков пройдет Крейзи Дата Квиз!
Это тематическая вечеринка в формате квиза, адаптированного под аналитиков! Рекомендую всем, кто будет в Москве
Вы можете собрать свою команду (от 4 чел), либо попасть в рандомную (так больше нетворкинга)
Расписание:
18:00 - знакомимся, рассаживаемся по командам
19:00 - старт квиза
20:30 - призы победителям, нетворкинг
21:00 - завершение, афтепати для самых отчаянных
Розыгрыш билета
Напишите в комментарии самый забавный вопрос, который вам задавали на собеседовании. И я рандомайзером выберу счастливчика, который получит билет.
Регистрируйтесь, будет весело!
https://alexkolokolov.com/data-quiz
Please open Telegram to view this post
VIEW IN TELEGRAM
Alexkolokolov
Крейзи Дата Квиз
Интеллектуальная вечеринка для аналитиков! 15 мая в ресторане Бодрум (Москва): квиз, нетворкинг, вечерний дресс-код и 50 самых умных гостей. Успей зарегистрироваться!
🗿5❤🔥4💯2⚡1🍾1
Про дату пока нет новостей, зато могу рассказать про недвижимость. Вообще эта тема заслуживает отдельного поста на хабр, так как там много всяких нюансов и скрытых расходов.
Если вам интересно как живется в Канаде, то приглашаю ознакомиться с моейgarage sale распродажей.
С 2016 по 2020 год мы жили в Виктории, настоящий остров в Тихом Океане, самый южный город Канады. Дом купили за 600к CAD (взяли ипотеку) и он вырос до 1.2 млн CAD, и потом стал снижаться, и уже продается в районе 1млн CAD. Идеальный семейный дом.
Одна из особенностей дома, в них есть basement suite, в котором можно делать свой Airbnb. В сезон окупает ипотеку.
Потом стало понятно, что Виктория это деревня с точки зрения развития детей и там ничего нет. Я перешел в Microsoft из Amazon (хотя тупанул, мог бы остаться в Amazon, так как был remote), они оплатили переезд, и мы купили таун хаус в Port Moody. Очень классное место было, большой гараж, горы за окном, рядом пляж и highway. Купили новый за 1.1 млн CAD (взяли ипотеку). А дом сдали в рент.
Потом нам показалось, что мы далеко от центра, и мы перебрались в Северный Ванкувер за 1.5 млн CAD (взяли ипотеку). Но постройку задержали на 7 месяцев и мы скитались по знакомым и Airbnb. То еще веселье было. Прошлый таун хаус сдали в рент. Новый таун дороже, но размером меньше, и как то в нем стало тесновато. И мы решили его продать за 1.54млн CAD, впринципе за тоже самое, что и купили + комиссия риэлторам.
Недавно в Port Moody тенанты попросили скидку, а я попросил их съехать и мы решили его продать за 1.2 млн CAD.
Сейчас достаточно плохое время продавать, так как кол-во иммигрантов уменьшилось, ставки на ипотеку еще высокие по канадским меркам (4-5%), цены высокие, зарплаты маленькие, да еще Трамп хочет 51 штат. Но сдавать новым жильцам мы тоже не готовы. Ведь дома здесь хрупкие, и потом нужно делать ремонт после выселения. А самое печальное, что законы тут на стороне жильцов. Если вы сдали жилье, у вас нет никаких прав, ваша задача обслуживать жилье, чтобы было пригодное для жильцов. Даже если они перестанут платить, это ваша проблема, но самим их нельзя выгнать. Поэтому, не хочется такого счастья, лучше продать. Провинция все делает, что люди процветали и богатели (шутка). Airbnb кстати почти везде прикрыли.
Кол-во скрытых комиссий, налогов на capital gains, legal fees и другое просто зашкаливает. Расходы на обслуживание недвижимости, налоги на недвижимость и utilities тоже недешево.
Вообще invest property стало main stream в 2020-2021 году, у меня у всех знакомых такая есть, и практически все доплачивают каждый месяц.
В нашем случае, мы не покупали недвижимость как инвестицию, просто оставляли старую, так как разницы не было продать или взять еще одну ипотку, а прошлую недвижимость сдать. И ежегодный рост в 10% очень стимулировал.
Сейчас я понимаю, что если хочется инвестировать в недвижимость желательно выкупить 60-70% от стоимости, тогда у вас будет прибыль на покрытие расходов и будет время найти хороших жильцов.
Если сравнить рост ценных бумаг и недвижимости с 2016 года по сейчас, то окажется, что акции технологических компаний проявили себя лучше.
А если вы читали книгу - The Bitcoin Standard, то еще в 2018 году вы смогли купить bitcoin. Сейчас мы с детьми слушаем эту книгу, в ней очень интересно рассказывают про историю денег, про золотой стандарт и многое другое. Дети размышляют о том, чтобы перевести все свои накопления в bitcoin. Но мы еще слушаем.
PS хотите купить недвижимость в Канаде, всего за1000$ 500$ я смогу вам рассказать, как чего🤑
Если вам интересно как живется в Канаде, то приглашаю ознакомиться с моей
С 2016 по 2020 год мы жили в Виктории, настоящий остров в Тихом Океане, самый южный город Канады. Дом купили за 600к CAD (взяли ипотеку) и он вырос до 1.2 млн CAD, и потом стал снижаться, и уже продается в районе 1млн CAD. Идеальный семейный дом.
Одна из особенностей дома, в них есть basement suite, в котором можно делать свой Airbnb. В сезон окупает ипотеку.
Потом стало понятно, что Виктория это деревня с точки зрения развития детей и там ничего нет. Я перешел в Microsoft из Amazon (хотя тупанул, мог бы остаться в Amazon, так как был remote), они оплатили переезд, и мы купили таун хаус в Port Moody. Очень классное место было, большой гараж, горы за окном, рядом пляж и highway. Купили новый за 1.1 млн CAD (взяли ипотеку). А дом сдали в рент.
Потом нам показалось, что мы далеко от центра, и мы перебрались в Северный Ванкувер за 1.5 млн CAD (взяли ипотеку). Но постройку задержали на 7 месяцев и мы скитались по знакомым и Airbnb. То еще веселье было. Прошлый таун хаус сдали в рент. Новый таун дороже, но размером меньше, и как то в нем стало тесновато. И мы решили его продать за 1.54млн CAD, впринципе за тоже самое, что и купили + комиссия риэлторам.
Недавно в Port Moody тенанты попросили скидку, а я попросил их съехать и мы решили его продать за 1.2 млн CAD.
Сейчас достаточно плохое время продавать, так как кол-во иммигрантов уменьшилось, ставки на ипотеку еще высокие по канадским меркам (4-5%), цены высокие, зарплаты маленькие, да еще Трамп хочет 51 штат. Но сдавать новым жильцам мы тоже не готовы. Ведь дома здесь хрупкие, и потом нужно делать ремонт после выселения. А самое печальное, что законы тут на стороне жильцов. Если вы сдали жилье, у вас нет никаких прав, ваша задача обслуживать жилье, чтобы было пригодное для жильцов. Даже если они перестанут платить, это ваша проблема, но самим их нельзя выгнать. Поэтому, не хочется такого счастья, лучше продать. Провинция все делает, что люди процветали и богатели (шутка). Airbnb кстати почти везде прикрыли.
Кол-во скрытых комиссий, налогов на capital gains, legal fees и другое просто зашкаливает. Расходы на обслуживание недвижимости, налоги на недвижимость и utilities тоже недешево.
Вообще invest property стало main stream в 2020-2021 году, у меня у всех знакомых такая есть, и практически все доплачивают каждый месяц.
В нашем случае, мы не покупали недвижимость как инвестицию, просто оставляли старую, так как разницы не было продать или взять еще одну ипотку, а прошлую недвижимость сдать. И ежегодный рост в 10% очень стимулировал.
Сейчас я понимаю, что если хочется инвестировать в недвижимость желательно выкупить 60-70% от стоимости, тогда у вас будет прибыль на покрытие расходов и будет время найти хороших жильцов.
Если сравнить рост ценных бумаг и недвижимости с 2016 года по сейчас, то окажется, что акции технологических компаний проявили себя лучше.
А если вы читали книгу - The Bitcoin Standard, то еще в 2018 году вы смогли купить bitcoin. Сейчас мы с детьми слушаем эту книгу, в ней очень интересно рассказывают про историю денег, про золотой стандарт и многое другое. Дети размышляют о том, чтобы перевести все свои накопления в bitcoin. Но мы еще слушаем.
PS хотите купить недвижимость в Канаде, всего за
Please open Telegram to view this post
VIEW IN TELEGRAM
🦄31🍾8🐳5💯3
Письмо от CEO Fiverr.
"Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.
Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.
Если что, на собеседовании говорите - вы за AI, и благодаря AI вам теперь возможно невозможное и вы безмерно рады, что простые задачки больше не надо делать самому!🍸
"Лёгкие задачи" исчезают, "трудные" становятся базовым уровнем, а "невозможные" — новыми сложными.
Пассивность = угроза карьере: если ты не станешь мастером в своём деле, тебя вытеснит технология.
Если что, на собеседовании говорите - вы за AI, и благодаря AI вам теперь возможно невозможное и вы безмерно рады, что простые задачки больше не надо делать самому!
Please open Telegram to view this post
VIEW IN TELEGRAM
💯65🗿9🙉3
On-call — это такая штука, которая может напрочь отбить удовольствие от работы.
Для DevOps, SRE и других команд, поддерживающих client-facing приложения, — это must have. Там как бы само собой разумеется в 3 часа ночи вставать по звонку и поднимать упавший прод.
А вот для дата-команд в 99% случаев это не критично для бизнеса, и можно спокойно пофиксить всё в рабочие часы. В идеале. Хотя как повезёт.
По своему опыту скажу — мне скорее везло, и я редко что-то чинил вне рабочего времени или в выходные.
Хотя если вам нужно для галочки показать, какой вы прилежный и ответственный сотрудник, то, конечно, чините всё ночью и в выходные. Все будут думать, что вы работаете круглосуточно и горите делом!
(Спойлер: денег всё равно не прибавят и повышение не дадут.)
Кажется, за всю карьеру я всего один раз просыпался в 4 утра — фиксить отчёт в Ламоде. Там были операционные отчёты для склада в SAP Business Objects, и без них склад реально вставал.
Так что если выбирать между DevOps, SRE и Data Engineer — последние лучше спят по ночам!
Для DevOps, SRE и других команд, поддерживающих client-facing приложения, — это must have. Там как бы само собой разумеется в 3 часа ночи вставать по звонку и поднимать упавший прод.
А вот для дата-команд в 99% случаев это не критично для бизнеса, и можно спокойно пофиксить всё в рабочие часы. В идеале. Хотя как повезёт.
По своему опыту скажу — мне скорее везло, и я редко что-то чинил вне рабочего времени или в выходные.
Хотя если вам нужно для галочки показать, какой вы прилежный и ответственный сотрудник, то, конечно, чините всё ночью и в выходные. Все будут думать, что вы работаете круглосуточно и горите делом!
(Спойлер: денег всё равно не прибавят и повышение не дадут.)
Кажется, за всю карьеру я всего один раз просыпался в 4 утра — фиксить отчёт в Ламоде. Там были операционные отчёты для склада в SAP Business Objects, и без них склад реально вставал.
Так что если выбирать между DevOps, SRE и Data Engineer — последние лучше спят по ночам!
💯51🫡21❤🔥9
Последние пару недель я работаю с CircleCI — это сервис, который мы используем вместо традиционного GitHub Actions. Код по-прежнему хранится в GitHub, но шаги CI/CD выполняются внутри CircleCI.
Теоретически всё можно реализовать и на обычных GitHub Actions — так было бы даже проще, и у меня уже есть готовые YAML-файлы для всех нужных задач. Но так неинтересно. К тому же, раз компания использует CircleCI, это отличная возможность изучить его получше.
Но пост на самом деле о другом. Мне понравилось их письмо про MCP-сервер. Они попытались объяснить простыми словами, что это такое и зачем он нужен.
Вы меня сильно не ругайте за AI перевод ниже, уж больно понравилось письмо.
Что такое MCP?
Model Context Protocol (MCP) — это стандартизированный способ для языковых моделей понимать и взаимодействовать с внешними инструментами, источниками данных и сервисами. Он определяет, как должен быть представлен context и как можно вызывать инструменты, предоставляя моделям возможность выполнять осмысленные действия, а не просто генерировать текст.
Чтобы понять, почему MCP — это настолько мощная концепция, полезно разобрать само название:
Model — это большая языковая модель (LLM), такая как GPT-4 или Claude — системы, которые генерируют вывод на основе входных данных. Именно такие модели лежат в основе AI-кодинг ассистентов, как Claude Code, Cursor, Windsurf и Lovable, которые помогают разработчикам писать, анализировать и понимать код более эффективно.
Context — это всё, к чему модель имеет доступ при принятии решений. Это может быть текущий prompt, предыдущие взаимодействия, а также структурированная внешняя информация, такая как документация, структура файлов или доступные API. Чем богаче context, тем умнее и релевантнее ответы. До появления MCP управление context'ом было трудоёмким и непоследовательным.
Наконец, Protocol — это набор правил, который стандартизирует обмен информацией между системами. В случае MCP он определяет единый способ, как внешние инструменты делятся информацией (context'ом) с моделями: что они делают, как их вызывать и какие входные данные они ожидают.
Без такого стандарта, как MCP, каждое соединение между моделью и инструментом приходилось настраивать вручную — один инструмент, одна модель, одна интеграция за раз. MCP заменяет эту сложность единственным переиспользуемым интерфейсом: разработчик один раз настраивает MCP client, регистрирует нужные servers, и любая совместимая модель может с ними взаимодействовать. Ответственность за предоставление функциональности через свои MCP servers лежит на tool providers — а не на конечных пользователях или создателях моделей. Это позволяет моделям автоматически находить и использовать эти возможности.
MCP был разработан компанией Anthropic (создателями Claude) и выпущен как открытый стандарт 25 ноября 2024 года. Хотя ранние энтузиасты из open-source и академических сообществ проявили интерес, настоящий прорыв произошёл в марте 2025 года, когда OpenAI — основной конкурент Anthropic — объявил, что внедрит стандарт для своих моделей. С этого момента интерес к MCP стал неоспорим по всему AI-экосистеме.
С тех пор интерес к MCP резко возрос, особенно на фоне роста популярности vibe coding — нового подхода к разработке, где AI-ассистенты помогают изучать, редактировать, тестировать и отлаживать код в рамках живого, разговорного взаимодействия. По мере того как разработчики стремятся к более динамичным и инструментально-ориентированным рабочим процессам, экосистема быстро реагирует: tool providers спешат создать MCP servers, чтобы сделать свои сервисы доступными в современных средах разработки.
Здесь вы можете подписаться на их рассылку - https://www2.circleci.com/newsletter
У них еще есть блог с полезными постами про базу, например - What is a CI/CD pipeline?
Про CI/CD я показал хороший пример на проекте с dbt - Модуль 4.9 Начало работы с dbt и в Surfalytics мы делали проект - Getting started with Git and CI/CD
Теоретически всё можно реализовать и на обычных GitHub Actions — так было бы даже проще, и у меня уже есть готовые YAML-файлы для всех нужных задач. Но так неинтересно. К тому же, раз компания использует CircleCI, это отличная возможность изучить его получше.
Но пост на самом деле о другом. Мне понравилось их письмо про MCP-сервер. Они попытались объяснить простыми словами, что это такое и зачем он нужен.
Вы меня сильно не ругайте за AI перевод ниже, уж больно понравилось письмо.
Что такое MCP?
Model Context Protocol (MCP) — это стандартизированный способ для языковых моделей понимать и взаимодействовать с внешними инструментами, источниками данных и сервисами. Он определяет, как должен быть представлен context и как можно вызывать инструменты, предоставляя моделям возможность выполнять осмысленные действия, а не просто генерировать текст.
Чтобы понять, почему MCP — это настолько мощная концепция, полезно разобрать само название:
Model — это большая языковая модель (LLM), такая как GPT-4 или Claude — системы, которые генерируют вывод на основе входных данных. Именно такие модели лежат в основе AI-кодинг ассистентов, как Claude Code, Cursor, Windsurf и Lovable, которые помогают разработчикам писать, анализировать и понимать код более эффективно.
Context — это всё, к чему модель имеет доступ при принятии решений. Это может быть текущий prompt, предыдущие взаимодействия, а также структурированная внешняя информация, такая как документация, структура файлов или доступные API. Чем богаче context, тем умнее и релевантнее ответы. До появления MCP управление context'ом было трудоёмким и непоследовательным.
Наконец, Protocol — это набор правил, который стандартизирует обмен информацией между системами. В случае MCP он определяет единый способ, как внешние инструменты делятся информацией (context'ом) с моделями: что они делают, как их вызывать и какие входные данные они ожидают.
Без такого стандарта, как MCP, каждое соединение между моделью и инструментом приходилось настраивать вручную — один инструмент, одна модель, одна интеграция за раз. MCP заменяет эту сложность единственным переиспользуемым интерфейсом: разработчик один раз настраивает MCP client, регистрирует нужные servers, и любая совместимая модель может с ними взаимодействовать. Ответственность за предоставление функциональности через свои MCP servers лежит на tool providers — а не на конечных пользователях или создателях моделей. Это позволяет моделям автоматически находить и использовать эти возможности.
MCP был разработан компанией Anthropic (создателями Claude) и выпущен как открытый стандарт 25 ноября 2024 года. Хотя ранние энтузиасты из open-source и академических сообществ проявили интерес, настоящий прорыв произошёл в марте 2025 года, когда OpenAI — основной конкурент Anthropic — объявил, что внедрит стандарт для своих моделей. С этого момента интерес к MCP стал неоспорим по всему AI-экосистеме.
С тех пор интерес к MCP резко возрос, особенно на фоне роста популярности vibe coding — нового подхода к разработке, где AI-ассистенты помогают изучать, редактировать, тестировать и отлаживать код в рамках живого, разговорного взаимодействия. По мере того как разработчики стремятся к более динамичным и инструментально-ориентированным рабочим процессам, экосистема быстро реагирует: tool providers спешат создать MCP servers, чтобы сделать свои сервисы доступными в современных средах разработки.
Здесь вы можете подписаться на их рассылку - https://www2.circleci.com/newsletter
У них еще есть блог с полезными постами про базу, например - What is a CI/CD pipeline?
Про CI/CD я показал хороший пример на проекте с dbt - Модуль 4.9 Начало работы с dbt и в Surfalytics мы делали проект - Getting started with Git and CI/CD
❤🔥23⚡4🫡2
Комментарии в telegram в последнее время место для ботов. Возможно на данном этапе они стали бесполезны. Как вы думаете?
Anonymous Poll
64%
Мне нравятся боты и их ответы, оставь комментарии❤️
36%
Комментарии бесполезны и неэффективны в Телеграмм, можно отключить до лучших времен🪦
Давненько никто никого не увольнял! Вот хоть Microsoft “порадовал”.
The company reported better-than-expected results and an upbeat quarterly forecast in late April.
Поэтому самое время еще людей уволить, и акции пойдут вверх.
А еще благодаря AI, который помогает людям
We have made huge investments in AI because we are optimistic about what it can do to help people
Кстати интересный факт, все написали про 3% работников, и у кого-то получилось 6000, а у кого-то 7000 сотрудников.
Как в РФ хоть кто-нибудь увольняет массово людей, или пока ждём, когда AI дозреет?🤑
The company reported better-than-expected results and an upbeat quarterly forecast in late April.
Поэтому самое время еще людей уволить, и акции пойдут вверх.
А еще благодаря AI, который помогает людям
We have made huge investments in AI because we are optimistic about what it can do to help people
Кстати интересный факт, все написали про 3% работников, и у кого-то получилось 6000, а у кого-то 7000 сотрудников.
Как в РФ хоть кто-нибудь увольняет массово людей, или пока ждём, когда AI дозреет?
Please open Telegram to view this post
VIEW IN TELEGRAM
CNBC
Microsoft laying off about 6,000 people, or 3% of its workforce
It's likely Microsoft's largest job purge since it said goodbye to 10,000 employees in 2023.
🌚7 5🤷♂3⚡1🐳1👾1
Вопрос для валютных удаленщиков. Недавно я узнавал сколько стоит открыть юр лицо в Дубае.
Цены просто космос:
- Коммерческая лицензия на год 14900AED (4k$ US), а если понлный пакет и резидентской визой будет 26835 AED (7.3k $)
- Корпоративный Банковский счет 12500 (AED 3.4k$ US), Индивидуальный будет 5000 AED.
Мне сказали, чтобы открыть счет в банке, нужна виза. То есть если я хочу быть котрактором с налогом 9% на доход свыше 100к$ US, то надо вот это все.
Я то думал, можно за 500$ открыть фирму удаленно и получать на нее платежи🤪 В Канаде это реально так и стоит.
Upd: говорят в Грузии всего 1% и хачапури вкусные, получается Дубай оставим для sugar daddies😃
Может быть и другие европейские города (стабильные), где можно так удаленно открыть юр лицо?
Из интересного - на днях мне чувак написал из Пакистана, он работал два года на удаленке на Европу через deel (виртуальный payroll для контактеров), я от него узнал, что компании сейчас охотней работают напрямую с контракторами через deel и другие похожие площадки. То есть вариант с ДубаЯми неплохой для этого сетапа, для всех резидентов РФ и не только, да еще соглашение о взаимных налогах.
А еще - Fact Sheet: President Donald J. Trump Secures Historic $600 Billion Investment Commitment in Saudi Arabia прям на сайте белого дома. Хотя недавно 600 лярдов хотели в AI, но потом DeepSeek в 100 раз дешевле получил схожий результат и вроде как проехали эту тему.
Вообще корпортавная работа на full time выглядит все менее безопасней (пост выше). Она отлично подходит, чтобы стать экспертом в какой-нибудь области, получить необходимые навыки, но совершенно не гаранитирует никакой job security и имеет ряд других недостатков. Возможно ее приятней иметь как хобби для ностальгии по офисным ништячкам, печенькам и сплетням с коллегами. Мир движутся децантрализованном направлении, и мне кажется, быть глобальным экспертом очень рабочий вариант в будущем.
Fun Fact: пока писал пост, на фоне играли Руки Вверх🙌
Цены просто космос:
- Коммерческая лицензия на год 14900AED (4k$ US), а если понлный пакет и резидентской визой будет 26835 AED (7.3k $)
- Корпоративный Банковский счет 12500 (AED 3.4k$ US), Индивидуальный будет 5000 AED.
Мне сказали, чтобы открыть счет в банке, нужна виза. То есть если я хочу быть котрактором с налогом 9% на доход свыше 100к$ US, то надо вот это все.
Я то думал, можно за 500$ открыть фирму удаленно и получать на нее платежи🤪 В Канаде это реально так и стоит.
Upd: говорят в Грузии всего 1% и хачапури вкусные, получается Дубай оставим для sugar daddies😃
Может быть и другие европейские города (стабильные), где можно так удаленно открыть юр лицо?
PS если есть ссылки, лучше их как код шарить
Из интересного - на днях мне чувак написал из Пакистана, он работал два года на удаленке на Европу через deel (виртуальный payroll для контактеров), я от него узнал, что компании сейчас охотней работают напрямую с контракторами через deel и другие похожие площадки. То есть вариант с ДубаЯми неплохой для этого сетапа, для всех резидентов РФ и не только, да еще соглашение о взаимных налогах.
А еще - Fact Sheet: President Donald J. Trump Secures Historic $600 Billion Investment Commitment in Saudi Arabia прям на сайте белого дома. Хотя недавно 600 лярдов хотели в AI, но потом DeepSeek в 100 раз дешевле получил схожий результат и вроде как проехали эту тему.
Вообще корпортавная работа на full time выглядит все менее безопасней (пост выше). Она отлично подходит, чтобы стать экспертом в какой-нибудь области, получить необходимые навыки, но совершенно не гаранитирует никакой job security и имеет ряд других недостатков. Возможно ее приятней иметь как хобби для ностальгии по офисным ништячкам, печенькам и сплетням с коллегами. Мир движутся децантрализованном направлении, и мне кажется, быть глобальным экспертом очень рабочий вариант в будущем.
Fun Fact: пока писал пост, на фоне играли Руки Вверх
Please open Telegram to view this post
VIEW IN TELEGRAM
2💯28🐳6⚡4❤🔥2🍾2 2
Сегодня произошел интересный случай, к которому я был не готов.
Во время 1:1 инженер попросил повышения зарплаты на 25-30%. И уже почти поставил мне ультиматум.
Я передал его просьбу VP, на что он на меня наехал, что это я его надоумил, ведь я сказал, что у него низкая зарплата и негоже инженеру за такие деньги работать. Буквально врастил в нем идею, что у него маленькая зарплата.
Получается такая дилемма. Как руководитель я должен защищать интересы компании, так же как и hr. И стараться сделать так, чтобы люди дальше работали за низкую зарплату и были счастливы, а я должен найтиморковку для осла мотивацию, чтобы сотрудники работали и были счастливы. Ведь другие вообще без работы сидят. А как инженер, я хочу защищать интересы инженеров.
Инженеру я тоже сказал, что раз он all-in, то надо чтобы оффер был на руках. А оффера нет, и по Surfalytics я то уж точно знаю как дела на рынке обстоят и сколько месяцев люди работу ищут, поэтому я его расстроил, ведь он даже не начал на собесы ходить.
А как вы просите денег? Или как вы отказываете другим, когда у вас просят повышения?
Пост написал пока на заправке стоял, я там частый гость👉
Во время 1:1 инженер попросил повышения зарплаты на 25-30%. И уже почти поставил мне ультиматум.
Я передал его просьбу VP, на что он на меня наехал, что это я его надоумил, ведь я сказал, что у него низкая зарплата и негоже инженеру за такие деньги работать. Буквально врастил в нем идею, что у него маленькая зарплата.
Получается такая дилемма. Как руководитель я должен защищать интересы компании, так же как и hr. И стараться сделать так, чтобы люди дальше работали за низкую зарплату и были счастливы, а я должен найти
Инженеру я тоже сказал, что раз он all-in, то надо чтобы оффер был на руках. А оффера нет, и по Surfalytics я то уж точно знаю как дела на рынке обстоят и сколько месяцев люди работу ищут, поэтому я его расстроил, ведь он даже не начал на собесы ходить.
А как вы просите денег? Или как вы отказываете другим, когда у вас просят повышения?
Пост написал пока на заправке стоял, я там частый гость
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥51🗿30⚡10😭2🫡2😈1
Дата с Димой - эпизод 5
(YouTube, RuTube)
💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.
🎯 Ключевые темы выпуска:
🧠 Черный юмор и интеллект - связь между чувством юмора и уровнем интеллекта.
💻 COBOL язык для не технических пользователей в 1960х - обсуждение языка программирования COBOL и его актуальности.
☁️ Snowflake и Trino - закрытие Snowflake и переход на альтернативные решения.
📊 Оптимизация Apache Spark - методы повышения производительности и эффективного использования ресурсов.
🤖 Внедрение Generative AI - как компании используют генеративный искусственный интеллект для повышения продуктивности.
📉 Сокращения в дата-командах - влияние сокращений на качество работы и аналитику.
🎓 Образование и карьера - советы по обучению и развитию карьеры в условиях снижения количества вакансий.
🛠️ Инструменты для работы с данными - использование DBT, Azure Data Factory и других инструментов в проектах.
📈 Инвестиции в AI - обсуждение инвестиций в искусственный интеллект и его влияние на рынок.
⚡ Будущее профессий - замена профессий AI и перспективы для специалистов в разных областях.
(YouTube, RuTube)
💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.
🎯 Ключевые темы выпуска:
🧠 Черный юмор и интеллект - связь между чувством юмора и уровнем интеллекта.
💻 COBOL язык для не технических пользователей в 1960х - обсуждение языка программирования COBOL и его актуальности.
☁️ Snowflake и Trino - закрытие Snowflake и переход на альтернативные решения.
📊 Оптимизация Apache Spark - методы повышения производительности и эффективного использования ресурсов.
🤖 Внедрение Generative AI - как компании используют генеративный искусственный интеллект для повышения продуктивности.
📉 Сокращения в дата-командах - влияние сокращений на качество работы и аналитику.
🎓 Образование и карьера - советы по обучению и развитию карьеры в условиях снижения количества вакансий.
🛠️ Инструменты для работы с данными - использование DBT, Azure Data Factory и других инструментов в проектах.
📈 Инвестиции в AI - обсуждение инвестиций в искусственный интеллект и его влияние на рынок.
⚡ Будущее профессий - замена профессий AI и перспективы для специалистов в разных областях.
11⚡26❤🔥12🐳1💯1😈1💘1
Spark-митап в Москве 29 мая!
IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!
🟢 Когда и где пройдёт?
29 мая в 18:30 в Музее криптографии
🟢 Кому Spark Meetup полезен?
🔹 инженерам данных и аналитикам данных
🔹 программистам со знанием Spark и Scala
🔹 всем смежным специальностям из телекома, банков, промышленности и ретейла
🟢 Кто будет выступать с докладами?
Эксперты из «Криптонита», Positive Technologies и М2. Программу можно посмотреть тут
🟢 Как зарегистрироваться?
Вот по этой ссылке
🟢 Будет ли трансляция?
Обязательно будет. Ссылку разместим позже на странице мероприятия — поэтому советуем зарегистрироваться на оффлайн-встречу, даже если вы не сможете прийти. Так вы точно не потеряете ссылку на онлайн
🟢 Нужно что-то платить?
Нет, митап бесплатный — ждём всех неравнодушных к программированию на Spark!
Зарегистрироваться
Реклама АО НПК «Криптонит» ИНН 9701115253 Erid:
2VtzqufQAvG
IT-компания «Криптонит» приглашает на Spark-митап: обсудим кейсы, практики применения и тренды развития!
29 мая в 18:30 в Музее криптографии
Эксперты из «Криптонита», Positive Technologies и М2. Программу можно посмотреть тут
Вот по этой ссылке
Обязательно будет. Ссылку разместим позже на странице мероприятия — поэтому советуем зарегистрироваться на оффлайн-встречу, даже если вы не сможете прийти. Так вы точно не потеряете ссылку на онлайн
Нет, митап бесплатный — ждём всех неравнодушных к программированию на Spark!
Зарегистрироваться
Реклама АО НПК «Криптонит» ИНН 9701115253 Erid:
2VtzqufQAvG
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥9⚡5🫡3💯1
Forwarded from Data Apps Design (Artemiy Kozyr)
Привет,
По следам доклада на ОФФЛАЙН митапе в Сочи:
🏆 dbt - индустриальный стандарт для трансформации данных в DWH
✍️ Позволяет писать, тестировать, документировать трансформации как SQL-код
☁️ Работает поверх современных облачных и on-premise платформ (Snowflake, BigQuery, Redshift, Databricks, Postgres и др.)
🏆 Использует лучшие практики разработки: версионирование, модульность, CI/CD, документация
Было много вопросов и заблуждений по поводу концепта dbt, поэтому дублирую:
— С т.з. манипуляции данными dbt умеет ровно столько, сколько умеет ваша аналитическая БД
— dbt не пропускает данные через себя, а лишь "раздает" команды БД, которая выполняет все операции (heavy lifting)
— dbt это просто python package с удобным CLI
— Рассматривайте dbt как мультитул-автоматизацию для работы с вашей аналитической БД
— Тема вызвала живой интерес и поток вопросов (которые продолжились после выступления)
— Отметил, что даже сложные концепты в подаче с простыми примерами и доступными формулировками легко воспринимаются даже неподготовленным слушателем
— Обрел старых (Станислав, привет 🙂!) и новых друзей и единомышленников
— Стихийно организовалась afterparty в соседнем ресторане с обсуждением смежных тем, обменом опыта и знакомствами
— Зарядился на дальнейшие планы и шаги, о которых буду сообщать
Запись, к сожалению, не велась.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥18⚡3💯3
Forwarded from Яна Тимохина | Про рост и личное (Яна Тимохина | Карьерный консультант и коуч | HR)
Сегодня прочитала в одном канале интересную мысль. СЕО одной компании (РФ) делился взглядом на сторонние проекты сотрудников.
Если коротко, он написал: личная узнаваемость — это не угроза, а актив. И для компании, и для самого человека. В его команде поощряли сотрудников выступать, делиться опытом. И даже если кто-то после этого находил более интересную работу — он был рад. Потому что это тоже заслуга команды, компании — вырастить сильного, востребованного специалиста.
И мне это близко. И не могу не вспомнить свой пример (читайте - ошибку).
Когда я еще работала HR, то ещё во время пандемии пошла учиться карьерному консалтингу и уже знакомилась с коучингом.
Цели были простые:
— применить знания внутри компании,
— и «на всякий случай». Мало ли что.
Но я так и не начала практиковать.
Почему? Где-то в разговорах промелькнула фраза: «Не хотелось бы, чтобы тебя ассоциировали с брендом компании». Я услышала. И не стала ничего делать. Только опубликовала сертификат — и всё.
По этическим причинам. Из лояльности (и из страха быть «неудобной». Ведь увольняться я не собиралась и к чему эти недопонимания...)
А потом... Прошло больше трёх лет. Переезд. Увольнение. Новая страна. Неизвестное будущее.
И я осталась без привычной опоры в виде моей работы и собственной зарплаты.
И вот тогда — пожалела. Что не начала строить свою практику параллельно с наймом.
Потому что тогда у меня уже была бы хоть какая-то узнаваемость, финансовая подушка, новый опыт в новой роли. Я бы уже успела совершить свои ошибки, нарастить навыки.
А не начинать всё с нуля в новой точке, да и еще в условиях высокой неопреденности.
Поэтому сейчас я точно знаю: личный бренд — это не про тщеславие. Это про выбор. Про свободу. Про устойчивость.
И его масштаб может быть разным. Кому-то комфортно вести блог на 300 подписчиков. Кому-то — выступать на конференциях.
Вопрос не в формате, а в том, чтобы вас видели и знали — как специалиста, как личность, как эксперта.
Потому что если вы не видимы внутри компании — вас будто бы нет. Любое повышение будет идти медленнее, если нужные люди не знают, кто вы и в чём ваша ценность.
Да, кому-то из руководителей может не понравиться, что вы развиваете что-то своё.
Есть риск, что энтузиазм «гореть» корпоративными задачами у вас снизится.
И да — это возможно.
Снимаю с себя белое пальто идеального HR, который будет говорить: «Работайте только на компанию, всё остальное — опасно и неправильно». Нет. Не нужно. Много рисков.
Компания — это не ваша семья. Это партнёрство. Где вы обмениваете своё время, энергию и компетенции на деньги и опыт.
И ваш ресурс, когда вы молоды, горите, полны сил и идей — ограничен. Помните об этом.
Поэтому, что важнее: ваша жизнь — или чей-то комфорт в корпорации?
Некоторым компаниям неудобно, когда вы просите повышения, хотите больше свободы, пробуете новое. Им проще, когда вы молчите и «благодарны за то, что есть». Но это их позиции, ведь цель у бизнеса только одна - зарабатывать.
А ваша цель какая?
📌 Если вы хотите расти в доходе, обрести свободу, накопить ценный опыт, чтобы однажды продать себя дороже — вы обязаны использовать все возможности.
Ваш главный актив — это вы.
Ваше время, энергия, навыки.
Не сливайте их в один сценарий, в который не верите на 100%.
Как я говорю своим клиентам: если компании нужно будет вас уволить — она это сделает.
Холодно. Быстро. Рационально. Потому что у неё есть своя цель — сократить расходы, сохранить бизнес, поменять стратегию.
Задайте себе вопросы:
- Что вы хотите от своей работы?
- Какие потребности она должна закрывать — кроме «выжить»?
Пока вы нужны — думайте шире.
Развивайте свой актив (себя). Выступления, проекты, соцсети, обучение — это инвестиции в ваш профессиональный капитал.
И это ваша зона ответственности - развивать свою карьреу с целью Х.
Если коротко, он написал: личная узнаваемость — это не угроза, а актив. И для компании, и для самого человека. В его команде поощряли сотрудников выступать, делиться опытом. И даже если кто-то после этого находил более интересную работу — он был рад. Потому что это тоже заслуга команды, компании — вырастить сильного, востребованного специалиста.
И мне это близко. И не могу не вспомнить свой пример (читайте - ошибку).
Когда я еще работала HR, то ещё во время пандемии пошла учиться карьерному консалтингу и уже знакомилась с коучингом.
Цели были простые:
— применить знания внутри компании,
— и «на всякий случай». Мало ли что.
Но я так и не начала практиковать.
Почему? Где-то в разговорах промелькнула фраза: «Не хотелось бы, чтобы тебя ассоциировали с брендом компании». Я услышала. И не стала ничего делать. Только опубликовала сертификат — и всё.
По этическим причинам. Из лояльности (и из страха быть «неудобной». Ведь увольняться я не собиралась и к чему эти недопонимания...)
А потом... Прошло больше трёх лет. Переезд. Увольнение. Новая страна. Неизвестное будущее.
И я осталась без привычной опоры в виде моей работы и собственной зарплаты.
И вот тогда — пожалела. Что не начала строить свою практику параллельно с наймом.
Потому что тогда у меня уже была бы хоть какая-то узнаваемость, финансовая подушка, новый опыт в новой роли. Я бы уже успела совершить свои ошибки, нарастить навыки.
А не начинать всё с нуля в новой точке, да и еще в условиях высокой неопреденности.
Поэтому сейчас я точно знаю: личный бренд — это не про тщеславие. Это про выбор. Про свободу. Про устойчивость.
И его масштаб может быть разным. Кому-то комфортно вести блог на 300 подписчиков. Кому-то — выступать на конференциях.
Вопрос не в формате, а в том, чтобы вас видели и знали — как специалиста, как личность, как эксперта.
Потому что если вы не видимы внутри компании — вас будто бы нет. Любое повышение будет идти медленнее, если нужные люди не знают, кто вы и в чём ваша ценность.
Да, кому-то из руководителей может не понравиться, что вы развиваете что-то своё.
Есть риск, что энтузиазм «гореть» корпоративными задачами у вас снизится.
И да — это возможно.
Снимаю с себя белое пальто идеального HR, который будет говорить: «Работайте только на компанию, всё остальное — опасно и неправильно». Нет. Не нужно. Много рисков.
Компания — это не ваша семья. Это партнёрство. Где вы обмениваете своё время, энергию и компетенции на деньги и опыт.
И ваш ресурс, когда вы молоды, горите, полны сил и идей — ограничен. Помните об этом.
Поэтому, что важнее: ваша жизнь — или чей-то комфорт в корпорации?
Некоторым компаниям неудобно, когда вы просите повышения, хотите больше свободы, пробуете новое. Им проще, когда вы молчите и «благодарны за то, что есть». Но это их позиции, ведь цель у бизнеса только одна - зарабатывать.
А ваша цель какая?
Ваш главный актив — это вы.
Ваше время, энергия, навыки.
Не сливайте их в один сценарий, в который не верите на 100%.
Как я говорю своим клиентам: если компании нужно будет вас уволить — она это сделает.
Холодно. Быстро. Рационально. Потому что у неё есть своя цель — сократить расходы, сохранить бизнес, поменять стратегию.
Задайте себе вопросы:
- Что вы хотите от своей работы?
- Какие потребности она должна закрывать — кроме «выжить»?
Пока вы нужны — думайте шире.
Развивайте свой актив (себя). Выступления, проекты, соцсети, обучение — это инвестиции в ваш профессиональный капитал.
И это ваша зона ответственности - развивать свою карьреу с целью Х.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡41💯28❤🔥4🗿4 1
В последнем эпизоде «Дата с Димой» я рассказывал, насколько важно для карьерного роста выше уровня Senior понимать бизнес-метрики, цели компании и уметь разговаривать с руководителями бизнес-направлений на одном языке.
Умение строить отчёты, проектировать хранилища данных и интегрировать данные с ML/AI — это здорово, но если не понимать, зачем это нужно бизнесу, теряется смысл работы, становится сложно аргументировать свою ценность, и в конечном итоге работа перестаёт быть интересной.
Один из способов понять, зачем всё это нужно и какие существуют топовые use cases — это сходить на конференцию Aha!25.
Aha!25 - техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников на одной площадке.
Ключевые темы:
- Интеграция LLM, ML и AI в цифровые сервисы
- Современные подходы к A/B-тестированию
- Оцифровка пользовательского опыта
- Применение машинного обучения в управлении продуктом
- Математическое мышление и поведенческая экономика
Приглашаем продуктовых менеджеров и аналитиков, инженеров данных, владельцев продуктов, CPO, CDO, ML-разработчиков. Программа будет полезна как новичкам, так и экспертам.
Где: МГУ, кластер «Ломоносов» (Раменский бульвар, 1).
Программа: http://ahaconf.ru/program
Билеты — на сайте!
Умение строить отчёты, проектировать хранилища данных и интегрировать данные с ML/AI — это здорово, но если не понимать, зачем это нужно бизнесу, теряется смысл работы, становится сложно аргументировать свою ценность, и в конечном итоге работа перестаёт быть интересной.
Один из способов понять, зачем всё это нужно и какие существуют топовые use cases — это сходить на конференцию Aha!25.
Aha!25 - техническая конференция о product science, продуктовой аналитике и эффективности бизнеса. В этом году мы впервые расширяем программу до двух дней: 16 тематических потоков и более 1200 участников на одной площадке.
Ключевые темы:
- Интеграция LLM, ML и AI в цифровые сервисы
- Современные подходы к A/B-тестированию
- Оцифровка пользовательского опыта
- Применение машинного обучения в управлении продуктом
- Математическое мышление и поведенческая экономика
Приглашаем продуктовых менеджеров и аналитиков, инженеров данных, владельцев продуктов, CPO, CDO, ML-разработчиков. Программа будет полезна как новичкам, так и экспертам.
Где: МГУ, кластер «Ломоносов» (Раменский бульвар, 1).
Программа: http://ahaconf.ru/program
Билеты — на сайте!
❤🔥13 5⚡2🍌2
Про Python сняли кино https://youtu.be/pqBqdNIPrbo?si=Go2kcWzKWIZLw_-e
YouTube
Python: The Documentary [OFFICIAL TRAILER] | Out now! 🚨
🚨 The Python Documentary premieres August 28!
---
From a side project in Amsterdam to powering AI at the world’s biggest companies - this is the story of Python. Featuring Guido van Rossum, Travis Oliphant, Barry Warsaw, and many more, our upcoming full…
---
From a side project in Amsterdam to powering AI at the world’s biggest companies - this is the story of Python. Featuring Guido van Rossum, Travis Oliphant, Barry Warsaw, and many more, our upcoming full…
🫡37❤🔥9⚡4🙈1💘1
Устроиться аналитиком в Яндекс за выходные
7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.
В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.
Узнать подробности и зарегистрироваться можно здесь.
7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.
В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.
Узнать подробности и зарегистрироваться можно здесь.
😭5🌚3 1
Хочу вам напомнить про полезные ресурсы:
1) datalearn учебник, где на русском есть 6,5 модулей про аналитику и инжиниринг данных и отдельный курс от Анатолия про SQL(лучше курса еще не придумали), где вы будете сами устанавливать Postgres и SQL Server и много практики https://github.com/Data-Learn/data-engineering
2) свежая версия курса на английском 3,5 модуля и дополнительный модуль 0 - https://surfalytics.com/surfalytics/2023-06-03-Introduction.html
1) datalearn учебник, где на русском есть 6,5 модулей про аналитику и инжиниринг данных и отдельный курс от Анатолия про SQL(лучше курса еще не придумали), где вы будете сами устанавливать Postgres и SQL Server и много практики https://github.com/Data-Learn/data-engineering
2) свежая версия курса на английском 3,5 модуля и дополнительный модуль 0 - https://surfalytics.com/surfalytics/2023-06-03-Introduction.html
GitHub
GitHub - Data-Learn/data-engineering: Getting Started with Data Enngineering
Getting Started with Data Enngineering. Contribute to Data-Learn/data-engineering development by creating an account on GitHub.
❤🔥118⚡19💯11🍾6
Неожиданно! Главный SaaS CRM покупает old-school ETL вендер Informatica🤪
Компания Salesforce объявила о планах приобрести платформу управления данными Informatica за приблизительно $8 миллиардов. Это станет крупнейшей сделкой Salesforce с момента покупки Slack за $28 миллиардов в 2021 году. Данная покупка направлена на усиление возможностей Salesforce в области управления данными и интеграции генеративного искусственного интеллекта (ИИ) в свои бизнес-инструменты. В частности, приобретение Informatica позволит Salesforce улучшить контроль над использованием данных, что критически важно для развития ИИ-функций, таких как платформа Agentforce, предназначенная для автоматизации задач с помощью виртуальных ИИ-агентов.
Осталось кому-нибудь купить Teradata📊
Компания Salesforce объявила о планах приобрести платформу управления данными Informatica за приблизительно $8 миллиардов. Это станет крупнейшей сделкой Salesforce с момента покупки Slack за $28 миллиардов в 2021 году. Данная покупка направлена на усиление возможностей Salesforce в области управления данными и интеграции генеративного искусственного интеллекта (ИИ) в свои бизнес-инструменты. В частности, приобретение Informatica позволит Salesforce улучшить контроль над использованием данных, что критически важно для развития ИИ-функций, таких как платформа Agentforce, предназначенная для автоматизации задач с помощью виртуальных ИИ-агентов.
Осталось кому-нибудь купить Teradata📊
🙈24🦄6❤🔥3🐳2
DuckDB предложил очень интересную альтернативу - DuckLake: SQL as a Lakehouse Format
Что это значит?
Если мы откатимся назад и повторим эволюцию аналитических решений - от классического хранилища данных до современного Lakehouse, можно выделить основные этапы:
- Data Warehouse (Хранилище данных) - хранение и вычисления происходят на одном физическом/виртуальном сервере или кластере.
- Data Lake (Озеро данных) - происходит разделение хранения и вычислений.
- Lakehouse - гибрид Data Lake и Data Warehouse. Ключевой элемент - формат таблиц (Iceberg, Delta, Hudi), который добавляет возможности управления изменениями в data lake. Эти форматы используют сложные файловые структуры (JSON, Avro) для отслеживания версий и схем.
Сегодня на рынке представлен широкий спектр инструментов и тесная интеграция между подходами. Любое решение - это всегда компромисс. Выбор зависит от бюджета, возможностей и экспертизы команды и т. д.
У Lakehouse есть важный недостаток - сложности с обеспечением атомарности операций и управлением несколькими таблицами, а также ряд других проблем. Те, кто строил Iceberg-архитектуру, могут поделиться своими ограничениями и трудностями.
DuckLake предлагает альтернативный подход: вся метаинформация (каталоги, схемы, версии) хранится в стандартной SQL-базе данных, поддерживающей ACID-транзакции и первичные ключи. Это позволяет:
- Обеспечить надежное и простое управление метаданными.
- Поддерживать транзакции, охватывающие несколько таблиц.
- Избежать сложностей, связанных с согласованностью в blob-хранилищах.
При этом данные продолжают храниться в открытых форматах, таких как Parquet, что обеспечивает совместимость и гибкость. То есть метаданные "уходят" в DuckDB - в SQL-таблицу, которая и используется в качестве каталога.
Вот такое элегантное решение. Кстати, ниша managed duckdb в публичных облаках свободна🍸
PS В Surfalytics мы делали пару проектов про DuckDB и даже есть урок в основном курсе:
Just enough DuckDB for Data Analyst | Module 2.7 | Surfalytics
И в datalearn у нас был классный обзор от Романа Зыкова:
Разработка data приложений на DuckDB
Что это значит?
Если мы откатимся назад и повторим эволюцию аналитических решений - от классического хранилища данных до современного Lakehouse, можно выделить основные этапы:
- Data Warehouse (Хранилище данных) - хранение и вычисления происходят на одном физическом/виртуальном сервере или кластере.
- Data Lake (Озеро данных) - происходит разделение хранения и вычислений.
- Lakehouse - гибрид Data Lake и Data Warehouse. Ключевой элемент - формат таблиц (Iceberg, Delta, Hudi), который добавляет возможности управления изменениями в data lake. Эти форматы используют сложные файловые структуры (JSON, Avro) для отслеживания версий и схем.
Сегодня на рынке представлен широкий спектр инструментов и тесная интеграция между подходами. Любое решение - это всегда компромисс. Выбор зависит от бюджета, возможностей и экспертизы команды и т. д.
У Lakehouse есть важный недостаток - сложности с обеспечением атомарности операций и управлением несколькими таблицами, а также ряд других проблем. Те, кто строил Iceberg-архитектуру, могут поделиться своими ограничениями и трудностями.
DuckLake предлагает альтернативный подход: вся метаинформация (каталоги, схемы, версии) хранится в стандартной SQL-базе данных, поддерживающей ACID-транзакции и первичные ключи. Это позволяет:
- Обеспечить надежное и простое управление метаданными.
- Поддерживать транзакции, охватывающие несколько таблиц.
- Избежать сложностей, связанных с согласованностью в blob-хранилищах.
При этом данные продолжают храниться в открытых форматах, таких как Parquet, что обеспечивает совместимость и гибкость. То есть метаданные "уходят" в DuckDB - в SQL-таблицу, которая и используется в качестве каталога.
Вот такое элегантное решение. Кстати, ниша managed duckdb в публичных облаках свободна
PS В Surfalytics мы делали пару проектов про DuckDB и даже есть урок в основном курсе:
Just enough DuckDB for Data Analyst | Module 2.7 | Surfalytics
И в datalearn у нас был классный обзор от Романа Зыкова:
Разработка data приложений на DuckDB
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥28🫡2