Новые возможности для администрирования Apache Ignite
СберТех приглашает на вебинар, где представит обновления в Platform V Grid Center.
Основной темой станет демонстрация ИИ-агента, который помогает администрировать кластеры через диалог.
Спикер — лидер продукта Илья Степанов — покажет, как агент взаимодействует на естественном языке, анонсирует выход гибких пользовательских дашбордов и расскажет про улучшения в интерфейсе и функциональности контроля.
Platform V Grid Center предназначен для работы как с Apache Ignite, так и с коммерческой версией от СберТеха — Platform V DataGrid.
Присоединяйтесь, чтобы узнать о новых инструментах для оптимизации вашей работы. Регистрация по ссылке.
СберТех приглашает на вебинар, где представит обновления в Platform V Grid Center.
Основной темой станет демонстрация ИИ-агента, который помогает администрировать кластеры через диалог.
Спикер — лидер продукта Илья Степанов — покажет, как агент взаимодействует на естественном языке, анонсирует выход гибких пользовательских дашбордов и расскажет про улучшения в интерфейсе и функциональности контроля.
Platform V Grid Center предназначен для работы как с Apache Ignite, так и с коммерческой версией от СберТеха — Platform V DataGrid.
Присоединяйтесь, чтобы узнать о новых инструментах для оптимизации вашей работы. Регистрация по ссылке.
🦄2 2🙈1
AI Code Assistant вошел плотненько в мой быт. У меня Cursor. Так же я работал с Cline плагином в VSCode, которому я скормил Claude Code API ключ и там же я попробовал Claude плагин, который подключает Claude Code.
В Linkedin я провел опрос, и Claude Code явно популярнее, чем Cursor. И я считаю, что эти два инструмента лучшие на рынке. По опросу в Телеграмм стало понятно, что AI Code Assistant не такие популярные. Главная проблема это цена инструмента и работодатели не хотят оплачивать и людям приходится изобретать.
Чтобы вам стать максимально эффективным вам нужно использовать IDE + AI. Самый простой вариант VSCode + Cline или что-то подобное. Так же все хвалили Kilo Code.
Самое классное, что такой подход работает не только для кода, а для всего. Считайте, что у вашего AI теперь есть buffer, где можно сохранять результат в markdown файлы или создавать их самому, чтобы всегда был контекст. Одно время я так сохранял Slack переписки и вел лог всего в markdown.
Теперь несколько примеров из недавнего опыта.
Недавно была встреча с Product Manager из Silicon Valley, он показал как он завайбкодил целое решение:
- Данные забирает из Survicate API (сервис опросов, многие ответы free text)
- Парсит ответы с AI и классифицирует их
- Построил целое веб приложение с графиками и кнопками
И это сделал чувак, кто совсем не технарь, получилось очень достойно. То есть теперь любой может кодить и создавать продукты. А дальше уже можно привлечь инженеров и доработать решения, чтобы положить в прод.
Лично я сделал достаточно много с AI, что было бы просто нереально успеть сделать за такой короткий срок:
1. Был Airflow, который жил в Docker на AWS EC2. Использовали Astro Run Time. Было очень неудобно. Я решил все смигрировать на Managed AWS Airflow. И AI помог мне конвертировать DAGs и улучшить их и внедрить мои идеи. Как результат пофиксил много legacy багов и улучшил производительность в 4 раза для OLTP источников.
2. AWS и Snowflake закинул в Terraform, и это позволяет быстро вносить изменения.
3. У них еще было 3 проекта в dbt cloud, там был полный хаус, я начал все консолидировать в новом проекте с использованием medallion architecture. Благодаря MCP, я могу тестировать изменения и фиксить, если где-то глюки.
4. Так же поработал плотненькое с Subscription based бизнес для hardware, и все что было сделано в dbt поверх данных Stripe - black box. Я полностью пересобрал модель данных для subscription revenue, смог создать несколько вариаций моделей, задокументировать все в markdown и так же через MCP сравнивать и фиксить модели на уровне конкретных клиентов.
5. Написал несколько документов на изменения связанные с тем как собираются и хранятся данные.
6. Проанализировал 3000 ноутбуков в Hex, чтобы понять какие из них используют сырые данные и как часто используются. Использовал BigQuery System Tables и MCP, чтобы создавать запросы, HEX API, чтобы выгружать данные, и DuckDB, чтобы локально все анализировать. А дальше написал несколько документов, но уже с Gemini. В gemini теперь можно и презентации создавать.
Было еще множество мелких вещей. Все эти задачи, я бы смог решить и без AI, просто делал бы их намного дольше и уж никак не параллельно. А так хватило время на посмотреть Один Дома 1 и 2, запустить Worms Worlds Party, и поиграть в новый сезон Fortnite. И даже на учебу по курсу Databricks Generative AI. И самое главное не пропускать тренировки, у меня на них высокий приоритет - 2 раза бокс, 2 раза джиу джитсу, 2 раза бассейн в неделю.
Жалко AI за меня не ходит на митинги, а то может быть по 5 в день в перемешку с собеседованиями.
Сейчас точно золотое время high performance инженеров, так как если у нас есть фундаментальные знания, то с помощью AI можно решить задачу. При этом большинство коллег, даже технических не шибко пользуются всеми возможностями, а предпочитают топорный способ - copy paste в ChatGPT. Или вообще не понимают, зачем это и как использовать в работе. Возможности и правда безграничные.
Думаю так долго не будет продолжаться, но пока прям четкий vibe📈
В Linkedin я провел опрос, и Claude Code явно популярнее, чем Cursor. И я считаю, что эти два инструмента лучшие на рынке. По опросу в Телеграмм стало понятно, что AI Code Assistant не такие популярные. Главная проблема это цена инструмента и работодатели не хотят оплачивать и людям приходится изобретать.
Чтобы вам стать максимально эффективным вам нужно использовать IDE + AI. Самый простой вариант VSCode + Cline или что-то подобное. Так же все хвалили Kilo Code.
Самое классное, что такой подход работает не только для кода, а для всего. Считайте, что у вашего AI теперь есть buffer, где можно сохранять результат в markdown файлы или создавать их самому, чтобы всегда был контекст. Одно время я так сохранял Slack переписки и вел лог всего в markdown.
Теперь несколько примеров из недавнего опыта.
Недавно была встреча с Product Manager из Silicon Valley, он показал как он завайбкодил целое решение:
- Данные забирает из Survicate API (сервис опросов, многие ответы free text)
- Парсит ответы с AI и классифицирует их
- Построил целое веб приложение с графиками и кнопками
И это сделал чувак, кто совсем не технарь, получилось очень достойно. То есть теперь любой может кодить и создавать продукты. А дальше уже можно привлечь инженеров и доработать решения, чтобы положить в прод.
Лично я сделал достаточно много с AI, что было бы просто нереально успеть сделать за такой короткий срок:
1. Был Airflow, который жил в Docker на AWS EC2. Использовали Astro Run Time. Было очень неудобно. Я решил все смигрировать на Managed AWS Airflow. И AI помог мне конвертировать DAGs и улучшить их и внедрить мои идеи. Как результат пофиксил много legacy багов и улучшил производительность в 4 раза для OLTP источников.
2. AWS и Snowflake закинул в Terraform, и это позволяет быстро вносить изменения.
3. У них еще было 3 проекта в dbt cloud, там был полный хаус, я начал все консолидировать в новом проекте с использованием medallion architecture. Благодаря MCP, я могу тестировать изменения и фиксить, если где-то глюки.
4. Так же поработал плотненькое с Subscription based бизнес для hardware, и все что было сделано в dbt поверх данных Stripe - black box. Я полностью пересобрал модель данных для subscription revenue, смог создать несколько вариаций моделей, задокументировать все в markdown и так же через MCP сравнивать и фиксить модели на уровне конкретных клиентов.
5. Написал несколько документов на изменения связанные с тем как собираются и хранятся данные.
6. Проанализировал 3000 ноутбуков в Hex, чтобы понять какие из них используют сырые данные и как часто используются. Использовал BigQuery System Tables и MCP, чтобы создавать запросы, HEX API, чтобы выгружать данные, и DuckDB, чтобы локально все анализировать. А дальше написал несколько документов, но уже с Gemini. В gemini теперь можно и презентации создавать.
Было еще множество мелких вещей. Все эти задачи, я бы смог решить и без AI, просто делал бы их намного дольше и уж никак не параллельно. А так хватило время на посмотреть Один Дома 1 и 2, запустить Worms Worlds Party, и поиграть в новый сезон Fortnite. И даже на учебу по курсу Databricks Generative AI. И самое главное не пропускать тренировки, у меня на них высокий приоритет - 2 раза бокс, 2 раза джиу джитсу, 2 раза бассейн в неделю.
Жалко AI за меня не ходит на митинги, а то может быть по 5 в день в перемешку с собеседованиями.
Сейчас точно золотое время high performance инженеров, так как если у нас есть фундаментальные знания, то с помощью AI можно решить задачу. При этом большинство коллег, даже технических не шибко пользуются всеми возможностями, а предпочитают топорный способ - copy paste в ChatGPT. Или вообще не понимают, зачем это и как использовать в работе. Возможности и правда безграничные.
Думаю так долго не будет продолжаться, но пока прям четкий vibe
Please open Telegram to view this post
VIEW IN TELEGRAM
1💯36⚡22❤🔥1
Я явно недооценил Excel, оказывается есть чемпионат по Excel
Чемпионат Microsoft Excel (Microsoft Excel World Championship, MEWC) — это киберспортивное соревнование, где участники решают необычные игровые задачи в Microsoft Excel.
В отличие от традиционных финансовых соревнований, здесь нет финансового моделирования — только Excel и логическое мышление.
Участники соревнуются в скорости и точности решения сложных головоломок, используя формулы, функции и любые инструменты Excel (включая VBA, Power Query, динамические массивы, лямбда-функции).
Формат соревнований:
• Участники получают кейсы с несколькими уровнями сложности (обычно 5-7 уровней)
• Задачи основаны на игровых сценариях — например, World of Warcraft, Scrabble, детективные истории, ролевые игры
• Каждый раунд длится 30 минут с системой выбывания: каждые 5-7,5 минут участник с наименьшим количеством очков выбывает
• Есть бонусные вопросы, которые может получить только первый решивший их участник
Структура турнира:
Чемпионат включает онлайн-отборочные раунды (9 ежемесячных баттлов, квалификационный раунд на 150 участников), плей-офф (256 участников) и финал вживую в Лас-Вегасе в HyperX Arena. Призовой фонд превышает $60,000.
Чемпионат Microsoft Excel (Microsoft Excel World Championship, MEWC) — это киберспортивное соревнование, где участники решают необычные игровые задачи в Microsoft Excel.
В отличие от традиционных финансовых соревнований, здесь нет финансового моделирования — только Excel и логическое мышление.
Участники соревнуются в скорости и точности решения сложных головоломок, используя формулы, функции и любые инструменты Excel (включая VBA, Power Query, динамические массивы, лямбда-функции).
Формат соревнований:
• Участники получают кейсы с несколькими уровнями сложности (обычно 5-7 уровней)
• Задачи основаны на игровых сценариях — например, World of Warcraft, Scrabble, детективные истории, ролевые игры
• Каждый раунд длится 30 минут с системой выбывания: каждые 5-7,5 минут участник с наименьшим количеством очков выбывает
• Есть бонусные вопросы, которые может получить только первый решивший их участник
Структура турнира:
Чемпионат включает онлайн-отборочные раунды (9 ежемесячных баттлов, квалификационный раунд на 150 участников), плей-офф (256 участников) и финал вживую в Лас-Вегасе в HyperX Arena. Призовой фонд превышает $60,000.
1⚡44🙈10❤🔥2🐳1
Могу поделиться финансовой мудростью — когда захотите купить последний iPhone или другую дорогую (относительно дорогую) вещь, которую вот прямо необходимо иметь, попробуйте сделать это на прибыль или дивиденды от инвестиций.
То есть на языке книги «Богатый папа, бедный папа», которую, как по мне, должны добавить в школьную программу и вообще учить детей финансовой грамотности, а то получается, в школах растят потребителей.
Вам нужно сначала создать актив, который будет приносить вам прибыль, и на эту прибыль можно купить iPhone. В идеале тут можно говорить про дорогую машину, но надо начинать с чего-то маленького. Я вот вроде бы знал про такой life hack, но не воспользовался им, когда был молодым — возможно, у вас это получится лучше.
Звучит легко, но вот очень сложное сделать.
То есть на языке книги «Богатый папа, бедный папа», которую, как по мне, должны добавить в школьную программу и вообще учить детей финансовой грамотности, а то получается, в школах растят потребителей.
Вам нужно сначала создать актив, который будет приносить вам прибыль, и на эту прибыль можно купить iPhone. В идеале тут можно говорить про дорогую машину, но надо начинать с чего-то маленького. Я вот вроде бы знал про такой life hack, но не воспользовался им, когда был молодым — возможно, у вас это получится лучше.
Звучит легко, но вот очень сложное сделать.
3❤🔥39 23🦄8🍌4🐳2🌚2
S3 самый популярный элемент современного технологического мира. И это не обязательно AWS S3, ведь можно создать blob storage on-premise.
В статье How Amazon S3 Works кратко описываю системный дизайн S3. Для масштабирования с высокой производительностью не нужно дорогое оборудование — достаточно умной архитектуры и правильных алгоритмов. Amazon использует недорогие HDD-диски, но компенсирует их ограничения через параллелизм, умную организацию данных и эффективную репликацию.
Альтернативы:
🔄 Крупные облачные провайдеры
Google Cloud Storage — хорошо работает с другими сервисами Google (BigQuery, ML), несколько классов хранения, понятные тарифы, от $0.020/GB в месяц.
Azure Blob Storage — от Microsoft, три уровня хранения (горячий, холодный, архив), отлично интегрируется с Office 365 и Azure, от $0.018/GB в месяц.
IBM Cloud Object Storage — для крупных компаний, автоматически оптимизирует затраты, работает с Watson AI, подходит для банков и медицины.
🔄 Бюджетные варианты без платы за скачивание
Cloudflare R2 — бесплатная отдача данных (egress), быстрая доставка через CDN Cloudflare, хранение $0.015/GB в месяц.
Wasabi — один тариф $6.99/TB в месяц, нет платы за скачивание и API-запросы, все данные доступны мгновенно.
Backblaze B2 — очень дешево $6/TB в месяц, бесплатное скачивание до 3x от объема хранения, полностью бесплатно с Cloudflare CDN.
🔄 Для разработчиков
DigitalOcean Spaces — простой и понятный, $5/месяц за 250GB + 1TB трафика, встроенная CDN, легко настроить.
iDrive e2 — до 80% дешевле S3 ($0.005/GB в месяц), нет платы за трафик, простой интерфейс.
Hetzner Object Storage — европейский провайдер, $0.00713/GB в месяц, очень дешевое скачивание ($0.00143/GB), соответствует GDPR.
🔄 Другие варианты
Oracle Cloud — 10GB бесплатно навсегда, архив от $0.0026/GB в месяц.
Telnyx Storage — быстрый, низкие задержки, бесплатное скачивание, до 100 бакетов бесплатно.
Storj — децентрализованное хранилище на блокчейне, данные распределены по тысячам серверов, повышенная безопасность.
🔄 Альтернативы on-premise
MinIO — самый популярный open-source, полностью совместим с S3, очень быстрый (до 183 GB/s), хорошо работает с Kubernetes и ML.
Ceph — мощная система для больших компаний, поддерживает объекты, блоки и файлы, масштабируется до петабайтов, но сложная в настройке.
OpenIO — быстрый, для AI/ML и big data, совместим с S3, можно комбинировать с облаком.
Cloudian HyperStore — коммерческое решение, совместимо с S3, полный контроль над данными, поддержка 24/7, для банков и госструктур.
SeaweedFS — легкий и быстрый, написан на Go, хорошо работает с миллиардами маленьких файлов (фото, документы).
Rook — упрощает работу с Ceph в Kubernetes, автоматическое масштабирование и восстановление.
GlusterFS — объединяет обычные серверы в одно хранилище, проще чем Ceph, поддержка от Red Hat.
LocalStack — эмулирует 90+ сервисов AWS на вашем компьютере, можно разрабатывать и тестировать без затрат и подключения к интернету.
Из всего списка я работал с классикой Google Cloud Storage, AWS S3, Azure Storage и использовал LocalStack для CI pipelines. Часто попадалась информация про MiniO S3 и Cloudflare R2 или Hetzner.
В статье How Amazon S3 Works кратко описываю системный дизайн S3. Для масштабирования с высокой производительностью не нужно дорогое оборудование — достаточно умной архитектуры и правильных алгоритмов. Amazon использует недорогие HDD-диски, но компенсирует их ограничения через параллелизм, умную организацию данных и эффективную репликацию.
Альтернативы:
Google Cloud Storage — хорошо работает с другими сервисами Google (BigQuery, ML), несколько классов хранения, понятные тарифы, от $0.020/GB в месяц.
Azure Blob Storage — от Microsoft, три уровня хранения (горячий, холодный, архив), отлично интегрируется с Office 365 и Azure, от $0.018/GB в месяц.
IBM Cloud Object Storage — для крупных компаний, автоматически оптимизирует затраты, работает с Watson AI, подходит для банков и медицины.
Cloudflare R2 — бесплатная отдача данных (egress), быстрая доставка через CDN Cloudflare, хранение $0.015/GB в месяц.
Wasabi — один тариф $6.99/TB в месяц, нет платы за скачивание и API-запросы, все данные доступны мгновенно.
Backblaze B2 — очень дешево $6/TB в месяц, бесплатное скачивание до 3x от объема хранения, полностью бесплатно с Cloudflare CDN.
DigitalOcean Spaces — простой и понятный, $5/месяц за 250GB + 1TB трафика, встроенная CDN, легко настроить.
iDrive e2 — до 80% дешевле S3 ($0.005/GB в месяц), нет платы за трафик, простой интерфейс.
Hetzner Object Storage — европейский провайдер, $0.00713/GB в месяц, очень дешевое скачивание ($0.00143/GB), соответствует GDPR.
Oracle Cloud — 10GB бесплатно навсегда, архив от $0.0026/GB в месяц.
Telnyx Storage — быстрый, низкие задержки, бесплатное скачивание, до 100 бакетов бесплатно.
Storj — децентрализованное хранилище на блокчейне, данные распределены по тысячам серверов, повышенная безопасность.
MinIO — самый популярный open-source, полностью совместим с S3, очень быстрый (до 183 GB/s), хорошо работает с Kubernetes и ML.
Ceph — мощная система для больших компаний, поддерживает объекты, блоки и файлы, масштабируется до петабайтов, но сложная в настройке.
OpenIO — быстрый, для AI/ML и big data, совместим с S3, можно комбинировать с облаком.
Cloudian HyperStore — коммерческое решение, совместимо с S3, полный контроль над данными, поддержка 24/7, для банков и госструктур.
SeaweedFS — легкий и быстрый, написан на Go, хорошо работает с миллиардами маленьких файлов (фото, документы).
Rook — упрощает работу с Ceph в Kubernetes, автоматическое масштабирование и восстановление.
GlusterFS — объединяет обычные серверы в одно хранилище, проще чем Ceph, поддержка от Red Hat.
LocalStack — эмулирует 90+ сервисов AWS на вашем компьютере, можно разрабатывать и тестировать без затрат и подключения к интернету.
Из всего списка я работал с классикой Google Cloud Storage, AWS S3, Azure Storage и использовал LocalStack для CI pipelines. Часто попадалась информация про MiniO S3 и Cloudflare R2 или Hetzner.
Please open Telegram to view this post
VIEW IN TELEGRAM
newsletter.systemdesign.one
How Amazon S3 Works ✨
#59: Break Into Amazon Engineering (4 Minutes)
2❤🔥17⚡5🦄2
Я писал уже свой подход про ARR как личный суммарный заработок. Как и другой любой пост он 50/50, кому-то откликнулось, а для кого-то 🔴 .
На выходных у меня была стратегическая сессия с @YanaTimokhina, где 3 часа проговаривали, что работает, а что нет. Попытались спланировать цели на 5 и 15 лет. И как-то после нее стало легче.
Реально есть польза от высказаться и поразмышлять вслух, а если у человека есть в этом опыт, он быстро уловит суть и поможем переосмыслить многие вещи.
Одно из первых решений было убрать токсичность, для меня это свалить с одного из проектов, который приносит 250k (только база) CAD $ ARR. По канадским меркам это много, и самое главное там не сложно делать работу, но токсичная среда сжирает весь ресурс и не остается сил на себя и креативность. Поэтому, сегодня я написал, что мой последний день с ними 31 декабря и сразу стало легче.
Другой инсайт был, что я не знаю сколько я зарабатываю, и сколько мы тратим. Поэтому идея работать много не очень эффективна, ведь я не знаю сколько достаточно и для чего, а страх не до заработать на долгой перспективе будет иметь негативные последствия.
Один из главных инсайтов 2025 год, что высокая зарплата и много ответственности это не всегда самый важный критерий, иногда можно позволить себе сделать перерыв, чтобы поработать и поучиться в свое удовольствие.
Да и вообще, все же мы знаем, что у нас марафон, а не спринт.
На выходных у меня была стратегическая сессия с @YanaTimokhina, где 3 часа проговаривали, что работает, а что нет. Попытались спланировать цели на 5 и 15 лет. И как-то после нее стало легче.
Реально есть польза от высказаться и поразмышлять вслух, а если у человека есть в этом опыт, он быстро уловит суть и поможем переосмыслить многие вещи.
Одно из первых решений было убрать токсичность, для меня это свалить с одного из проектов, который приносит 250k (только база) CAD $ ARR. По канадским меркам это много, и самое главное там не сложно делать работу, но токсичная среда сжирает весь ресурс и не остается сил на себя и креативность. Поэтому, сегодня я написал, что мой последний день с ними 31 декабря и сразу стало легче.
Другой инсайт был, что я не знаю сколько я зарабатываю, и сколько мы тратим. Поэтому идея работать много не очень эффективна, ведь я не знаю сколько достаточно и для чего, а страх не до заработать на долгой перспективе будет иметь негативные последствия.
Один из главных инсайтов 2025 год, что высокая зарплата и много ответственности это не всегда самый важный критерий, иногда можно позволить себе сделать перерыв, чтобы поработать и поучиться в свое удовольствие.
Да и вообще, все же мы знаем, что у нас марафон, а не спринт.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Инжиниринг Данных
Знаете какая самая популярная метрик в SaaS бизнесе?
ARR (Annual Recurring Revenue). Это когда вы продаете продукт по подписке (subscription), где клиенты могу платить по месяцам. То есть, если купили ChatGPT за 20$ в месяц, то ARR будет 12x20=240$. Конечно…
ARR (Annual Recurring Revenue). Это когда вы продаете продукт по подписке (subscription), где клиенты могу платить по месяцам. То есть, если купили ChatGPT за 20$ в месяц, то ARR будет 12x20=240$. Конечно…
2❤🔥43💯18🦄6⚡1
Знаете, что такое “смена работы N+1”?
Это достаточно надежный и популярный способ менять работу в Северной Америке.
Сейчас расскажу.
Вы работаете на работе А. И вы решили найти новую работу - Б.
Что делают любители? Прощаются с коллегами на работе А и выходят на работу Б. Только потом может оказаться, что работа Б это не так и весело, и хуже, чем работа А. Но вам уже надо разгребать работу Б следующие 12-18 месяцев, как минимум. Как говорится стерпится-слюбится.
А что делают профессионалы? Оно думают о завершении работы А, чтобы начать работу Б. Но работа Б это риск, поэтому они решаются на trial период на работе Б, продолжая работать на работе А. Таким образом у вас есть возможность попробовать Б и при необходимости отказаться от нее и остаться на А, или наоборот, уйти с А, и остаться на Б.
Такой overlap позволяет безопасно менять работу. Очень популярный метод, надо как-нибудь попробовать, если будет удаленка.
Это достаточно надежный и популярный способ менять работу в Северной Америке.
Сейчас расскажу.
Вы работаете на работе А. И вы решили найти новую работу - Б.
Что делают любители? Прощаются с коллегами на работе А и выходят на работу Б. Только потом может оказаться, что работа Б это не так и весело, и хуже, чем работа А. Но вам уже надо разгребать работу Б следующие 12-18 месяцев, как минимум. Как говорится стерпится-слюбится.
А что делают профессионалы? Оно думают о завершении работы А, чтобы начать работу Б. Но работа Б это риск, поэтому они решаются на trial период на работе Б, продолжая работать на работе А. Таким образом у вас есть возможность попробовать Б и при необходимости отказаться от нее и остаться на А, или наоборот, уйти с А, и остаться на Б.
Такой overlap позволяет безопасно менять работу. Очень популярный метод, надо как-нибудь попробовать, если будет удаленка.
2🙈38❤🔥22⚡3🌚2
Как у вас дела с Kubernetes?
С ним можно построить любое решение - сам продукт, сервис или аналитическое решение в облаке или on-premise.
Очевидно использовать managed версию в AWS/Azure/GCP легче, чем разворачивать все с нуля на своем железе.
Для DevOps k8s это один из главных скилов. Эксперты без работы не останутся, особенно если нет альтернативы в виде публичного облака.
Claude мне выдал альтернативы:
Легковесные альтернативы
- Docker Swarm - встроенная оркестрация Docker, проще в настройке и использовании
- K3s - облегченная версия Kubernetes от Rancher (до 40 МБ), идеальна для edge-устройств и IoT
- MicroK8s - минималистичный Kubernetes от Canonical, быстрая установка одной командой
- Nomad (HashiCorp) - простая оркестрация для контейнеров, VM и standalone приложений
Платформы как сервис (PaaS)
- Docker Compose - для локальной разработки и простых развертываний
- Heroku - классический PaaS, минимум настроек
- Fly.io - современная платформа с глобальным распределением
- Railway - простой деплой с автоматической настройкой
Специализированные решения
- Apache Mesos (с Marathon/DC/OS) - для крупномасштабных кластеров
- Rancher - управление несколькими кластерами и оркестраторами
- OpenShift - корпоративная платформа на базе Kubernetes с дополнительными функциями
- Portainer - упрощенное управление Docker и Kubernetes через веб-интерфейс
В моем опыте мне два раза приходилось с ним работать:
1) В FinTech стартапе использовали k8s на GCP (managed), на нем жили Airflow, Metabase, Open Metadata, dbt, Trino, Red Panda и все Python программы, которые поднимались в контейнерах через Airflow.
2) В большом Enterprise, использовали k8s на AWS, для самого продукта (multi tenant), и локальная разработка так же велась на k8s.
Для себя я решил ограничиться сервисами контейнеров:
- AWS ECS/Fargate
- Azure Container Instances
- Google Cloud Run
Вам приходиться работать с k8s?
Kubernetes (K8s) — это система для автоматического управления контейнерами с приложениями. Представь её как "дирижёра оркестра" для твоих программ.
С ним можно построить любое решение - сам продукт, сервис или аналитическое решение в облаке или on-premise.
Очевидно использовать managed версию в AWS/Azure/GCP легче, чем разворачивать все с нуля на своем железе.
Для DevOps k8s это один из главных скилов. Эксперты без работы не останутся, особенно если нет альтернативы в виде публичного облака.
Claude мне выдал альтернативы:
Легковесные альтернативы
- Docker Swarm - встроенная оркестрация Docker, проще в настройке и использовании
- K3s - облегченная версия Kubernetes от Rancher (до 40 МБ), идеальна для edge-устройств и IoT
- MicroK8s - минималистичный Kubernetes от Canonical, быстрая установка одной командой
- Nomad (HashiCorp) - простая оркестрация для контейнеров, VM и standalone приложений
Платформы как сервис (PaaS)
- Docker Compose - для локальной разработки и простых развертываний
- Heroku - классический PaaS, минимум настроек
- Fly.io - современная платформа с глобальным распределением
- Railway - простой деплой с автоматической настройкой
Специализированные решения
- Apache Mesos (с Marathon/DC/OS) - для крупномасштабных кластеров
- Rancher - управление несколькими кластерами и оркестраторами
- OpenShift - корпоративная платформа на базе Kubernetes с дополнительными функциями
- Portainer - упрощенное управление Docker и Kubernetes через веб-интерфейс
В моем опыте мне два раза приходилось с ним работать:
1) В FinTech стартапе использовали k8s на GCP (managed), на нем жили Airflow, Metabase, Open Metadata, dbt, Trino, Red Panda и все Python программы, которые поднимались в контейнерах через Airflow.
2) В большом Enterprise, использовали k8s на AWS, для самого продукта (multi tenant), и локальная разработка так же велась на k8s.
Для себя я решил ограничиться сервисами контейнеров:
- AWS ECS/Fargate
- Azure Container Instances
- Google Cloud Run
Вам приходиться работать с k8s?
🌚14🐳10❤🔥4
Знаете кому AI не помогает?
Всем кто раньше топил за low/no code. Ведь там все завязано у вендора на кликанье мышкой в приятном интерфейсе.
Особенно разные BI инструменты или ETL инструменты. Сейчас можно быстрей сделать dashboard в Streamlit или Plotly, чем такой же в Tableau или Sigma BI.
Я не имею ввиду произведение искусства в Tableau. Я про обычные полезные дашбордики с bar/line charts или быстрые ad-hoc визуализации.
Даже в Looker нет удобной интеграции и нужно либо копировать руками LookML или в VSCode менять код без возможности валидации.
У меня есть пример одного инструмента, кто отлично смог встроить AI в свой процесс - это Matillion ETL. Это такой low-code инструмент, у которого всегда были проблемы с интеграцией в Git. Они добавили бота, который может теперь строить pipelines по промпту.
Зато есть у вас все аналитическое решение как код, то AI может посмотреть во все слои трансформации и подсказать, где ошибка или где можно улучшить.
Таким образом, у нас теперь любое репо превращается в low-code.
Всем кто раньше топил за low/no code. Ведь там все завязано у вендора на кликанье мышкой в приятном интерфейсе.
Особенно разные BI инструменты или ETL инструменты. Сейчас можно быстрей сделать dashboard в Streamlit или Plotly, чем такой же в Tableau или Sigma BI.
Я не имею ввиду произведение искусства в Tableau. Я про обычные полезные дашбордики с bar/line charts или быстрые ad-hoc визуализации.
Даже в Looker нет удобной интеграции и нужно либо копировать руками LookML или в VSCode менять код без возможности валидации.
У меня есть пример одного инструмента, кто отлично смог встроить AI в свой процесс - это Matillion ETL. Это такой low-code инструмент, у которого всегда были проблемы с интеграцией в Git. Они добавили бота, который может теперь строить pipelines по промпту.
Зато есть у вас все аналитическое решение как код, то AI может посмотреть во все слои трансформации и подсказать, где ошибка или где можно улучшить.
Таким образом, у нас теперь любое репо превращается в low-code.
1💯22⚡5
MWS Cloud запустил сервис GPU on-premises.
Что это такое? Компания будет устанавливать серверы с GPU необходимые для обучения и инференса искусственного интеллекта в периметре предприятий.
Посмотрел, как это работает:
• Специалисты помогают компании определить нужную ей конфигурацию серверов с GPU - можно взять готовую: доступно 7 видов карт и более 20 готовых конфигураций, можно собрать индивидуально под себя
• Серверы разворачивают на площадке компании или дата-центре MWS Cloud. Кстати, их можно и купить, и арендовать
• Установка и поддержка на всех этапах - на MWS Cloud
Полезная история для компаний, которым требуется развертывание вычислительных мощностей с графическими усилителями в закрытом контуре.
Что это такое? Компания будет устанавливать серверы с GPU необходимые для обучения и инференса искусственного интеллекта в периметре предприятий.
Посмотрел, как это работает:
• Специалисты помогают компании определить нужную ей конфигурацию серверов с GPU - можно взять готовую: доступно 7 видов карт и более 20 готовых конфигураций, можно собрать индивидуально под себя
• Серверы разворачивают на площадке компании или дата-центре MWS Cloud. Кстати, их можно и купить, и арендовать
• Установка и поддержка на всех этапах - на MWS Cloud
Полезная история для компаний, которым требуется развертывание вычислительных мощностей с графическими усилителями в закрытом контуре.
mws.ru
MWS GPU On‑premises
Продажа и аренда GPU-серверов для проектов любой сложности
🐳2
Первый раз увидел вакансию Analytics Engineer. Обычно всегда Data Engineer.
Ключевое тут - это dbt. Но как видно в компании еще есть Trino, Iceberg. В целом для отечественного рынка очень хороший стек!
Обычно разделение идет на дата инженера и дата аналитика. Что уже давно не отражает суть.
Сейчас все вакансии инженерные (vibe coding?). Просто дата инженер еще может создавать инфраструктуру для аналитического решения, а аналитик инженер строить витрины.
Главный скилл для аналитик инженера - это понимание бизнеса и общение с бизнес заказчиками. То есть вам надо построить дашборд и вам не нужно ждать пока дата инженеры соберут витрину, они могут сами сделать витрину и job для ее обновления. Роль дата инженера будет создать фреймворк для этого.
Альтернатива такому стеку (как в вакансии) будет Hadoop (HDFS, Spark, Hive) и сверху Clickhouse или Greenplum (а может быть Greenplum будет вместо Hadoop сразу).
Скорей всего компаний в РФ, которые могут себе позволить создать классное и современное решение с нуля нет. У всех свой Франкенштейн legacy, который нужно поддерживать и параллельно добавлять всякие современные улучшения.
Я возможно всей картины не вижу, поправьте меня и расскажите как на самом деле дела обстоят.
Ключевое тут - это dbt. Но как видно в компании еще есть Trino, Iceberg. В целом для отечественного рынка очень хороший стек!
Обычно разделение идет на дата инженера и дата аналитика. Что уже давно не отражает суть.
Сейчас все вакансии инженерные (vibe coding?). Просто дата инженер еще может создавать инфраструктуру для аналитического решения, а аналитик инженер строить витрины.
Главный скилл для аналитик инженера - это понимание бизнеса и общение с бизнес заказчиками. То есть вам надо построить дашборд и вам не нужно ждать пока дата инженеры соберут витрину, они могут сами сделать витрину и job для ее обновления. Роль дата инженера будет создать фреймворк для этого.
Альтернатива такому стеку (как в вакансии) будет Hadoop (HDFS, Spark, Hive) и сверху Clickhouse или Greenplum (а может быть Greenplum будет вместо Hadoop сразу).
Скорей всего компаний в РФ, которые могут себе позволить создать классное и современное решение с нуля нет. У всех свой Франкенштейн legacy, который нужно поддерживать и параллельно добавлять всякие современные улучшения.
Я возможно всей картины не вижу, поправьте меня и расскажите как на самом деле дела обстоят.
1❤🔥26🌚11 6🙉2🍌1👨💻1
Недавно изучал архитектуру AI-приложений у Microsoft при подготовке к AI-900 экзамену.
Там выделяют 4 слоя: данные, модели, вычисления и оркестрация.
Все любят говорить про модели. GPT, fine-tuning, prompt engineering. Но никто не говорит про слой данных.
А ведь слой данных - это основа, без него ваша крутая модель просто не работает.
Что включает слой данных:
- Структурированные данные (SQL, PostgreSQL)
- Неструктурированные данные (документы, изображения)
- Потоковые данные в реальном времени
У Microsoft для этого есть Cosmos DB, Azure Data Lake. Все как сервис (PaaS), чтобы не возиться с инфраструктурой.
Дальше идет слой моделей - тут обучение, fine-tuning, версионирование.
Можно взять готовую модель (Azure OpenAI) или обучить свою через Azure Machine Learning.
Вычислительный слой - это где все крутится. Azure Functions для serverless, Kubernetes для enterprise. Тут выбор зависит от масштаба и бюджета.
И наконец слой оркестрации — связывает все вместе. API, SDK, агенты. Microsoft Foundry позволяет управлять всем из одного места.
Соотвественно у других вендоров свой набор инструментов. Недавно я рассказывал про System Design для дата инжиниринга, а AI будет свой фреймворк, который может наполняться готовыми элементами.
Все AI-проекты начинаются с "давайте сначала почистим данные”. Потому что без качественных данных модель будет выдавать мусор. Garbage in — garbage out.
Вот что реально важно в слое данных:
✅ Чистота - никаких дубликатов и ошибок
✅ Полнота - достаточный объем для обучения
✅ Актуальность - регулярное обновление
✅ Доступность - быстрый доступ для моделей
Точно такие же характеристики качества данных у традиционного хранилища данных.
В итоге получается: данные -> модели -> вычисления -> оркестрация -> AI-приложение.
Соответственно инженеры данных очень скоро могу начать готовить данные не для BI дашбордов, а для AI приложений.
Там выделяют 4 слоя: данные, модели, вычисления и оркестрация.
Все любят говорить про модели. GPT, fine-tuning, prompt engineering. Но никто не говорит про слой данных.
А ведь слой данных - это основа, без него ваша крутая модель просто не работает.
Что включает слой данных:
- Структурированные данные (SQL, PostgreSQL)
- Неструктурированные данные (документы, изображения)
- Потоковые данные в реальном времени
У Microsoft для этого есть Cosmos DB, Azure Data Lake. Все как сервис (PaaS), чтобы не возиться с инфраструктурой.
Дальше идет слой моделей - тут обучение, fine-tuning, версионирование.
Можно взять готовую модель (Azure OpenAI) или обучить свою через Azure Machine Learning.
Вычислительный слой - это где все крутится. Azure Functions для serverless, Kubernetes для enterprise. Тут выбор зависит от масштаба и бюджета.
И наконец слой оркестрации — связывает все вместе. API, SDK, агенты. Microsoft Foundry позволяет управлять всем из одного места.
Соотвественно у других вендоров свой набор инструментов. Недавно я рассказывал про System Design для дата инжиниринга, а AI будет свой фреймворк, который может наполняться готовыми элементами.
Все AI-проекты начинаются с "давайте сначала почистим данные”. Потому что без качественных данных модель будет выдавать мусор. Garbage in — garbage out.
Вот что реально важно в слое данных:
✅ Чистота - никаких дубликатов и ошибок
✅ Полнота - достаточный объем для обучения
✅ Актуальность - регулярное обновление
✅ Доступность - быстрый доступ для моделей
Точно такие же характеристики качества данных у традиционного хранилища данных.
В итоге получается: данные -> модели -> вычисления -> оркестрация -> AI-приложение.
Соответственно инженеры данных очень скоро могу начать готовить данные не для BI дашбордов, а для AI приложений.
Surfalytics
🎯Ultimate cheatsheet for Data Engineering System Design interview.
Because 'It Depends' Is a Valid Answer (But You Still Need to Know What It Depends On)
💯29❤🔥13
This media is not supported in your browser
VIEW IN TELEGRAM
Данные — сырьё для гипотез. А без гипотез не получится успешный продукт.
В VK аналитики помогают продуктам говорить на языке пользователей. Узнайте, как принципы помогают VK превращать гипотезы в фичи и чем гордятся команды. Переходите по ссылке — вдохновляйтесь и присоединяйтесь.
В VK аналитики помогают продуктам говорить на языке пользователей. Узнайте, как принципы помогают VK превращать гипотезы в фичи и чем гордятся команды. Переходите по ссылке — вдохновляйтесь и присоединяйтесь.
Google Antigravity — это новая, бесплатная IDE.
Это прямой конкурент других AI IDE, таких как Cursor.
https://antigravity.google
Go тестировать⛷
Это прямой конкурент других AI IDE, таких как Cursor.
https://antigravity.google
Go тестировать
Please open Telegram to view this post
VIEW IN TELEGRAM
Google Antigravity
Google Antigravity - Build the new way
💯27⚡5
Хотите узнать кошмар современного high-performance сотрудника?
Windows ноутбук без админского доступа, без возможности скачать программы, AI чат, AI IDE. И компьютер ложится спать каждые 15 минут без активности. Даже, чтобы скачать Python или Git нужен запрос в help desk, согласование безопасностью и ожидание несколько дней.
Получается уже не high-performance.
А ведь раньше все как-то обходились без всего этого.
Windows ноутбук без админского доступа, без возможности скачать программы, AI чат, AI IDE. И компьютер ложится спать каждые 15 минут без активности. Даже, чтобы скачать Python или Git нужен запрос в help desk, согласование безопасностью и ожидание несколько дней.
Получается уже не high-performance.
А ведь раньше все как-то обходились без всего этого.
2🙈68💯45🌚15😭5🤷2