Попался пост чувака, кто стал L7 в amazon (Principal DE) после 6 лет как L6 (Sr DE). Это крутой результат, но читая его promo summary (скрин приложил) звучит уж совсем банально и просто (относительно просто).

Мне кажется, так про себя может любой написать, про пользователей, про ТБы данных, про выступления на конференциях, и про конкурсы с плакатами и тп. Все это bullshit.

Что на самом деле работает - в Амазоне много больших и маленьких команд, многие из них это как страртапы.

Вот придумал продукт менеджер идею и получил на нее бюджет и хедкаунт.

Дальше по классике берет SDE, DE, DS, BI и погнали.
М
ного проектов загибаются, а какие-то вырастают в большие организации, как Amazon Flex (даже не знаю что это).

Поэтому как часто это бывает, нужно оказаться в правильной команде, в правильное время. Если вы первый инженер и строите простое хранилище для внутреннего пользования и ваша организация растет, то вы растете вместе с ней. Выше риск, выше награда.

Есть много примеров, когда такие организации закрывались и были сокращения и все ТБы данных шли в топку.

Из его истории видно, что он провтыкал 3 года в одной команде без результата и начал с почти 0 в другой. Там-то карта и поперла) Ну еще надо с менеджером и скип менеджером дружить.

Я видел много мего-умных людей, кто годами тащил на себе проекты и в итоге ничего.

Поэтому есть более эффективные и доступные способы растить свой доход без burnout😇

Увидел интересное репо, в котором автор собрал локальный опенсорсный стек:

Data Forge includes a complete modern data stack with industry-standard tools:

🗄️ Storage & Catalog
- MinIO → S3-compatible object storage for data lakes
- Hive Metastore → Centralized metadata catalog for tables and schemas
⚡ Compute Engines
- Trino → Interactive SQL query engine for federated analytics
- Apache Spark → Distributed processing for batch and streaming workloads
🌊 Streaming & CDC
- Apache Kafka → Event streaming platform
- Schema Registry → Schema evolution and compatibility
- Debezium → Change data capture from databases
🗃️ Databases
- PostgreSQL → Primary OLTP database (source system)
- ClickHouse → Columnar analytics database (sink)
🔄 Orchestration
- Apache Airflow 3 → Workflow orchestration
📊 Visualization & Exploration
- Apache Superset → Modern BI and data visualization
- JupyterLab → Interactive data science environment

Идеальный стек для отечественного (СНГ) дата инженера.

PS автору если интересно, может и вебинарчик провести для нас.

Новая книга про Iceberg - Architecting an Apache Iceberg Lakehouse (еще в процессе создания)

Если закончим книгу по Azure Databricks до конца года, то у меня будет супер коллекция технологий: Snowflake и Databricks - два абсолютных лидера на мировой арене аналитических систем.

Все мои книги тут: https://www.amazon.ca/stores/author/B01A5PVT2M

Слышали про FDE (Forward Deployed Engineer)?

Суть проста - инженер не сидит в офисе, а встраивается прямо в процессы заказчика, работает рядом с пользователями продукта, наблюдает реальные боли, находит обходные пути и сразу же превращает их в фичи. Так рождается инженерия на границе — между продуктом и пользователем, между R&D и реальным миром.

В мире сложных систем, AI-инфраструктуры, кастомного железа и сверхскоростных релизов «просто быть вендором» уже недостаточно. Побеждают те, кто становится партнёром и работает рядом с клиентом как часть его команды.

The FDE Playbook for AI Startups with Bob McGrew от YC Combinator.

Видео «The FDE Playbook for AI Startups» - это разговор с Бобом МакГрю (Palantir, OpenAI), где он объясняет, что такое Forward Deployed Engineer (FDE) и почему эта модель особенно важна для AI-стартапов.

📌 Основные тезисы:
- FDE соединяет продукт, инженерию и клиента - делает то, что «не масштабируется», но именно это помогает понять рынок.
- Модель родилась в Palantir, где инженеры создавали решения прямо «в поле».
- В AI-стартапах такая роль особенно важна, потому что у клиентов нет готовых шаблонов - всё приходится изобретать вместе.
- Главная сложность - не скатиться в консалтинг и вовремя превращать кастомные решения в продукт.

Давно была идея собрать все вместе про Data Engineering System Design собеседование. Они простые, если понимать фреймворк. Для себя я придумал 6 слоев, задачка за 45-55 минут рассказать красивую историю, где одно плавно переходит в другое. System Design моя самая любимая часть в собеседованиях, а вот leetcode☠️

🎯Ultimate cheatsheet for Data Engineering System Design interview.

PS если есть возможность, то с вас like в Linkedin.

Пример современного аналитического решения с duckdb.

В свежей статье - State of the software engineering jobs market, 2025: what hiring managers see

Observations by 30+ hiring managers and tech recruiters about what’s happening: a flood of inbound applications means more selective hiring, there’s increased demand for product engineers, and more

Основные тезисы:

Наводнение откликов. Более 1000 кандидатов на одну вакансию — не редкость. LinkedIn Jobs стал местом для низкокачественных входящих заявок, из-за чего некоторые компании отказываются от его использования.

Мало наймов через входящие заявки. Несмотря на огромное количество откликов, большинство инженеров компании нанимают через прямые обращения и рекомендации.
Сложно найти действительно сильных кандидатов. Хотя заявок много, выдающиеся инженеры редки и часто выбирают из нескольких предложений.

Удалённая работа: больше конкуренции, меньше зарплаты? Компании, нанимающие удалённо, могут позволить себе нанимать лучших инженеров на 10–15% дешевле, чем раньше.

Фейковые кандидаты и ИИ — растущая проблема. Полностью удалённые и крипто-стартапы страдают от поддельных соискателей, которые скрывают своё местоположение и обманывают рекрутеров. Также всё чаще кандидаты жульничают на собеседованиях, используя ИИ-инструменты.

Высокий спрос на инженеров-основателей и продуктовых инженеров. В Великобритании инженерам-основателям предлагают до £200 000 ($270 000) в год плюс долю в компании. Стартапы в сфере ИИ поднимают уровень зарплат для продуктовых инженеров по всему рынку.

Ранняя стадия стартапов — свои сложности. Привлечь опытных инженеров из известных компаний по-прежнему трудно, а лучшие кандидаты часто имеют несколько конкурентных офферов.

Я почему-то думал, что на каждую вакансию - 500 кандидатов, но ставки растут. И абсолютно согласен, что среди 1000 кандидатов, может не оказаться ни одного нормального.

Если вы вдруг заботитесь об окужайщей среде, переживаете за выбросы CO2, стараетесь не летать на самолетах, не ездить на вредных электрокарах и самокатах, то для вас Google Cloud предлагает эко френдли дата центры с Low CO2.

Такого нет ни у AWS, ни у Azure, ни даже у VK Cloud.

8 июля я написал, что мне нужно инвестировать в акции Аренадата, потому что у меня канал про Инжиниринг Данных и купил 1000 акций. Делюсь успехами. Хорошо, что не миллион купил.

Make Arenadata Great Again! Через 6 месяцев проверим, как там дела.

Все таки Fivetran купил dbt Labs.

Мне кажется, они это сделали, потому что сам dbt Labs не вывозил, и экономика у них не очень сходилась.

https://www.reuters.com/business/a16z-backed-data-firms-fivetran-dbt-labs-merge-all-stock-deal-2025-10-13/

Один из самых ценных скилов работы с другими это уметь письменно излагать свои мысли и идеи.

«Если ты думаешь, не записывая, ты только думаешь, что думаешь.»

https://yewjin.substack.com/p/on-discovering-writing

Snowflake умеет делать маркетинг - DATA ENGINEERING SCHOOL

DuckDB поддерживает стриминг?!

В статье они выделяют 3 архитектурных паттерна стриминга (потоковой аналитики)

🧱 Паттерн материализованного представления (Materialized View Pattern)
Часто реализуется с помощью облачных хранилищ данных, поддерживающих материализованные представления (например, BigQuery или Snowflake).
Поток событий записывается в «сырую» таблицу, а поверх неё создаётся материализованное представление.
Этот подход обычно имеет более высокую задержку обновления по сравнению со следующими двумя, хотя точных сравнений пока немного.

⚙️ Паттерн потокового движка (Streaming Engine Pattern)
Здесь используется классический ETL-подход.
Отдельный процесс (потоковый движок) читает сообщения из источника, выполняет запросы «на лету» и сохраняет результаты в постоянной таблице.
Типичные движки — Spark Streaming, Flink, Kafka Streams и более новый Arroyo.
Такой подход часто сопровождается сложностями: управление «водяными знаками» (watermarks), состоянием, потреблением памяти при бесконечных запросах и т.п.

🗄 Паттерн потоковой базы данных (Streaming Database Pattern)
Похож на предыдущий по задержке, но значительно проще в использовании.
Потоковые базы данных вроде RisingWave или Materialize могут напрямую читать поток данных и обновлять материализованное представление «на лету».
Они стремятся сохранять ACID-консистентность и позволяют клиентам выполнять запросы через PostgreSQL-совместимый протокол.

Согласно статье, DuckDB поддерживает 1й и 2й вариант. Так же можно напрямую писать запросы к Кафке через Tributary Extension.

Как сэкономить на миграции в S3?
При реорганизации инфраструктуры компании часто платят за перенос данных дважды — за исходное хранилище и трафик, запросы и новое хранилище.

👉Selectel запустил «миграционные каникулы» для S3. 30 дней без оплаты хранения и входящих запросов, чтобы вы смогли подготовить инфраструктуру и спокойно перенести данные без лишних трат.

S3 от Selectel:
📦 Подходит для хранения бэкапов, данных приложений, ML-датасетов и работы с аналитикой;
💸Помогает сэкономить до 30% бюджета благодаря разным классам хранилища;
📍Катастрофоустойчиво засчет работы на базе дата-центров в Москве и Санкт-Петербурге.
Оформляйте заявку и пользуйтесь S3 от Selectel бесплатно в течение 30 дней:
https://slc.tl/91p1b

Реклама. АО "Селектел".erid:2W5zFJrHVXN

AI так быстро развивается, что уже не поспеть. Мне попалось два отчета про AI, там можно сразу посмотреть summary.

1. State of AI Report 2025

Основные выводы из Отчета за 2025 год:

OpenAI сохраняет незначительное лидерство, но конкуренция усилилась: Meta уступила первенство китайским компаниям DeepSeek, Qwen и Kimi, которые сокращают разрыв в задачах на рассуждение и кодирование, утверждая Китай в качестве сильного «номера 2».

Рассуждение (reasoning) стало определяющим в этом году, поскольку ведущие лаборатории объединили обучение с подкреплением (reinforcement), вознаграждение на основе рубрик и проверяемое рассуждение с новыми средами, чтобы создать модели, способные планировать, размышлять, самокорректироваться и работать на все более длинных временных горизонтах.

Искусственный интеллект становится научным сотрудником: такие системы, как Co-Scientist от DeepMind и Virtual Lab от Стэнфорда, автономно генерируют, тестируют и проверяют гипотезы. В биологии ProGen3 от Profluent показал, что законы масштабирования теперь применимы и к белкам.

Структурированное рассуждение вышло в физический мир благодаря планированию по принципу «Цепочки действий» (Chain-of-Action), поскольку воплощенные системы ИИ, такие как Molmo-Act от AI2 и Gemini Robotics 1.5 от Google, начали пошагово рассуждать перед выполнением действий.

Резко ускорилось коммерческое внедрение. Сорок четыре процента американских компаний теперь платят за инструменты ИИ (по сравнению с 5% в 2023 году), средняя сумма контрактов достигла $530 000, а стартапы, ориентированные на ИИ (AI-first), росли в 1,5 раза быстрее, чем их конкуренты, согласно данным Ramp и Standard Metrics.

Наше первое исследование практикующих специалистов по ИИ с более чем 1200 респондентами показало, что 95% профессионалов теперь используют ИИ на работе или дома, 76% оплачивают инструменты ИИ из своего кармана, и большинство сообщает об устойчивом росте производительности — это свидетельство того, что реальное внедрение стало массовым.

Началась индустриальная эра ИИ. Центры обработки данных мощностью в несколько гигаватт, такие как Stargate, сигнализируют о новой волне вычислительной инфраструктуры, поддерживаемой суверенными фондами США, ОАЭ и Китая, при этом электроснабжение становится новым ограничивающим фактором.

Политика в области ИИ еще более ужесточилась. США сделали акцент на «ИИ в первую очередь для Америки» (America-first AI), Закон ЕС об ИИ (AI Act) застопорился, а Китай расширил свою экосистему моделей с открытыми весами и амбиции в отношении отечественного производства чипов.

Исследования безопасности вступили в новую, более прагматичную фазу. Модели теперь могут имитировать выравнивание (alignment) под контролем, что вызывает споры о прозрачности в сравнении с возможностями. Между тем, внешние организации по безопасности работают с бюджетами, меньшими, чем ежедневные расходы ведущей лаборатории.

Дебаты об экзистенциальном риске поутихли, уступив место конкретным вопросам о надежности, киберустойчивости и долгосрочном управлении все более автономными системами.