Всегда интересно следить за кругами Громова, в них можно найти инструменты, которые используют компании в РФ, в данном случае про ETL.

«Круги Громова» представили новое исследование российского рынка ETL 2025

Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?

В новом исследовании «ETL Круг Громова 2025»:
🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.
🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.
🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.
🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектуры и безопасности до поддержки 1С и отечественных облаков.
🔹 Результаты выполнения вендорами тестового задания по загрузке 40 млн строк данных.

Компании поняли, что давать всем безлимитный доступ к AI помощникам может быть очень дорого и начали вводить квоту - 100$ в месяц на инженера. Я сам видел примеры таких ограничений Cursor и Claude Code.

Недавно видел кейс, когда в месяц был лимит 35к$ на команду. В итоге лимит исчерпали и CI не смог отработать и заблочил merge для всех, пришлось руками менять правила.

Поэтому картинка в тему:)

Welcome Time | Москва | 23 ноября

Яндекс организует очное мероприятие для специалистов в области аналитики и дата-сайентистов в своей штаб-квартире. Участники смогут познакомиться с особенностями работы команд аналитики в масштабном ecom-проекте.

Что вас ждёт на встрече:
💬 открытый диалог с экспертами Яндекса — задавайте любые вопросы;
💬 разбор реальных кейсов из практики Яндекса;
💬 погружение в мир e‑com аналитики: от товарной базы до продуктовой аналитики в Поиске;
💬 диагностика навыков, которую, при успешном прохождении, на 2 года засчитают как техническую секцию.

👉 Чтобы попасть на встречу, заполните форму по ссылке. Подробности о мероприятии на сайте.

Аналитика — это не только цифры, но и люди, которые ими живут. Приходите пообщаться и обменяться опытом.

Интересная статья - LLMs: The Illusion of Thinking, в которой рассказываю про LLM и насколько это далеко от реального искусственного интеллекта. Некоммерческие лидеры мнений тоже про это говорили.

LLMs: The Illusion of Thinking — краткое резюме
1 LLM создают иллюзию мышления, но не обладают пониманием, сознанием или намерением.
2 Они предсказывают слова по статистике, а не рассуждают логически.
3 Галлюцинации и уверенная ложь — системная проблема всех моделей.
4 На сложных задачах (пример: Tower of Hanoi) модели полностью ломаются, даже если знают алгоритм.
5 Chain-of-Thought не является реальным мышлением — часто рассуждения неверные, но ответ случайно правильный.
6 LLM путают факты и смешивают источники (пример: объединение двух разных авторов).
7 В программировании LLM часто создают “циклы безумия”, когда исправления снова вводят ошибки.
8 Бенчмарки, которыми хвастаются создатели моделей, сильно завышены и некорректны.
9 В образовании растёт проблема массового списывания, ценность дипломов падает.
10 LLM — полезны как ассистенты, но должны применяться только с внимательным контролем человека и не являются AGI.

Возможно и правда GenAI в текущей реализации нас не заменит, но очень помогает делать свою работу лучше. А как вам кажется?

Полезная статья - What It Really Takes to Move From Senior to Staff Data Engineer. Staff в РФ не очень распространено. Я знаю Т-Банк активно развивает это направление. Но по факту team lead это тот же staff инженер. Я работал как Staff DE 3 года и прочитал базовые книжки про Staff Engineer, их всего 2: The Staff Engineer's Path и Staff Engineer.

Как обычно перевод и summary от AI. Сегодня это Raycast и Antropic API key. В последнее время я решил заморочиться на всякие горячие клавиши и спустя больше чем 10 лет прошел с touchpad на мышку Logi MX Master 3s. Надоело флексить с тачпадом и теперь у меня мышка с множество горячих клавиш и одна из них как раз AI чат. У Logi даже есть утилитка для chatGpt, чтобы редактировать свои сообщению в нужный стиль.


Эта статья — интервью с Брайаном Фемиано, staff data engineer в Apple, о том, что реально нужно для перехода с уровня Senior до Staff Data Engineer.

Основные темы:
1. Карьерный путь
• Брайан занимается data engineering почти 20 лет, 9 из них на уровне staff
• Ключевой момент карьеры: когда он взял на себя организацию работы (JIRA, документация, разблокировка коллег, коммуникация со стейкхолдерами)


2. Разница между Senior и Staff
Это не резкий переход, а постепенное развитие:
• Senior может оставаться в зоне комфорта и хорошо выполнять задачи
• Staff развивает некодинговые навыки, которые делают других разработчиков лучше:
▪ Создание диаграмм систем и runbook'ов для on-call
▪ Хорошие отношения с продуктовыми командами
▪ Понимание влияния изменений на другие команды
• Staff приходится чаще переключаться между контекстами в течение дня


3. Заблуждения о Staff титуле
❌ Что вам НЕ нужно:
• Быть самым талантливым разработчиком в команде
• Вписываться в "архетипы" как классы в RPG
• Прыгать между работами для получения титула


4. Главные блокеры для перехода в Staff
• Плохая коммуникация или агрессивность
• Негибкость, неспособность видеть большую картину
• Чрезмерная фокусировка на инструментах/языках
• Не строить системы для долгосрочного здоровья и качества


5. Сигналы, которые нужно показывать
• Менеджеры и коллеги знают, что вы мыслите холистически о системах
• Оформляете мысли в диаграммы и хорошо принимаете фидбек
• Поддерживаете команду во время кризисов
• Делаете себя незаменимым, но НЕ через силосное знание или постоянный героизм


6. Технический дизайн и системное мышление
Процесс проектирования:
• Сразу рисуйте диаграммы
• Что уже существует и может помочь?
• Довольны ли мы этими системами или это шанс рефакторить?
• Какой минимальный набор новых возможностей нужен?
• Можем ли использовать существующие библиотеки?
• Есть ли узкие места при росте нагрузки?
• Нужно ли постоянное ручное внимание или это автоматизировано?
Что делегировать:
• Лиды не должны быть на критическом пути
• Если берете слишком много — задерживаете проект и лишаете команду роста
• Доверяйте важные области команде
• Помогайте избежать перегрузки
Пример простого решения:
В Pandora хотели уведомлять артистов о добавлении песен в плейлисты. Вместо real-time email (много компромиссов), после обсуждения с продуктом поняли, что артистам не нужен real-time. Построили минимальный набор компонентов для батчевой отправки. Работает до сих пор.


7. Коллаборация и коммуникация
С менеджментом:
• Будьте лаконичны и своевременны
С продуктом:
• Задавайте вопросы, делайте заметки
• Повторяйте их слова своими словами
С инженерами:
• Давайте детали и ясность
• Повторяйте много раз при необходимости
• Проявляйте терпение
Создание комфортной среды:
• Будьте дружелюбны и не осуждайте
• Приоритизируйте помощь для разблокировки
• Давайте кредит коллегам за их идеи
Design docs:
• Начните с 3-5 предложений: что строим и какая бизнес-польза
• Укажите всех вовлеченных
• Фокус на диаграммах, показывающих как части соединяются
• Важна не красота, а легкость понимания

8. Будущее data engineering
• Роли будут требовать знания языков за пределами Java/Scala/Python/SQL
• Компании понимают, что проблемы не в объеме, а в governance и качестве данных
• Эволюция open table форматов
• GenAI не заменит junior-ов — младшие инженеры лучше работают с ИИ и учат seniors

Ключевая мысль:
Staff engineer имеет "outsized impact" (непропорционально большое влияние). У всех одинаковое количество часов, и все кодят с примерно одинаковой скоростью. На определенном уровне важнее становится ЧТО вы кодите, а не скорость:
• Находить проекты, двигающие бизнес вперед
• Помогать бизнесу убирать неопределенность
• Предотвращать выбор решений, которые будут стоить миллионы и потребуют миграции через 18 месяцев

Мне очень понравились рекомендации, и я полностью с ними согласен. Очень четко сказано, что важно быть гибким и мягким. С этим сложно, если у вас низкий порог терпимости к глупости коллег и не хватает терпения на бюрократию. Но, к сожалению, уже давно факт, что в корпоративной культуре любят не умных/быстрых, а удобных и послушных. Надо быть такой нянькой-душкой и медленно, но верно продавливать свою позицию и заручаться поддержкой коллег.

То есть при желании можно вырасти до уровня Staff, но вам придется переступить через свое эго.

И тут еще возникает одна загвоздка — финансовое вознаграждение. Давайте посчитаем на примере канадского рынка. Staff data engineer — зарплата $250k в год. При этом вам все будут говорить: "Ну ты же Staff, ты должен и то, и это" — и надо тащить. Ведь обычно позиция Staff встречается в больших организациях со сложной оргструктурой, и там за 5 минут уже ничего не накодить. Любое изменение — это боль и множество встреч и согласований, очень часто без common sense. Иными словами, ожидания высокие, а работу сложно измерить в строчках кода, метриках или еще чем-то. И обычно расти после Staff особо некуда, скорее всего это в people manager, но туда можно и сразу перейти без Staff.

А вот возьмите Senior DE. Вилка $160-180k в год. Как правило, скоуп понятен — берешь и делаешь. И еще остается много времени на личные проекты или внешние проекты, где вы можете заработать еще столько же — $160-180k в год. Поэтому вот не все так однозначно.

Но если вы Staff в FAANG, то там кроме базы у вас появляется жирный бонус, и чем выше грейд, тем выше бонус. И сама организация достаточно большая, чтобы был хороший impact. Поэтому у всех есть выбор — зарабатывать деньги или отправиться в корпоративное приключение в поисках карьерной лестницы.

https://github.com/mfontanini/presenterm

Наконец можно и презентации делать в Markdown

Snowflake уже настоящая unified платформа с возможностью грузить данные из API.

Так и fivetran не нужен будет. И еще в Snwoflake можно хостить бесплатно dbt core и создавать крутые Python Apps на Streamlit (BI). ML и AI там тоже есть.

dltHub - инструмент для интеграции данных (open source). Он не очень популярный, но про него всегда отзываются хорошо. Был бы там еще коннектор к 1С, было бы совсем замечательно.

Они выпустили классный курс - Deploy dlt pipelines, в котором показывают как пользоваться dlt с Airflow, Prefect, Dagster, Modal, Kestra (инструменты оркестрами)

Так же есть и базовые курсы:
dlt Fundamentals
dlt Advanced
Freecodecamp: Data Engineering with Python and AI

Кто-нибудь использовал в продакшн?

Недавно появился новый тренд. Точнее он появился давно, но о нем стали говорить лидеры AI - дата центр в космосе.

Уже одна компания Star Cloud (backed by Nvidia и Sam Altman) запустила свой первый спутник с GPU, есть и другие игроки на рынке, кто делает bet на космические дата центры, так как на земле не хватит энергии для AI.

Примеры из новостей и игроки:
- Starcloud-1 satellite reaches space, with Nvidia H100 GPU now operating in orbit
- Интервью CEO Starcloud
- Exploring a space-based, scalable AI infrastructure system design от Google Research
- How I told a CEO his data centre was obsolete.
- Jeff Bezos Creates A.I. Start-Up Where He Will Be Co-Chief Executive
- Elon Musk is making it clear that the only path to the kind of energy AI will need is space.

Построить дата центр в космосе звучит нереально. Но также говорили про многочасовые ракеты, спутниковый интернет и многое другое.

Как вы думаете, какие уникальные кейсы могут быть в космосе с использованием вычислительных мощностей и GPU?

Например есть известная компания Varda, которая был backed by Питер Тиль. Это компания решает уникальные проблемы - забирает материалы на земле и дальше работает с ними в космосе, так как в космосе состав материала изменяется и его можно дальше изучать, на земле такое просто не возможно.

Вот это я понимаю народные цены. Ваше капучино дороже стоит, чем час с реальным дата инженером.

Источник TopMate, где инженеры из Индии учат других инженеров за еду доллары.

Хорошая статья - 3 levels of writing. Напоминает нам о важности использовать свой мозг.

…
Во-первых, ИИ останется с нами надолго. Мы должны использовать ИИ очень осознанно. Не меняйте свой долгосрочный рост на краткосрочную продуктивность.

В мире, где все заняты тем, что используют ИИ для всей своей работе, будьте тем, кто использует мозг.

Так же, как и мышцы, тренировка мозга требует целенаправленной практики.
ИИ может помочь с исследованиями, корректировкой тона и проверкой ваших предположений.

Но не заблуждайтесь, есть большая ценность в том, чтобы делать вещи "вручную" ради себя самого. Вы можете выбрать ходьбу пешком, даже если у в
ас есть машина. Это занимает больше времени, но долгосрочная польза для здоровья того стоит.

Кремниевый мозг раз за разом показывал, что может превзойти углеродный мозг: Deep Blue, AlphaGo, Watson и многие другие, которые появятся, поскольку массивные инвестиции в ИИ обязательно принесут результаты.

Но это неважно. Это не соревнование.
В эпоху массово производимого, персонализированного и "глубоко подделанного" синтетического контента вам понадобится ваш мозг в отличной форме.

Забудьте об отличной форме.
Просто поддерживайте его в текущей форме, и вы будете самым умным: 😂

❌️ Результат работы ИИ часто ленивый, низкого качества и лишён опыта и мнения. Вы можете настроить промпт, чтобы придать ему больше характера, но это просто подделка следующего уровня.

✅️ Так же, как мышцы, мозг становится сильнее с тренировкой и использованием. Самая непосредственная опасность ИИ не в том, чтобы забрать наши рабочие места, а в том, чтобы сделать нас глупыми!

✅️ Отключайте автопилот, чтобы заставить себя думать. Поднимайтесь по лестнице, когда можете.

✅️ Используйте традиционные поисковые системы, чтобы находить ответы на проблемы и решения других людей, потому что это расширяет ваш разум и знакомит вас с более широким спектром идей, чем LLM будет кормить вас с ложечки.

✅️ Читайте книги, блоги и т.д., чтобы узнать, как другие решали проблемы, вместо того чтобы полагаться на ИИ, который пережёвывает коллективную мудрость для генерации красиво выглядящих решений.

✅️ И самое важное, пожалуйста, пожалуйста, пожалуйста, не выдавайте результат работы ИИ за свою работу. Это не только обманчиво и нечестно, но те, кто обладает критическим мышлением и не "припарковал свой мозг", видят это насквозь.

Вы можете думать, что действуете умно, используя ИИ для эффективности, но 1) товар массового производства — это не преимущество, 2) то, что вы делаете со своим мозгом, эквивалентно потреблению ультра-обработанной пищи!

По иронии судьбы, по мере повышения качества результатов работы ИИ, способность критически мыслить и связываться с человеческой стороной решения проблем становится ещё более важной.

В битве между машинами и людьми всегда принимайте сторону людей. Люди следуют за людьми, покупают у людей и строят глубокие отношения с людьми. Всегда будут анекдотичные исключения (как японка, которая недавно вышла замуж за свой ИИ), но я ставлю против того, что такое поведение станет массовым.

ИИ — отличный инструмент. Он помогает быстрее достигать результатов. Он генерирует массивный синтетический результат за долю времени, которое требуется для органического производства.

Но когда дело доходит до итога, ему нужна система ценностей. А ценности создаются людьми. ИИ можно обучить генерировать ценности, но ИИ — это не мы: его вычислительная мощность не ограничена черепом, у него нет тела с нашими потребностями и желаниями.
…