350к $ в год на расходы - хороший F.I.R.E. в Калифорнии. Вообще смотрел, надо накопить 5млн $ кешем, и уже жить на дивиденды, хотя если средний рост 5%, то 250к в год это прям не густо. Кто-то мне говорил про 2млн CAD для Торонто (наверно наивная оценка). Я сам не планирую FIRE, так как расходы высокие на детей и на жизнь, но всегда интересно смотреть на цифры - Your Neighbors Are Retiring in Their 30s. Why Can’t You?

Идея не работать на дядю очень классная, и работать на себя и в своем режиме тоже замечательно. FIRE это не про сидеть на диване и ничего не делать, это больше про свободу. А свобода стоит денег, так что надо много работать и учиться. А там уже как повезет🚣

Есть у кого инфа про FIRE или планы ранней пенсии?

Заменит ли нас AI?:) https://youtube.com/shorts/eJMD575FZtM

Сделайте доброе дело, поставьте like на YouTube 😐

Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.

Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации.

Вроде знания и диплом есть, а как применить их не понятно. В Ванкувере есть 2 универа SFU, UBC и у обоих есть такие программы и я встречал много студентов (у меня даже есть в Surfalytics), кому очень сложно найти работу, потому-то они часто учат теорию в отрыве от реальности, у них нет контекста. И чем дальше, тем сложней понять, что нужно учить, что говорить на собеседовании, и что писать в резюме.

У кого сколько сертификатов?

У меня был знакомый у кого было больше 115 сертификатов, и он продолжал учиться и сдавать еще больше. Вопрос всегда один и тот же, если такой умный, то почему такой бедный🍟

Уже пару месяцев как закончил книгу "Freakonomics" (в русском переводе "Фрикономика"), написанная Стивеном Левиттом и Стивеном Дабнером, которая исследует экономические принципы в нестандартных ситуациях и предлагает неожиданные объяснения повседневных явлений.

Основные идеи книги включают анализ экономических и социальных проблем с применением нетрадиционных подходов и методов.

Основные идеи книги:

Экономика всего вокруг: Левитт и Дабнер показывают, что экономические принципы можно применить к любым аспектам жизни, от преступности до образования.

Влияние стимулов (incentives): Главная идея книги — поведение людей сильно зависит от стимулов, которые они получают.

Неожиданные связи: Выявляют неожиданные связи между, казалось бы, несвязанными явлениями, такими как снижение уровня преступности и легализация абортов.

Использование данных: Важность анализа данных и использования статистики для получения достоверных выводов.

Для меня книга особенно запомнилась примерами стимулов (incentives).

- Экономические стимулы: Это финансовые или материальные выгоды, которые мотивируют людей к определенным действиям.
- Социальные стимулы: Это общественные и культурные факторы, которые влияют на поведение.
- Моральные стимулы: Это внутренние убеждения и ценности, которые мотивируют людей к действиям, основанным на их этических принципах.

Стимулы очень хорошо ложатся на нашу работу.
Почему новые инженеры работают лучше, чем старые?(кто уже 1-2 года в команде, вот сегодня например уволили такого человека, хотя я сам был таким человеком в прошлом году и скоро расшарю свой PIP документ).

Почему одни инженеры работают хорошо, а другие плохо? (Ведь часто дело не в зарплате)

Почему одни активно учатся и развиваются, а другие нет?

Почему одни пишут хорошие комментарии, а другие пишут плохие?

У меня теперь на любой вопрос 1й ответ это incentive. Вообще вся движуха рабочая это про incentives. Либо они есть, либо нет.

Мне кажется менеджеры особенно тщательно стараются придумать “стимулы” для своих команд🚣

Давненько у меня не было 🔥

Если раньше софт был неповоротливый и большой типа Enterprise BI - SAP Business Objects, который при обновлении может сломаться, если например интернет отвалится во время установки. У меня было такой случай https://t.me/rockyourdata/4385 и там же я описал про Looker, который я тоже сломал.

Вчера я решил попробовать что-то новое. У нас есть GCP Kubernetes engine, и с помощью helm charts там задеплоено вообще все. В моем случае у нас был очень интересный кейс использования Airbyte backend базы данных. Исторически эта база данных использовалась как часть хранилища данных. Удобно же, Airbyte читает данные из Amplitude и пишет сама в себя, и потом с помощью Trino мы можешь кверить данные. Но не тут-то было, одна из таблиц этой внутренней базы данных содержит все пароли в открытом доступе и доступна через BI слой (metabase).

Если вы не знаете, что такое Airbyte - то это набор конвекторов, например извлечь данные из SalesForce и загрузить в хранилище данных. Платный аналог Fivetran, бесплатный Metabase. Такие экстракторы необходимы, если вы работаете с dbt.

В общем очевидно, что надо фиксить пароли, и решение было добавить Google Cloud Secrets, чтобы туда сохранялись все пароли, согласно документации.

У нас есть staging среда, которая уже давно сломана. Сам я пока не очень с helm charts, вроде бы идея простая, это просто YAML файлы, которые описывают Kubernetes, но выполняются они через Ansible. Ох уж эти DevOps штуки и Open Source, каждый раз, как в первый класс.

В общем по классике, часов в 11 вечера, перед сном, я решил попробовать первый раз что-нибудь сделать с Airbyte Staging, но случайно выполнил команды, которая просто деплоит helm charts для Production.

Это чудо, начало скачивать обновления, новую версию Airbyte, новую версию helm charts, и все это деплоить, а там наверно 6 разных контейнеров с Airbyte сервисам. Ну и конечно все упало. Очевидно, что это проблема, потому что мы же используем Airbyte db как хранилище данных для важной отчетности, и реплицируем данные, которые тоже важны для отчетности.

В итоге до 2х ночи с помощью ChatGPT4o я изучал Airbyte, Helm Charts, GCP Kubernetes Engine. И действительно, выучил много, больше, чем за последние 4 месяца.

Проблем было много:
- Часть проблем решил, откатив helm chart Revision к последней успешной

- Потом оказалось, что Airbyte используют параметры в ConfigMap и Secrets, которые не хранятся в helm-charts, и были прописаны вручную и при обновлении заменены.

Изначальные параметры и их значения пропали, и вообще он почему-то хотел S3 параметры, а не GCP. Методом научного тыка, с помощью CLI “kubectl” я смог с 40го раза подобрать нужную конфигурацию параметров и все Pods запустились

- Даже смог залогиниться, но внутри ничего не работало. Оказалось, что это чудо при обновлении еще стал писать в backend базу данных (GCP CloudSQL) и последний штрих был откатить базу, но это уже kudos моему коллеге на Филиппинах, у него как раз был день. Узнал я про это утром, хотя когда шел спать, уже ментально был готов закончить работу в этой компании🙃 А утром оказалось, что все работает. Значит еще не время.

В общем, такой вот вечер из жизни дата инженера. Я думаю многим вообще не понятно, про что я пишу. Если честно, мне самому не очень понятно. В этом и заключается работа инженера, чтобы разобраться, сломать, починить. Желательно знать еще best practices.

Тем не менее получен ценный опыт, еще одна история про продакш. Можно наверно, сказать - “если я ломаю продакшн, значит я живу работаю”.

Теперь очевидные вещи:
- всегда делайте back up
- не делайте update критических вещей вечером
- оцените риски, вы готовы потерять работу? (Это конечно крайне сложно, обычно это норм - ломать, чинить, учится. Но если вас хотят скинуть или посадить на PIP, то самое то)
- лучше делать такие вещи вместе с коллегой, у кого есть опыт в этом
- неплохо бы попрактиковаться на “кошках”, у меня так и лежат в закладках курсы по Kubernetes + ansible + helm charts, я даже в самолет себе загрузил на прошлой неделе, но смотрел сериал Fallout в итоге😝