ИИ уже меняет мир, и каждый может стать частью этих перемен. Если и вы хотите создавать прорывные технологии, а не просто наблюдать за ними. Для того, чтобы преуспеть нужен крепкий фундамент – качественное образование.

Этот выбор – инвестиция в востребованность в стремительно развивающейся сфере.

Чтобы не тратить время и разбираться в чём разница между топовыми школами ИИ, присоединяйся к вебинару "Где изучать искусственный интеллект: ШАД, AI Masters, Центральный Университет?".

Лекторы:
- Юрий Дорн, к.т.н., академический руководитель AI Masters.
- Александр Дьяконов, д.ф.-м.н., профессор РАН, академический руководитель направления Data Science в Центральном Университете.

Не смотри как поезд уходит!

Записывайся по ссылке!

С развитием AI, теперь любой может стать разработчиком. Я и сам столько всего сделал, о чем раньше даже и мечтать не мог.

Недавно на радостях купил себе Cursor AI подписку и поставил Augment Code.

Но так как у меня есть хоть какой-то опыт в ИТ, я примерно понимаю как нужно работать с code repo, есть понимания безопасности (где и как хранить секреты), знаю о рисках потери персональных данных и тп.

А вот новоиспеченные ИТышники еще не знакомы, и вообще можно базу проскочить и сразу по красоте @уяк @уяк и в продакшн!

А потом такие красивые истории всплывают - Cursor f*ck up my 4 months of works. Там сразу ответ предложили - “А git не пробовали?”.

Думаю нас ждет еще много таких интересных историй.

Clickhouse активно работает над поддержкой Iceberg Lakehouse.

Должно быть быстрое (performance) и недорогое (cost) решение.

В качестве демо, они используют Snowflake Polaris каталог. Раньше я писал про похожий сценарий, но с DuckDB.

https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse

Их дорожная карта на 2025: https://github.com/ClickHouse/ClickHouse/issues/74046 (мне понравилась идея создавать road map через Github Issues, прозрачно и удобно, и главное привязано к code changes)

Дата с Димой - Эпизод 1

«Дата с Димой» срез актуальных новостей из мира данных, бигтеха и аналитики как в России, так и за рубежом. Дмитрий обсуждает как технические обновления и интеграции продуктов, так и вопросы карьерного роста, менторства, рынка труда и инвестиций в IT-сфере.

Вот основные моменты:

🎙️ Запуск новой программы: Первый эпизод «Дата с Димой», где обсуждаются тренды в мире данных и аналитики.
🛠️ Обзор инструментов и вендоров: Новости об обновлениях и приобретениях продуктов (например, dbt, SDF, Clickhouse, DuckDb, Iceberg, Databricks, Confluent, SAP и другие), которые влияют на скорость и качество работы с данными.
🚀 Инновационные интеграции и миграции: Обсуждение ускорения компиляции кода, миграционных решений (например, Blade Bridge) и интеграций с потоковыми системами.
🔍 Контроль качества данных и best practices: Роль open-source библиотек и новых подходов для проверки качества данных, а также рекомендации по построению надежных data pipelines.
💡 Менторство и карьерный рост: Важность поиска хорошего ментора и следования его рекомендациям для профессионального развития.
📈 Инвестиции и динамика рынка: Обзор новостей о падении акций, массовых увольнениях в крупных компаниях (например, Meta) и переходе экспертов к Databricks.
💰 Рынок труда и зарплатные тренды: Рост зарплат опытных дата-инженеров, изменение требований к кандидатам (отказ от джуниоров в пользу специалистов) и влияние автоматизации на рынок.
🎓 Образовательные ресурсы и курсы: Новые курсы от Snowflake и другие обучающие проекты, помогающие подготовиться к работе как в России, так и за рубежом.
🌍 Глобальные тренды и удалённая работа: Обсуждение возможностей работы на международном уровне, мультизанятости и перехода на удалённые контракты («валютные удалёнки»).
🤖 Телеграм-бот Getmanch: Отмечается удобство работы с ботом от Getmanch, который помогает находить вакансии с персонализированными предложениями.

И многое другое, enjoy! 😉

Сегодня был новый релиз Claude - Claude 3.7 Sonnet and Claude Code, фокус у них на написание кода, поэтому использования плагинов для VSCode или Cursor AI явно получит буст.

И заодно термин в копилку - vibe coding - это такой кодинг на чиле. Только это уже не просто “писать код” в расслабленной и уютной атмосфере под любимую музыку, а писать код вместе LLMкой.

Всем вайбовой и продуктивной недели!

Заметил, интересную особенность, если вы работаете в компании, которая делает аксессуары для собак, что вы часть “стаи” (pack), если работаете в компании, которая делает облачное решения для фермеров, то вы часть “стада крупнорогатого скота” (herd). Были и другие примеры, я просто забыл.

Это я не придумал, это из wiki, компаний, где мне приходилось бывать. А вы часть чего?

Хорошая книжка 2020 года про технический рекрутинг - The Holloway Guide to Technical Recruiting and Hiring: Align your team to avoid expensive hiring mistakes.

Узнайте, как лучшие команды нанимают инженеров-программистов и заполняют технические вакансии.

Руководство Holloway по техническому найму и рекрутингу — это авторитетное руководство по эффективному развитию команд разработчиков программного обеспечения, написанное для менеджеров по найму, рекрутеров, интервьюеров и кандидатов. В печатное издание включён пожизненный доступ к цифровой версии с дополнительными функциями и будущими обновлениями на Holloway.com.

Наём сотрудников считается одним из самых больших препятствий для роста компании, согласно мнению большинства CEO. Менеджеры по найму, рекрутеры и интервьюеры сталкиваются с множеством вопросов: как находить кандидатов, как проводить справедливые и эффективные собеседования, и, в конечном счёте, как убедить подходящих специалистов принять предложение. Однако этот процесс часто оказывается затратным, сложным и стрессовым — как для нанимающих, так и для кандидатов.

Этот справочник станет незаменимым источником знаний для всех, кто заинтересован в создании сильных команд разработчиков. В нём собран опыт и знания ведущих специалистов — от старших инженеров и рекрутеров до предпринимателей и менеджеров по найму, которые строили команды как в стартапах, так и в крупных инженерных организациях с тысячами сотрудников.

Главный автор книги, Оззи Осман, ранее возглавлял команды по разработке продуктов в Quora, работал в Google, а также создал и продал собственный стартап. Среди других авторов — Адитья Агарвал, бывший CTO Dropbox; Дженнифер Ким, бывший руководитель отдела диверсификации в Lever; опытные рекрутеры и основатели стартапов Хосе Гуардрадо (основатель Build Talent, бывший сотрудник Y Combinator) и Алин Лернер (CEO Interviewing.io), а также более десятка других экспертов.

Процесс найма можно организовать так, чтобы он приносил пользу компаниям, сотрудникам и каждому кандидату. С правильной стратегией и практикой команды и кандидаты смогут пройти через этот непростой процесс с уверенностью и пониманием.

Спросите у своего работодателя, может ли он компенсировать покупку этой книги — это одно из самых выгодных вложений в развитие вашей команды.

Книгу я нашел по имени автора Оззи Осман, который создал новую компанию - Monarh Money, у продукта очень много положительных отзывов.

Компания Monarch Money предоставляет современную платформу для управления личными финансами. С её помощью пользователи могут объединить все свои финансовые счета в одном месте, что позволяет отслеживать расходы, оптимизировать бюджет, анализировать инвестиции и планировать финансовые цели. Платформа поддерживает синхронизацию с более чем 13 000 финансовых учреждений, обеспечивая актуальность данных.

Пользователи могут настраивать свои финансовые планы, совместно управлять бюджетом с партнёром и получать персонализированные рекомендации. Monarch Money предлагает мобильное приложение и веб-версию, обеспечивая доступность и удобство использования. Услуга предоставляется по подписке, с возможностью бесплатного пробного периода.


Мне даже присылали приглашение, чтобы я смог лучше трекать личные финансы, но дальше установки аппа не прошел.

Когда я работал в Amazon Alexa в 2018–2020 годах, Alexa казалась очень инновационным продуктом в области AI, хотя внутри использовали ML, а точнее NLP (Natural Language Processing). Я был частью исследовательской команды, и в офисе в Кембридже (MA) царила крутая атмосфера. Офис находился напротив кампуса MIT, а буквально через дорогу был Гарвардский университет.

Там же я познакомился с ребятами из Москвы, которые учились на MBA. Я даже всерьез подумывал взять саббатикал на пару лет, переехать с семьёй в Бостон (город красивый, с историей), но в итоге ушел в Microsoft Xbox. А вместо MBA мне подарили книгу The Personal MBA, где говорилось, что MBA, кроме нетворкинга, даёт мало преимуществ. А если это MBA какого-нибудь второсортного университета, то вообще беда.

Возвращаясь к Alexa (в какой-то момент у меня их было пять, и все друзья на Новый год тоже получали Alexa) — после появления ChatGPT она на его фоне выглядела просто таймером с голосовым управлением.

Летом появилась новость про интеграцию Alexa с Claude, но как-то незаметно. Да и два моих последних устройства не блистали в навыках коммуникации.

А вот в последнем демо Amazon представил Alexa+, которая доступна подписчикам Amazon Prime и поддерживает Claude и Amazon Nova.

В общем, наконец-то случилось то, чего я так ждал: Alexa поумнела и теперь может днями напролёт общаться с Yandex Алисой про политику без нашего участия. 😝

Статьи для контекста:
- Introducing Amazon Nova, our new generation of foundation models
- How Amazon rebuilt Alexa with generative AI

PS На картинке Alexa Show 21.

Дата с Димой | Новости из мира BigTech | Эпизод 2

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.

Некоторые из тем:

🔹 Notion вместо Google Slides для презентации выпуска и обмена кодом 📋
🔹 Databricks, Snowflake, DBT 🚀
🔹 AI, Open Source и рынок труда – увольнения, вакансии и новые возможности 🤖💼
🔹 Почему быть кринжовым полезно для карьеры? 😂
🔹 Опыт vs софт-скилы 🧠💬
🔹 Бенчмаркинг TPC-C 📊
🔹 Liquid Partitioning в Databricks 🏗️
🔹 Snowflake и оптимизация затрат 💰☁️
🔹 Стриминг в Spark и его реальные кейсы 📡🔥
🔹 Госорганизации и дата-центры – как западный BigTech работает с государством 🏛️🔐
🔹 Metabase, BI-аналитика и скорость обновлений 📈⌛
🔹 Интеграция OpenAI в Snowflake 🤯
🔹 DBT и Slack – проблемы интеграции и поиск решений 🤷‍♂️
🔹 Data Contracts – зачем они нужны инженерам данных? 📜
🔹 Blue Green Deployment в инжиниринге данных 🟢🔵
🔹 IBM + DataStax – новое объединение гигантов 🏢
🔹 Квантовые компьютеры от Microsoft ⚛️
🔹 Amazon Alexa и агенты – будущее голосового управления 🎙️
🔹 AI для миграции старых технологий 📼➡️🚀
🔹 Поиск работы, вакансии и эквити 💼💵
🔹 LLM и их ограничения – правда о нейросетях 🤖⚠️
🔹 Greenage – новый Open Source проект вместо Greenplum 🌱

Timecode я тоже добавил, ну как добавил:
1) Яндекс браузер умеет давать Summary и временем и описанием
2) Chatgpt пишет timecode для YouTube, и заодно много bullet points

Отличная альтернатива ручного труда.

PS ссылка на rutube

PPS некоторые из ссылок

1. https://assets.amazon.science/24/3b/04b31ef64c83acf98fe3fdca9107/why-tpc-is-not-enough-an-analysis-of-the-amazon-redshift-fleet.pdf
2. https://select.dev/posts/snowflake-dynamic-tables
3. https://dataengineeringcentral.substack.com/p/lord-have-mercy-apache-xtable
4. https://medium.com/glassdoor-engineering/data-quality-at-petabyte-scale-building-trust-in-the-data-lifecycle-7052361307a4
5. https://vutr.substack.com/p/8-minutes-to-understand-presto
6. https://wherobots.com/apache-iceberg-and-parquet-now-support-geo/
7. https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse
8. https://www.ibm.com/new/announcements/ibm-to-acquire-datastax-helping-clients-bring-the-power-of-unstructured-data-to-enterprise-ai-applications
9. https://www.anthropic.com/news/claude-3-7-sonnet
10. https://newsletter.pragmaticengineer.com/p/software-engineering-job-openings
11. https://www.reddit.com/r/leetcode/comments/1isriaz/how_i_cheated_my_way_into_faang_interviews_and/
12. https://huggingface.co/learn
13. https://www.sqlnoir.com/
14. https://www.notion.so
15. https://slavlotski.com/all/kniga-osnovy-inzhenerii-dannyh-glava-2-zhiznenny-cikl-data-inzhe/

Rutube жжет, может новую фичу тестируют 🙈 (рандомный канал под видео)

Ах, тут подсказали - это уличная магия в действии 🪄