Не знаю насколько это новинка или нет, но народ говорит прям must have!


Компания: Что вы сделали в этом году, чтобы принести пользу? Укажите все соответствующие метрики.

Я: Я ускорил сборку кода на 90%, сэкономив время разработчиков и расходы на тестирование.

Компания: Вау, как вам это удалось?

Я: Бесчисленные часы оптимизации.

Я [в реальности]: s/pip/uv pip 😆

Сегодня узнал, что у StackExchange есть свой SQL интерфейс - Stack Exchange Data Explorer, который дает доступ к данным StackExchange.

Очень удобно использовать для собеседований или просто потренироваться пописать запросы. В качестве back-end используется Microsoft SQL Server.

Есть и tutorial.

История на картинке:

Ребята кайфовали на работе от Snowflake, Databricks и других популярных и приятных в использовании решений.

А потом им сверху сказали: “Ребятушки, сейчас заживём, внедряем Microsoft Fabric + Purview”.

Ребятушки в шоке. Power BI ещё куда ни шло, норм инструмент, а вот Fabric, Synapse, Purview — это уже издевательство над инженерами и архитекторами.

Это действительно так. При мне в Microsoft выкатили Synapse и заставили всех внутри перейти с Databricks на Synapse. Это была такая боль для инженеров. Так ещё и сам Synapse был DOGFOOD (так называется internal release любого решения в Microsoft).

Потом я даже был в продуктовой команде Synapse и как раз трудился над созданием Fabric. Purview развивался параллельно.

Пользователи Power BI были в восторге — теперь они могут сами (с усами) строить Lakehouse, pipelines, и вообще там всё само работает (SaaS).

Я уже давно приметил, как работает продажа решений Microsoft. Мне это видится примерно так:
1. Компания (обычно большая, как Fortune 500) работает с Microsoft с 90-х/2000-х, и у них там всё “вась-вась” на уровне CTO/CIO/VP.
2. Сейлзы Microsoft всё время на связи и приносят “инновации” из мира технологий, просто отгружая “обещания” — data-driven, AI-driven и т. д.
3. Сверху инженерам объявляют радостные новости:
• мигрируем Microsoft on-premise в Azure,
• мигрируем SQL Server на Azure Data Warehouse,
• мигрируем Azure DW на Synapse Dedicated Pool,
• мигрируем DW на Synapse Serverless Lakehouse,
• мигрируем Synapse на Fabric.

Я, конечно, утрирую, но это моё видение. Я не знаю ни одного инженера (а я знаю очень много инженеров), кто был бы в восторге от Synapse, Fabric, Purview.

Обычно, если инженеры выбирают для себя, они могут выбрать open-source решения или коммерческие. Но никак не Fabric.

Зато у этой истории есть и положительная сторона. Если в компании внедряют Synapse/Fabric, значит, это большая жирная компания с низкой производительностью и эффективностью, и там можно затеряться. Но зарплаты там не больше. Можно удалённо штаны просиживать и своими делами заниматься.

Кстати, у Azure есть и хорошие решения:
• Azure Data Factory для оркестрации работает хорошо, если использовать API/SDK, есть возможность использовать Airflow.
• Azure Storage Accounts (аналог S3).
• Azure Databricks (считается на 50% Azure и доступен как сервис Azure).
• Snowflake on Azure (внешний продукт).

Кто-нибудь реально фигачил на Synapse/Fabrics от и до?

Миграция с Hadoop и BigQuery сэкономила 500К$ в год и +40% эффективности.

Про эффективность понятно, а вот про экономию и Snowflake обычно бывает наоборот=)

Зато белоруская компания на первой полосе, сам CEO Snowflake сказал, что обожает в танчики порубиться и с удовольствием поделился историей успеха и пригласил отечественных дата инженеров изучать Snowflake и мигрировать на data облако.

Всем привет, это была проверка на внимательность:)

Аналитики ведь должны быть внимательны!)

Зима в Британской Колумбии. Это вид из коворкинга в центре Ванкувера, где обычно по пятницам собираемся с друзьями отдохнуть от Work From Home.

Как видно в центре тут корабли, пароходы, поезда, еще есть водные самолеты и вертолеты.

AI Company Asks Job Applicants Not to Use AI in Job Applications

Anthropic, компания, создавшая одного из самых популярных в мире AI-ассистентов для написания текстов, требует от соискателей согласия на то, что они не будут использовать AI-ассистента при подаче заявки.

«Хотя мы поощряем использование AI-систем в работе для повышения скорости и эффективности, пожалуйста, не используйте AI-ассистентов в процессе подачи заявки», — говорится в тексте заявки. «Мы хотим понять вашу личную заинтересованность в Anthropic без посредничества AI-системы, а также оценить ваши навыки коммуникации без помощи AI. Пожалуйста, укажите "Да", если вы прочитали и соглашаетесь».

Вот так вот, всем продаёт свой AI, а вот на собеседовании нельзя использовать.

У меня было один раз собеседование в компания Zapier, и там прям сразу же попросили использовать AI и написать, как я его использовал для домашнего задания. Задание нужно было сделать на Databricks, и я использовал Notebooks для решения. Само задание и решение здесь - Football Teams and Competition Analytics. Им не понравилось, что я много переиспользовал ноутбуки. Хотя во всех курсах Databricks показывают примеры с ноутбуками.

├── README.md
├── __includes 
│   └── utils.py # common functions and libraries for this project
├── facts # aka Gold layer
│   ├── __includes
│   │   └── dim_facts_ddl.py
│   ├── dimensions.py
│   └── facts.py
├── football_analytics_pipeline.py
└── raw # aka Bronze Layer
    ├── __includes
    │   ├── raw_football_schemas.py # Struct Schemas for API
    │   ├── raw_tables_ddl.sql # Table DDLs
    │   └── seed_competition_list.py # Data seed for list of competitions
    ├── __tests # assertions for notebooks
    │   ├── competition_assertion.py 
    │   ├── competitions_teams_assertion.py
    │   └── teams_assertion.py
    ├── raw_football_api_competitions_ingest.py
    ├── raw_football_api_competitions_teams_ingest.py
    └── raw_football_api_teams_ingest.py

В выходные Дмитрий Фошин эксперт по Azure и Databrics из 🇵🇹, с которым мы написали 2 книжки по Azure Data Factory и сейчас заканчиваем второй релиз Snowflake Jumpstart, провел очень полезный воркшоп в Surfalytics, где мы работали с Databricks, но использовали традиционный Python подход с Wheel, Pytest. То есть это полная противоположность моего подхода с ноутбуками. Видео я загружу на YouTube. Само задание и решение можно найти здесь - Building a Databricks workflow with Python wheel tasks. Такое решение подойдет для Apache Spark в целом.

PS для Surfalytics я добавил новую фичу, такие эксперты как Дмитрий Фошин могут бесплатно присоединиться к нашему сообществу в обмен на их активность - win/win. Если у вас глобальные планы на вашу карьеру по дате, лучше места не найти, можете мне написать.