Сегодня узнал, что у StackExchange есть свой SQL интерфейс - Stack Exchange Data Explorer, который дает доступ к данным StackExchange.

Очень удобно использовать для собеседований или просто потренироваться пописать запросы. В качестве back-end используется Microsoft SQL Server.

Есть и tutorial.

История на картинке:

Ребята кайфовали на работе от Snowflake, Databricks и других популярных и приятных в использовании решений.

А потом им сверху сказали: “Ребятушки, сейчас заживём, внедряем Microsoft Fabric + Purview”.

Ребятушки в шоке. Power BI ещё куда ни шло, норм инструмент, а вот Fabric, Synapse, Purview — это уже издевательство над инженерами и архитекторами.

Это действительно так. При мне в Microsoft выкатили Synapse и заставили всех внутри перейти с Databricks на Synapse. Это была такая боль для инженеров. Так ещё и сам Synapse был DOGFOOD (так называется internal release любого решения в Microsoft).

Потом я даже был в продуктовой команде Synapse и как раз трудился над созданием Fabric. Purview развивался параллельно.

Пользователи Power BI были в восторге — теперь они могут сами (с усами) строить Lakehouse, pipelines, и вообще там всё само работает (SaaS).

Я уже давно приметил, как работает продажа решений Microsoft. Мне это видится примерно так:
1. Компания (обычно большая, как Fortune 500) работает с Microsoft с 90-х/2000-х, и у них там всё “вась-вась” на уровне CTO/CIO/VP.
2. Сейлзы Microsoft всё время на связи и приносят “инновации” из мира технологий, просто отгружая “обещания” — data-driven, AI-driven и т. д.
3. Сверху инженерам объявляют радостные новости:
• мигрируем Microsoft on-premise в Azure,
• мигрируем SQL Server на Azure Data Warehouse,
• мигрируем Azure DW на Synapse Dedicated Pool,
• мигрируем DW на Synapse Serverless Lakehouse,
• мигрируем Synapse на Fabric.

Я, конечно, утрирую, но это моё видение. Я не знаю ни одного инженера (а я знаю очень много инженеров), кто был бы в восторге от Synapse, Fabric, Purview.

Обычно, если инженеры выбирают для себя, они могут выбрать open-source решения или коммерческие. Но никак не Fabric.

Зато у этой истории есть и положительная сторона. Если в компании внедряют Synapse/Fabric, значит, это большая жирная компания с низкой производительностью и эффективностью, и там можно затеряться. Но зарплаты там не больше. Можно удалённо штаны просиживать и своими делами заниматься.

Кстати, у Azure есть и хорошие решения:
• Azure Data Factory для оркестрации работает хорошо, если использовать API/SDK, есть возможность использовать Airflow.
• Azure Storage Accounts (аналог S3).
• Azure Databricks (считается на 50% Azure и доступен как сервис Azure).
• Snowflake on Azure (внешний продукт).

Кто-нибудь реально фигачил на Synapse/Fabrics от и до?

Миграция с Hadoop и BigQuery сэкономила 500К$ в год и +40% эффективности.

Про эффективность понятно, а вот про экономию и Snowflake обычно бывает наоборот=)

Зато белоруская компания на первой полосе, сам CEO Snowflake сказал, что обожает в танчики порубиться и с удовольствием поделился историей успеха и пригласил отечественных дата инженеров изучать Snowflake и мигрировать на data облако.

Всем привет, это была проверка на внимательность:)

Аналитики ведь должны быть внимательны!)

Зима в Британской Колумбии. Это вид из коворкинга в центре Ванкувера, где обычно по пятницам собираемся с друзьями отдохнуть от Work From Home.

Как видно в центре тут корабли, пароходы, поезда, еще есть водные самолеты и вертолеты.

AI Company Asks Job Applicants Not to Use AI in Job Applications

Anthropic, компания, создавшая одного из самых популярных в мире AI-ассистентов для написания текстов, требует от соискателей согласия на то, что они не будут использовать AI-ассистента при подаче заявки.

«Хотя мы поощряем использование AI-систем в работе для повышения скорости и эффективности, пожалуйста, не используйте AI-ассистентов в процессе подачи заявки», — говорится в тексте заявки. «Мы хотим понять вашу личную заинтересованность в Anthropic без посредничества AI-системы, а также оценить ваши навыки коммуникации без помощи AI. Пожалуйста, укажите "Да", если вы прочитали и соглашаетесь».

Вот так вот, всем продаёт свой AI, а вот на собеседовании нельзя использовать.

У меня было один раз собеседование в компания Zapier, и там прям сразу же попросили использовать AI и написать, как я его использовал для домашнего задания. Задание нужно было сделать на Databricks, и я использовал Notebooks для решения. Само задание и решение здесь - Football Teams and Competition Analytics. Им не понравилось, что я много переиспользовал ноутбуки. Хотя во всех курсах Databricks показывают примеры с ноутбуками.

├── README.md
├── __includes 
│   └── utils.py # common functions and libraries for this project
├── facts # aka Gold layer
│   ├── __includes
│   │   └── dim_facts_ddl.py
│   ├── dimensions.py
│   └── facts.py
├── football_analytics_pipeline.py
└── raw # aka Bronze Layer
    ├── __includes
    │   ├── raw_football_schemas.py # Struct Schemas for API
    │   ├── raw_tables_ddl.sql # Table DDLs
    │   └── seed_competition_list.py # Data seed for list of competitions
    ├── __tests # assertions for notebooks
    │   ├── competition_assertion.py 
    │   ├── competitions_teams_assertion.py
    │   └── teams_assertion.py
    ├── raw_football_api_competitions_ingest.py
    ├── raw_football_api_competitions_teams_ingest.py
    └── raw_football_api_teams_ingest.py

В выходные Дмитрий Фошин эксперт по Azure и Databrics из 🇵🇹, с которым мы написали 2 книжки по Azure Data Factory и сейчас заканчиваем второй релиз Snowflake Jumpstart, провел очень полезный воркшоп в Surfalytics, где мы работали с Databricks, но использовали традиционный Python подход с Wheel, Pytest. То есть это полная противоположность моего подхода с ноутбуками. Видео я загружу на YouTube. Само задание и решение можно найти здесь - Building a Databricks workflow with Python wheel tasks. Такое решение подойдет для Apache Spark в целом.

PS для Surfalytics я добавил новую фичу, такие эксперты как Дмитрий Фошин могут бесплатно присоединиться к нашему сообществу в обмен на их активность - win/win. Если у вас глобальные планы на вашу карьеру по дате, лучше места не найти, можете мне написать.

Запись утиной конференции (DuckDB) https://www.youtube.com/playlist?list=PLzIMXBizEZjggaDzjPP542En2R5SV0WiZ

У Snowflake есть бесплатные свежие курсы на курсере:
- Introduction to Generative AI with Snowflake (я как раз в процессе, ведь у меня теперь в LinkedIn Data Infrastructure for AI, то есть не отсаю от трендов)
- Intro to Snowflake for Devs, Data Scientists, Data Engineers
- Introduction to Modern Data Engineering with Snowflake

Но самое ценное в этих курсах:

Sign up for a free, 120 day Snowflake trial account
The entire course can be completed using a free, 120 day Snowflake trial account. This is the recommended way of completing the course. The instructor will also be using a trial account throughout the course.

Use the link below to create your free:

https://signup.snowflake.com/?trial=student&cloud=aws&region=us-west-2&utm_source=coursera&utm_campaign=genai1

Так намного лучше, ведь по умолчанию 30 дней Snowflake Trial.

Неожиданные поворот от Databricks - интеграция с SAP!

https://news.sap.com/2025/02/sap-business-data-cloud-databricks-turbocharge-business-ai/

Всем SAP инженерам самое время upskill сделать по 🧱

Как я понимаю в каждой второй (крупной) компании в РФ есть Greenplum.

Сегодня я как обычно смотрел профили свежих подписчиков и их телеграмм каналы и увидел свежее выступление про Greenplum. Если вы с ним не работали, я думаю подойдет для ознакомления.

https://boosty.to/magician_data/posts/7ffaec19-1419-40bb-8a2d-be22afc200f1

PS если у вас есть другие классные ссылки по GP пишите в комментах. Чтобы добавить ссылку попробуйте как код это сделать

https://kuku.ru

Всем привет!

Хочу поделится хорошей вакансией от знакомых товарищей! Я сам лично знаком с проектом, командой и данными.

Ребята ищут ML инженера, ну или data scientist, на контракт в Европе с возможностью продления или устройством в штат (удаленка), который сможет построить несколько моделей, для продукта.

Backend на Azure, в качестве аналитических инструментах есть Snowflake. Бизнес проблемы уже сформулированы и осталось найти эксперта, кто сможет построить модель для решения поставленных задач.

Кандидат уже должен иметь возможность работать за пределами России или Беларуси.

Описание по ссылке: https://careers.softeq.com/jobs/5526008-senior-lead-ml-cv-engineer

Так же компании ищет экспертов по IOS и Android разработке.

В качестве referral указывайте Виктор Козуб.