Инжиниринг Данных
22.4K subscribers
1.68K photos
49 videos
177 files
2.98K links
Делюсь новостями из мира аналитики и карьерными советами;)

15 лет в Аналитике и Инжиниринге Данных, 9 лет в FAANG

🛠️ dataengineer.ru

🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Всем привет, это была проверка на внимательность:)

Аналитики ведь должны быть внимательны!)
This media is not supported in your browser
VIEW IN TELEGRAM
1–2 марта проводим Weekend Offer Analytics

Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.

Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.

Узнать подробности и зарегистрироваться.

Реклама. ООО "Яндекс". ИНН 7736207543
Зима в Британской Колумбии. Это вид из коворкинга в центре Ванкувера, где обычно по пятницам собираемся с друзьями отдохнуть от Work From Home.

Как видно в центре тут корабли, пароходы, поезда, еще есть водные самолеты и вертолеты.
Ну дела у ❄️, пампили пампили дата облако, но походу оказался ROI низкий.

Как обычно бывает качество продукта тут не так важно. Инвесторам вообще пофигу и когда появляются большие инвестиции - часто вредит.

Осталось, чтобы кто-нибудь поглотил Snowflake.

Кстати, Databricks можно купить на вторичке, он в топе там.
AI Company Asks Job Applicants Not to Use AI in Job Applications

Anthropic, компания, создавшая одного из самых популярных в мире AI-ассистентов для написания текстов, требует от соискателей согласия на то, что они не будут использовать AI-ассистента при подаче заявки.

«Хотя мы поощряем использование AI-систем в работе для повышения скорости и эффективности, пожалуйста, не используйте AI-ассистентов в процессе подачи заявки», — говорится в тексте заявки. «Мы хотим понять вашу личную заинтересованность в Anthropic без посредничества AI-системы, а также оценить ваши навыки коммуникации без помощи AI. Пожалуйста, укажите "Да", если вы прочитали и соглашаетесь».


Вот так вот, всем продаёт свой AI, а вот на собеседовании нельзя использовать.

У меня было один раз собеседование в компания Zapier, и там прям сразу же попросили использовать AI и написать, как я его использовал для домашнего задания. Задание нужно было сделать на Databricks, и я использовал Notebooks для решения. Само задание и решение здесь - Football Teams and Competition Analytics. Им не понравилось, что я много переиспользовал ноутбуки. Хотя во всех курсах Databricks показывают примеры с ноутбуками.


├── README.md
├── __includes
│ └── utils.py # common functions and libraries for this project
├── facts # aka Gold layer
│ ├── __includes
│ │ └── dim_facts_ddl.py
│ ├── dimensions.py
│ └── facts.py
├── football_analytics_pipeline.py
└── raw # aka Bronze Layer
├── __includes
│ ├── raw_football_schemas.py # Struct Schemas for API
│ ├── raw_tables_ddl.sql # Table DDLs
│ └── seed_competition_list.py # Data seed for list of competitions
├── __tests # assertions for notebooks
│ ├── competition_assertion.py
│ ├── competitions_teams_assertion.py
│ └── teams_assertion.py
├── raw_football_api_competitions_ingest.py
├── raw_football_api_competitions_teams_ingest.py
└── raw_football_api_teams_ingest.py


В выходные Дмитрий Фошин эксперт по Azure и Databrics из 🇵🇹, с которым мы написали 2 книжки по Azure Data Factory и сейчас заканчиваем второй релиз Snowflake Jumpstart, провел очень полезный воркшоп в Surfalytics, где мы работали с Databricks, но использовали традиционный Python подход с Wheel, Pytest. То есть это полная противоположность моего подхода с ноутбуками. Видео я загружу на YouTube. Само задание и решение можно найти здесь - Building a Databricks workflow with Python wheel tasks. Такое решение подойдет для Apache Spark в целом.

PS для Surfalytics я добавил новую фичу, такие эксперты как Дмитрий Фошин могут бесплатно присоединиться к нашему сообществу в обмен на их активность - win/win. Если у вас глобальные планы на вашу карьеру по дате, лучше места не найти, можете мне написать.
Илон говорит о важности уникального ключа в таблице🦯
Please open Telegram to view this post
VIEW IN TELEGRAM
У Snowflake есть бесплатные свежие курсы на курсере:
- Introduction to Generative AI with Snowflake (я как раз в процессе, ведь у меня теперь в LinkedIn Data Infrastructure for AI, то есть не отсаю от трендов)
- Intro to Snowflake for Devs, Data Scientists, Data Engineers
- Introduction to Modern Data Engineering with Snowflake

Но самое ценное в этих курсах:

Sign up for a free, 120 day Snowflake trial account
The entire course can be completed using a free, 120 day Snowflake trial account. This is the recommended way of completing the course. The instructor will also be using a trial account throughout the course.

Use the link below to create your free
:

https://signup.snowflake.com/?trial=student&cloud=aws&region=us-west-2&utm_source=coursera&utm_campaign=genai1

Так намного лучше, ведь по умолчанию 30 дней Snowflake Trial.
Неожиданные поворот от Databricks - интеграция с SAP!

https://news.sap.com/2025/02/sap-business-data-cloud-databricks-turbocharge-business-ai/

Всем SAP инженерам самое время upskill сделать по 🧱
Когда-то Informatica была №1 среди ETL инструментов. Но они так и не смогли адаптироваться к современным реалиям.

Последний раз я смотрел на Informatica Cloud в 2016 году, когда нужно было строить хранилище данных на AWS, выбрал в итоге Matillion ETL (сейчас бы и его не выбрал бы).

Вот что говорит CEO информатики:

«Это был квартал, в котором мы не предвидели и не достигли тех результатов, которые планировали», — сказал Валия, подчеркнув две «основные проблемы», с которыми столкнулась компания в течение этого периода.

«Первая заключается в том, что уровень продления подписок на наши облачные и некоторые не облачные решения не оправдал наших ожиданий, что снизило показатель ежегодной повторяющейся выручки (ARR)», — пояснил он, добавив: «На самом деле, у нас было значительно больше клиентов, использующих локальные решения, которые захотели перейти на облачные технологии, но это создает учетную загвоздку, из-за которой мы теряем часть доходов от локальных решений гораздо быстрее».


Надо было лучше в Bitcoin инвестировать как Microstrategy🍷
Please open Telegram to view this post
VIEW IN TELEGRAM
Учитесь как надо посты писать в Linkedin 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
Как я понимаю в каждой второй (крупной) компании в РФ есть Greenplum.

Сегодня я как обычно смотрел профили свежих подписчиков и их телеграмм каналы и увидел свежее выступление про Greenplum. Если вы с ним не работали, я думаю подойдет для ознакомления.

https://boosty.to/magician_data/posts/7ffaec19-1419-40bb-8a2d-be22afc200f1

PS если у вас есть другие классные ссылки по GP пишите в комментах. Чтобы добавить ссылку попробуйте как код это сделать


https://kuku.ru
Forwarded from Joni in Web
This media is not supported in your browser
VIEW IN TELEGRAM
GetMatch — это сервис, который помогает IT-специалистам находить работу, а компаниям — закрывать вакансии. В отличие от классических job-бордов, GetMatch сразу показывает зарплатные вилки.

Идея «просто» автоматизировать парсер вакансий зародилась у нас с Сашей Варламовым (канал Саши @data_bar) – как часто бывает, слово «просто» стало началом чего-то действительно масштабного. Сейчас у нас есть полноценная автоматизированная система, которая ежедневно парсит вакансии с GetMatch, загружает их в PostgreSQL, тянет курс рубля и доллара, отправляет отчеты в Telegram и полностью автоматизирует ETL-процесс для аналитики в дашборде.

Поднял Airflow в docker-compose на Timeweb (не реклама, просто нравится админка), чтобы DAG’и можно было запускать и мониторить централизованно. Добавил CI/CD на GitHub Actions, чтобы больше не заходить на виртуалку вручную — всё деплоится автоматически. Был парсер getmatch, но я его переписал под Airflow с Taskflow API. Разделил задачи, сделал их атомарными и настроил on_failure_callback, который отправляет сообщения об ошибках в Telegram-канал. Теперь, если что-то сломается, я узнаю об этом сразу, а не через неделю, когда появится дыра в данных.

База данных PostgreSQL развернута на другом VPS, чтобы разграничить вычисления и хранение данных. Создал таблицы vacancies, vacancy_skills, skills, где skills сразу вынесена в ref-таблицу, чтобы не дублировать текстовые значения. Настроил пользователей и доступы, подключил базу к Airflow. Бэкапы настроены на ежедневное обновление.

Теперь каждая вакансия и навык привязаны к конкретному дню, что позволяет анализировать динамику рынка труда. Каждое утро DAG собирает свежие вакансии, тянет курсы валют и обновляет таблицы, а в Telegram приходит сообщение с итогами работы: сколько вакансий обработано, какие ошибки возникли.

Теперь в дашборде можно:
• Смотреть историю изменения вакансий по дням
• Анализировать время жизни вакансий и скорость закрытия
• Отслеживать корреляцию зарплат с навыками
• Изучать спрос на скиллы в динамике

Раньше были просто “актуальные вакансии”, теперь есть полноценная разбивка по дням, что открывает больше возможностей для анализа.

Посмотри на наш дашборд анализа зарплатных вилок 👈

🔹 public.tableau.com иногда работает, только под VPN из РФ — держи мой VPN. Выше рассказывал, как разробатывал его в новогодние праздники @ShtormVPNBot 🫂

В планах — развернуть dbt и начать собирать слой трансформаций, чтобы сразу приводить данные в нужный вид для аналитики.
Please open Telegram to view this post
VIEW IN TELEGRAM
Всем привет!

Хочу поделится хорошей вакансией от знакомых товарищей! Я сам лично знаком с проектом, командой и данными.

Ребята ищут ML инженера, ну или data scientist, на контракт в Европе с возможностью продления или устройством в штат (удаленка), который сможет построить несколько моделей, для продукта.

Backend на Azure, в качестве аналитических инструментах есть Snowflake. Бизнес проблемы уже сформулированы и осталось найти эксперта, кто сможет построить модель для решения поставленных задач.

Кандидат уже должен иметь возможность работать за пределами России или Беларуси.

Описание по ссылке: https://careers.softeq.com/jobs/5526008-senior-lead-ml-cv-engineer

Так же компании ищет экспертов по IOS и Android разработке.

В качестве referral указывайте Виктор Козуб.
ИИ уже меняет мир, и каждый может стать частью этих перемен. Если и вы хотите создавать прорывные технологии, а не просто наблюдать за ними. Для того, чтобы преуспеть нужен крепкий фундамент – качественное образование.

Этот выбор – инвестиция в востребованность в стремительно развивающейся сфере.

Чтобы не тратить время и разбираться в чём разница между топовыми школами ИИ, присоединяйся к вебинару "Где изучать искусственный интеллект: ШАД, AI Masters, Центральный Университет?".

Лекторы:
- Юрий Дорн, к.т.н., академический руководитель AI Masters.
- Александр Дьяконов, д.ф.-м.н., профессор РАН, академический руководитель направления Data Science в Центральном Университете.

Не смотри как поезд уходит!

Записывайся по ссылке!
RSHB DA Meetup: Качество данных и Data Vault 2.0 в действии
Митап от РСХБ.цифра для дата-аналитиков и инженеров данных

Приглашаем всех, кто занимается большими данными и следит за их качеством. Вас ждут доклады от руководителей дата-направлений.

🌐 Онлайн и офлайн в Москве
📆 27 февраля в 18:00 (МСК, GMT+3)
👥 Дискуссии для участников, афтерпати в офлайне
Мерч и призы за вопросы

Программа:

🗣 Леонид Калядин (МТS Digital) — «Data Quality в условиях Self-Service: как мы избежали хаоса и создали систему проверок для коммунальных витрин»
🗣 Алексей Кошевой и Кристина Проскурина (РСХБ-Интех) — «Как мы сделали одну большую песочницу для всех аналитиков»
🗣 Денис Лукьянов (Ecom․tech) — «Data Vault 2.0. Методология, логическая модель, построение витрин»

Участвуйте в дискуссиях и задавайте вопросы спикерам — лично или в Telegram-чате. Организаторы подготовили мерч для офлайн-участников и призы для авторов лучших вопросов.

Регистрируйтесь на сайте

Реклама. Фонд «Сколково». ИНН 7701058410
С развитием AI, теперь любой может стать разработчиком. Я и сам столько всего сделал, о чем раньше даже и мечтать не мог.

Недавно на радостях купил себе Cursor AI подписку и поставил Augment Code.

Но так как у меня есть хоть какой-то опыт в ИТ, я примерно понимаю как нужно работать с code repo, есть понимания безопасности (где и как хранить секреты), знаю о рисках потери персональных данных и тп.

А вот новоиспеченные ИТышники еще не знакомы, и вообще можно базу проскочить и сразу по красоте @уяк @уяк и в продакшн!

А потом такие красивые истории всплывают - Cursor f*ck up my 4 months of works. Там сразу ответ предложили - “А git не пробовали?”.

Думаю нас ждет еще много таких интересных историй.
Clickhouse активно работает над поддержкой Iceberg Lakehouse.

Должно быть быстрое (performance) и недорогое (cost) решение.

В качестве демо, они используют Snowflake Polaris каталог. Раньше я писал про похожий сценарий, но с DuckDB.

https://clickhouse.com/blog/climbing-the-iceberg-with-clickhouse

Их дорожная карта на 2025: https://github.com/ClickHouse/ClickHouse/issues/74046 (мне понравилась идея создавать road map через Github Issues, прозрачно и удобно, и главное привязано к code changes)