Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Хотите узнать кошмар современного high-performance сотрудника?

Windows ноутбук без админского доступа, без возможности скачать программы, AI чат, AI IDE. И компьютер ложится спать каждые 15 минут без активности. Даже, чтобы скачать Python или Git нужен запрос в help desk, согласование безопасностью и ожидание несколько дней.

Получается уже не high-performance.

А ведь раньше все как-то обходились без всего этого.
2🙈69💯45🌚15😭5🤷2
А у вас не внедряют AI? Вот вам совет для карьерного буста:

В прошлом квартале я внедрил Microsoft Copilot для 4 000 сотрудников. 30 долларов за место в месяц. 1,4 миллиона долларов в год.

Я назвал это "цифровой трансформацией". Совету директоров понравилась эта фраза. Они одобрили это за одиннадцать минут. Никто не спросил, что это на самом деле будет делать. Включая меня.

Я всем говорил, что это "увеличит продуктивность в 10 раз". Это не реальное число. Но звучит как реальное.
HR спросил, как мы будем измерять этот 10-кратный рост. Я сказал, что мы "задействуем аналитические панели". Они перестали спрашивать.

Три месяца спустя я проверил отчёты об использовании. 47 человек открыли его. 12 использовали больше одного раза. Один из них был я.

Я использовал его, чтобы обобщить письмо, которое мог прочитать за 30 секунд. Это заняло 45 секунд. Плюс время, потраченное на исправление галлюцинаций. Но я назвал это "успешным пилотом". Успех означает, что пилот не провалился явно.

Финансовый директор спросил об окупаемости инвестиций. Я показал ему график. График шёл вверх и вправо. Он измерял "внедрение ИИ". Я придумал эту метрику. Он одобрительно кивнул.

Теперь у нас "внедрён ИИ". Я не знаю, что это означает. Но это есть в нашей презентации для инвесторов.

Старший разработчик спросил, почему мы не используем Claude или ChatGPT. Я сказал, что нам нужна "безопасность корпоративного уровня". Он спросил, что это означает. Я сказал "соответствие требованиям". Он спросил, каким требованиям. Я сказал "всем". Он выглядел скептически. Я назначил ему "беседу о развитии карьеры". Он перестал задавать вопросы.

Microsoft прислала команду для кейс-стади. Они хотели представить нас как историю успеха. Я сказал им, что мы "сэкономили 40 000 часов". Я вычислил это число, умножив количество сотрудников на число, которое я придумал. Они не проверяли это. Они никогда не проверяют. Теперь мы на сайте Microsoft. "Глобальное предприятие достигло экономии 40 000 часов продуктивности с Copilot". Генеральный директор поделился этим в LinkedIn. Он получил 3 000 лайков. Он никогда не использовал Copilot. Никто из руководителей не использовал. У нас есть исключение. "Стратегический фокус требует минимального цифрового отвлечения". Я написал эту политику.

Лицензии продлеваются в следующем месяце. Я запрашиваю расширение. Ещё 5 000 мест. Мы не использовали первые 4 000. Но на этот раз мы "стимулируем внедрение". Внедрение означает обязательное обучение. Обучение означает 45-минутный вебинар, который никто не смотрит. Но завершение будет отслеживаться. Завершение — это метрика. Метрики попадают в панели. Панели попадают в презентации для совета директоров. Презентации для совета директоров продвигают меня по службе. Я стану старшим вице-президентом к третьему кварталу.

Я всё ещё не знаю, что делает Copilot. Но я знаю, для чего он нужен. Он нужен, чтобы показать, что мы "инвестируем в ИИ".
Инвестиции означают траты. Траты означают обязательства. Обязательства означают, что мы серьёзно относимся к будущему. Будущее — это то, что я скажу.

Пока график идёт вверх и вправо.


Источник.
🫡64❤‍🔥27💯23😭11🐳6🤷6👨‍💻5🙈5🌚4🍌3
This media is not supported in your browser
VIEW IN TELEGRAM
Представьте себе коммуналку, в которой живут только аналитики. Как вы думаете, о чём там будут говорить?

Если подумали исключительно про цифры, то зря 🙂

Потому что мы в Авито собрали в Телеграме комьюнити «Коммуналка аналитиков», чтобы посмотреть, что будет.
Получилось очень даже интересно. Оказалось, аналитики с удовольствием пишут обо всём вокруг профессии:

✍️ Рассказывают о рабочих буднях

✍️ Хвастаются успехами и вспоминают фейлы

✍️ Постят мемы

✍️ Запускают опросы и собирают бинго

✍️ Шутят

✍️ Делятся лайфхаками

✍️ Создают серьёзные посты про аналитику

✍️ И-и-и обсуждают другие штуки, которые сложно классифицировать

Подписывайтесь на канал и читайте недушную аналитику 😉
16
Знаете, где сейчас косанлтинг компании зарабатывают в Северной Америке?

Нет, это не AI. Про AI я уже только опубликовал историю.

На традиционных миграциях. Но они не совсем традиционные.

Вот, кто-то навайбкодил:
COBOL to Databricks Converter
SAS to Databricks Converter

К сожалению, AI в этих вопросах не сильно помогает(л). Не знаю как сейчас.


Может быть когда-нибудь будет миграция 1C на Databricks? Кстати, один раз общался с разработчиком 1С из Майами, так что получится еще наоборот из Databricks на 1C.

У меня всегда была мечта - сделать аналитическую платформу в экосистеме 1С👀
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈7❤‍🔥2
Интересный кейс был недавно.

Сейчас работа без AI code assistant чувствуется так, как будто нужно пешком, иногда на велосипеде, проехать 100 км вместо того, чтобы взять машину.

Без AI уже очень сложно быть на 100% эффективным.

Конечно, ключевой вопрос — это фундаментальные знания. Например, я могу не знать ничего в мобильной разработке, но с AI смогу создать мобильное приложение.

Качество будет так себе, ведь у меня нет опыта в этом деле и AI нафантазирует за меня, сделает MVP, который вряд ли попадёт в продакшн. И самое главное — знаний у меня в мобильной разработке не прибавится.

А вот если я эксперт в какой-то области и просто хочу аутсорсить простые запросы и задачки junior (AI), и могу чётко поставить задачку с предсказуемым и проверяемым результатом, то здесь и появляется эффективность и скорость. Я держу в голове контекст, архитектуру и контролирую процесс, а бездушная машина печатает мои мысли и валидирует их через MCP или CLI.

То есть иметь AI IDE — это такой base line. Это не про co-pilot для каждого сотрудника, которые там будут спрашивать про погоду.

Теперь про мой кейс.
Что делать, если AI IDE заблокированы. ChatGPT и Anthropic заблокированы, и есть только Copilot в Teams (бесплатная версия).

Для начала добываем VSCode — лучший бесплатный IDE. Дальше нам надо поставить плагины, тут есть две опции:
• Cline
• KiloCode

Очевидно, API Claude закрыт, но у меня есть API ключ. Бесплатный copilot рассказал мне про сервис — Openrouter.ai

OpenRouter.ai — это универсальная платформа-агрегатор, которая предоставляет единый API-доступ к более чем 400 языковым моделям искусственного интеллекта от различных провайдеров (OpenAI, Anthropic, Google, Meta, Mistral и других).


Сервис позволяет зарегистрироваться бесплатно, и у него собственный API Gateway. В нём я добавил свой Claude API ключ и подключил OpenRouter в KiloCode как провайдера. Задача для меня решена.

Картинки из OpenRouter.
24❤‍🔥11🌚5🤷‍♀2
Что такое большие данные, а что такое маленькие данные?

Каждый год это понятие меняется. Для аналитических систем это важно, ведь мы строим инженерные системы, чтобы обрабатывать большие данные! (Но непонятно, что значит большие данные).

Самое простое определение - данные, которые не помещаются на локальном компьютере и которые мы не можем загрузить в оперативную память, даже если они сжаты.

Мы начинаем смотреть на distributed computing engines - Greenplum, Spark, Snowflake, Trino и т. п. Такие системы умеют обрабатывать данные параллельно.

Часто мы выбираем дорогую систему (distributed) для наших будущих объемов, а кто-то вообще ни разу в жизни ничего не выбирал и работает на legacy всю свою карьеру.

А ведь времена меняются, и теперь мы можем читать 1 ТБ данных с помощью одной машины, если использовать DuckDB. Можете посмотреть подробности в статье -
Processing 1 TB with DuckDB in less than 30 seconds

Товарищ сначала сгенерировал 1 ТБ данных на внешнем SSD, а потом написал к ним запрос. Если использовать MotherDuck и читать данные с S3, будет еще удобнее и быстрее.

В новом году хочу попробовать сократить расходы на Snowflake за счет использования DuckDB.
🐳21❤‍🔥117🌚1
The AI Safety Expert: These Are The Only 5 Jobs That Will Remain In 2030! - Dr. Roman Yampolskiy

Через два года ИИ заменит большинство людей и профессий.
Я имею в виду, что через пять лет мы увидим такой уровень безработицы, которого никогда раньше не было.
Не 10%, а 99%.


Не самое оптимистичное видео про будущее с AI.

Мы точно узнаем, как оно будет, осталось не долго!😌

А вы как думаете? Авось пронесет или будет уже не до шуточек?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈8🙊3