Инжиниринг Данных
23.8K subscribers
2.22K photos
63 videos
194 files
3.31K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Закончилась экспедиция на sup. 5 дней и 4 ночи вокруг Vargas Island, это на острове Ванкувер со стороны Тихого океана. Погода была разная от +4 до +20, были и дожди и ветра. По расстоянию мы не очень много проплывали в день. В основ упор был на изучение навигации, карт, компаса, погоды и планирования. Группа была маленькая- 5 человек и 2 организатора. С одной стороны это очень дорогой тур, чтобы пожить в палатке и мерзнуть под дождем, с другой стороны он бесценный с точки зрения опыта и эмоцией. Следующим летом обязательно запишусь еще раз, но уже в другой локации.
❤‍🔥50🐳9
Сегодня прошла замечательная история. На моем любимом проекте в Technical Safety BC, где работают пенсионеры и полу пенсионеры (в прямом смысле ждут свою пенсию), где текущий дата инженер использует голосовые помощники, чтобы делать пайплайны в SSIS, потому что потерял зрение на старости лет - меня уволили одним днем, за то, что в проекте по миграции on-premises на AWS я сделал s3 bucket public.

Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте.

PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.
🫡38❤‍🔥13💯63
Forwarded from Ekaterina Gladkova
Атака на корпоративного ИИ-ассистента: разбор уязвимостей в прямом эфире

Большинство ИИ-систем с доступом к внутренним данным уязвимы. И проблема не в самом ИИ, а в том, что безопасность закладывают после запуска, а не до.

16 июня MWS AI (входит в МТС Web Services) покажут живое демо атаки на корпоративного ИИ-ассистента, подключенного к внутренним базам данных. Разберут конкретные векторы, слабые места архитектуры и что именно приводит к раскрытию лишнего контекста.

Также в программе:
• чек-лист вопросов перед выводом ИИ-решения в прод
• рамка для оценки стоимости ИИ-инцидента
• как выстроить взаимодействие между разработкой, ИБ и бизнесом

Будет полезно ML-инженерам, архитекторам ИИ-систем и техническим лидерам, которые проектируют или внедряют решения с доступом к корпоративным данным.

🗓 16 июня, 16:00 мск

Зарегистрироваться
4🙈3🐳1
Очевидный факт - рост AI инженеров. Сейчас это уже не LLM researcher, и человек, который знает как работать с моделями, как их выбирать, настраивать, проверять качество, и отслеживать стоимость.

Сейчас отличное время войти в эту профессию и уже на месте разбираться как лучше это использовать.
Dagster и цены мы тут обсуждали в прошлом. Походу еще дороже стал. Полностью поддерживаю, если у вас с бюджетом напряг не используйте Dagster. Airflow или AWS Step functions и AWS Batch (если надо совсем дешево и вы на AWS)
💯81
Вчера посмотрел про история Антропика и их основателей
Inside Anthropic, the $965 Billion AI Juggernaut | The Circuit, узнал про их культуру и рост. Отличное видео, особенно если вы изучаете английский или не работали еще с Claude Code.
❤‍🔥19
🚀 Быстрый старт в AI-аналитику с DataLens

16 июня в 12:00 (мск) — вебинар о том, как работает AI-аналитика в DataLens.

Разберём всё по делу:
🤖 Большое обновление Нейроаналитика — агентский режим под капотом
📊 Новые сценарии: виджеты дашборда, рассылки, встройки, публикации
🔧 Внешние AI-инструменты для эффективной работы с DataLens
☁️ Облако и on-premises — что доступно и как
🗺 Планы развития встроенных AI-возможностей и инфраструктуры для внешних AI

Регистрируйтесь — и приходите с вопросами 👇
🙈7🍌51👨‍💻1
Snowflake начал активно контрибьютить в Apache Spark https://careers.snowflake.com/us/en/blogarticle/building-apache-spark-in-the-open-at-snowflake

Статья рассказывает о подходе Snowflake к интеграции Apache Spark в свою экосистему. Вот ключевые моменты:

• Главный герой — Holden Karau, Principal Software Engineer в Snowflake и коммиттер Apache Spark.
• Цель Snowflake — адаптировать Spark API для улучшения возможностей дата-инженерии и создания более целостного опыта для пользователей.
• Open Source подход — компания активно участвует в разработке открытых проектов, таких как Apache Spark и Apache Iceberg, что помогает лучше соответствовать потребностям клиентов.
• Культура сотрудничества — Karau подчёркивает важность вклада в open source ради общего блага, а не личной выгоды, и делится опытом работы в открытых сообществах.
• Если коротко: статья о том, как Snowflake строит интеграцию с Apache Spark через активное участие в open source разработке, а не просто использует готовые решения.

Раньше у Snowflake был фокус на свой собственный фреймворк - Snowpark

Snowflake создал Snowpark — свой собственный developer API (Python, Scala, Java) с DataFrame-подобным синтаксисом, похожим на Spark. Но это не Spark — весь код выполняется внутри движка Snowflake, никакого Spark-кластера не нужно. По сути, Snowflake пытался предложить альтернативу Spark, не требующую внешней инфраструктуры.


Возможно из Spark не сработал, и они решили топить за оригинальный Spark.

В Apache Spark 3.4 появился Spark Connect — архитектура с разделением клиента и кластера. Snowflake воспользовался этим, чтобы сделать Snowpark Connect for Spark: теперь можно писать настоящий PySpark-код, а выполняться он будет на движке Snowflake — без Spark-кластера. Это уже настоящий Apache Spark API, а не собственный аналог.
❤‍🔥20
Как там уже запустили курсы AI разработчик - от 0 до 1млн рублей за 3 месяца?
🙈26🤷5