How to build AI agents into your SOC

Одним из положительных моментов путешествий является избыток свободного времени в аэропорту. На этот раз, по пути домой в столицу, мне наконец-то удалось закончить ознакомление с замечательным гайдом от Red Canary по созданию надежных и эффективных AI-агентов для интеграции в операционную работу SOC. Тема мне небезразлична, поэтому поделюсь мыслями из доки. Сразу замечу, что если вы уже имеете хоть какой-то практический опыт написания агентов, хотя бы на уровне упомянутого здесь курса, то дока покажется вам скучной, но для начинающих джедаев материал может стать неплохой базой, упорядочивающей понимание и перечисляющей очевидные грабли, которые можно обойти.

Мы все немного скептически относимся к формализации процессов, и я сам нередко пропагандирую fuckup-driven management, однако, в случае передачи чего-либо программному болвану AI-агенту, никакая формализация не может быть лишней. Основной тезис документа: надежность важнее новизны, поэтому ключ к успеху лежит не в использовании самой передовой модели, а в построении детерминированных рабочих процессов, строгих ограничений и постоянном измерении результатов. Документ содержит не только теоретические основы, но и практические примеры на Git, а кто любит за трапезой посмотреть что-то полезное есть видео на Youtube Elevate and empower your SOC with AI.

Ключевые принципы построения надежных AI-агентов
1. Структура и Детерминизм. Большие языковые модели по своей природе вероятностны и могут давать разные результаты при одних и тех же входных данных. Для SOC это недопустимо, так как критически важна повторяемость, поэтому Канарейки рекомендуют использовать детерминированную оркестрацию в сочетании с ограниченным рассуждением агентов: задачи разбиваются на явные, небольшие шаги, а агенты используются только там, где их вероятностная природа может приносить пользу (например, для анализа и корреляции), а не для принятия ключевых решений.

2. Дизайн системы, а не одной модели. Ценность извлекается из взаимодействия дизайна workflow, защитных механизмов и выбора моделей, т.е. вместо одного "универсального" агента следует строить сложные системы из простых, узкоспециализированных компонентов. Четкое выделение простых детерменированных шагов для агента прекрасно бьется и с мнением моих друзей, съевших не одну собаку на автоматизации SOC с помощью AI-агентов.

Документ разбирает кейс автоматизации анализа данных OSQuery с конечных точек. В частности, Аналитик может тратить 30+ минут на полуручной разбор десятков JSON-файлов, тогда как AI-агенты могут сократить это время до 2 мин. Для этого создаются несколько узкоспециализированных агентов, каждый из которых отвечает за свою категорию данных OSQuery, например, агент программного обеспечения, агент файловой системы, агент пользователей и групп, агент WMI-событий, и т.п. Для оркестрации используются специализированные агенты, запускаемые параллельно, а их результаты затем агрегируются в единый отчет. Для управления таким workflow используются фреймворки вроде LangGraph.

В документе также освещаются вопросы выбора и оптимизации моделей и безопасности. Интересно почитать о том, как Канарейки пишут об использовании агентов у себя, конечно, по возможности, счищая весь налет маркетинга. В целом, ребята не испытывают беспокойства, используя доступные из облака LLM, поэтому клиентам Red Canary, возможно, имеет смысл обратить внимание на то, что их данные доступны помимо MSSP (Канарейки) и IaaS (Microsoft), но и провайдерам LLM (OpenAI, Google), в общем, поверхность атаки расширяется.

#ml #MDR

SANS 2025 AI Survey

До меня долетел опрос SANS об использовании ИИ в безопасности. Академическое исследование применимости публиковал ранее, а еще полезно посмотреть на опрос тех же ребят но о SOC, там тоже есть про ИИ. Кратко пробегусь что же там.

1. ИИ в безопасности используют слабо: хотя 50% организаций уже применяют ИИ, лишь половина из них использует его для задач ИБ, например, 33% используют ИИ для обнаружения и расследования инцидентов, и только 26% - для реагирования. Понимаю респондентов, мне бы автореспонсы от ИИ тоже доставили излишнюю обеспокоенность.

2. Страх перед ИИ-атаками намного выше, чем фактическое использование защитных ИИ-инструментов: 81% обеспокоены атаками с использованием ИИ, в частности - персонализированной социалкой (83%), дипфейками (73%), быстрым поиском уязвимостей (67%).

3. Чрезвычайно много фолсы: 66% команд отмечают, что ИИ генерирует слишком много ложных срабатываний, что, напротив, усиливает усталость от алертов (alert fatigue).

4. О том, что ИИ расширяет поверхность атаки и возникают новые риски, которыми надо управлять, задумываются немногие: только 35% имеют формальную программу управления ИИ-рисками, 42% - лишь начинают формировать политики, а 24% вообще не оценивают ИИ-риски у сторонних вендоров.

5. ИИ не заменяет людей: 65% говорят о необходимости более специализированного обучения по ИИ, 67% ожидают рост спроса на специалистов, совмещающих ИИ и безопасность (об этом есть здесь)

Документ содержит интересные разбивки о применимости ИИ в DFIR, AppSec и Red Teaming, их несложно посмотреть, не буду расписывать.

Общее ощущение от доки, что пока ИИ не очень прижился в ИБ и это отчасти объясняется нехваткой безопасников, прокаченных в ML/AI, которые, с одной стороны, прекрасно знают предметную область, а с другой - понимают возможности ИИ, как инструмента автоматизации. И проблема решится ровно тогда, когда ИИ-инструменты станут настолько же популярны, как nmap для пентестера. Ну, в общем, намек на приоритеты ближайшего саморазвития, понятен.

#ml #vCISO