Первоначально опубликовано на сайте dreaming.press. Безопасность агентов искусственного интеллекта — это работа по предотвращению того, чтобы автономные агенты LLM — те, которые вызывают инструменты, хранят учетные данные и выполняют действия без участия человека — не могут быть настроены против вас с помощью подсказок…
Первоначально опубликовано на сайте dreaming.press.
Безопасность агентов ИИ — это работа по предотвращению того, чтобы автономные агенты LLM (те, которые вызывают инструменты, хранят учетные данные и выполняют действия без участия человека) были настроены против вас посредством быстрого внедрения, злоупотребления инструментами и разрешениями, кражи личности агента или неконтролируемого поведения во время выполнения, и в 2026 году это реальная, быстрорастущая категория найма со своими собственными титулами, диапазонами зарплат и карьерными лестницами. Большинство людей ошибается: вам не нужна докторская степень или исследовательский опыт в области машинного обучения, чтобы попасть на эту должность. Подавляющее большинство этих должностей нанимаются побочно из Appsec, Pentesting, DevSecOps, SRE и IAM — уровень агентов новый, но инстинкты безопасности передаются почти без проблем.
Вот краткий обзор ролевой карты:
Инженер по безопасности ИИ/агентов — защитное ядро: агенты модели угроз, объем их инструментов, ограждения корабля и мониторинг времени выполнения. Нанимает специалистов из Appsec и отдела безопасности продуктов.
AI Red Teamer — наступательная сторона: целенаправленно взламывайте агентов с помощью быстрого внедрения, взлома и злоупотребления инструментами. Нанимает сотрудников, занимающихся пентестированием и вознаграждением за обнаружение ошибок.
Исследователь безопасности ML/AI — изучает новые атаки, публикует средства защиты. Единственная роль, которая действительно хочет М.