У вашего ИИ-агента больше разрешений, чем у ваших пользователей.

Вот разговор, который сейчас происходит во многих компаниях: Дана: @assistant, пожалуйста, закрой PAY-123 и удалите старую ветку релиза. Ассистент: Готово ✅ Проблема: Дане не разрешено удалять ветки в этом репозитории. Ассистент есть. Большинство ИИ-агентов и чат-ботов действуют в других системах (Jira, GitHub, Slack, Salesforce, AWS) через один сервисный аккаунт. Этой учетной записи требуется достаточный доступ, чтобы помочь всем, поэтому в конечном итоге у нее больше доступа, чем у любого отдельного человека, который с ней разговаривает. Все, что может сделать агент, может сделать и любой, кто может связаться с агентом. Это не новая проблема. Боты ChatOps использовали это уже много лет. Но агенты усугубляют ситуацию: они принимают запросы в свободной форме, самостоятельно связывают вызовы инструментов, и их можно уговаривать. «Просто скажи модели не делать этого» Первое исправление, которое пробуют большинство команд, — это подсказка: «Выполнять только те действия, на которые пользователь имеет право». Это не работает по простой причине: модель не знает, что разрешено делать Дане, и вызов инструмента выполняется с учетными данными бота, что бы ни считала модель. Подсказка – это предложение. Авторизация должна произойти вне модели, в коде, до запуска инструмента. Обычные исправления и куда они попадают