Что Meta Muse правильно понимает в песочнице для ИИ-агента и в трех местах, где это все еще просочилось

Meta’s Muse — это потребительский агент, который действует на электронную почту, календарь, покупки и, с 17 сентября, на Mac. Одновременно с запуском Meta опубликовала необычайно подробное описание того, как содержится агент. Если вы создаете что-то, что хранит учетные данные пользователя и позволяет модели выполнять действия, это один из наиболее полезных публичных источников в этом году, и первые три недели его разработки показывают, где именно хороший дизайн перестает вас защищать. Модель угроз, изложенная честно Агент, который считывает ненадежные данные (веб-страницы, входящую почту), а также обладает полномочиями действовать (отправлять, покупать, удалять), находится в одном успешном внедрении подсказки от работы на кого-то другого. Мета не утверждает, что решила эту проблему. В ее собственном отчете признается, что инъекция все еще не решена во всей отрасли. Таким образом, цель дизайна — это не модель, которую невозможно обмануть. Это система, в которой обманутая модель мало что может сделать. 1. Два домена на одном ящике Формулировка Меты: «Правильная ментальная модель — это два изолированных домена безопасности на одном компьютере, а не агент на базе LLM с root-правами». Каждый пользователь получает виртуальную машину Linux. Ядро агента работает внутри контейнера systemd-nspawn, причем root внутри контейнера сопоставлен с unp.