Замена жестко запрограммированного контекста клиента на ретроспективный отзыв

Замена жестко запрограммированного контекста клиента на ретроспективный отзыв Первая версия моего агента поддержки имела отличную память, пока я вводил ее вручную. Каждый запрос содержал поле customer_context, и каждый тест был пройден, потому что контекст писал я. Тогда я задал очевидный вопрос: кто заполняет это поле в производстве? Это история замены этого поля реальной памятью с использованием ретроспективного подхода и проектных решений, которые имели большее значение, чем сама замена. Что делает система Проект является агентом поддержки клиентов. Клиент отправляет сообщение, и агент выясняет, что это за проблема, решает, нужно ли вмешаться человеку, извлекает все, что он знает об этом клиенте, и выдает ответ. Стек намеренно прост: Python, FastAPI и локальная модель Llama 3.2, обслуживаемая Ollama. Не существует размещенного API LLM и ключа API, которым можно было бы управлять. Все работает на оборудовании, которое я контролирую, что имеет значение, когда входными данными являются заявки в службу поддержки, полные данных учетной записи. Каждое сообщение проходит через фиксированный конвейер: Сообщение клиента ↓ Обнаружение намерений ↓ Проверка эскалации ↓ Контекст клиента ↓ Оллама ИИ-агент ↓ Ответ поддержки Обнаружение намерений сортирует сообщения