Самое полезное, что я сделал для своего агента поддержки, — это сделал его обработчик запросов скучным. Три шага в фиксированном порядке, при этом вся тяжелая работа с памятью переносится в Hindsight, чтобы обработчик мог оставаться достаточно маленьким, чтобы прочитать его за один присест. Память...
Самое полезное, что я сделал для своего агента поддержки, — это сделал его обработчик запросов скучным. Три шага в фиксированном порядке, при этом вся тяжелая работа с памятью переносится в Hindsight, чтобы обработчик мог оставаться достаточно маленьким, чтобы прочитать его за один присест.
Что делает система
MemoryDesk — служба поддержки клиентов. Клиент отправляет сообщение, сервис отвечает на него, и в следующий раз, когда тот же клиент напишет, сервис запоминает, что произошло раньше. Если платеж Рахула не прошел на прошлой неделе и исправлением была оплата картой вместо UPI, агент знает, что в следующий раз, когда он скажет, что его заказ не пройдет. Он также не говорит Прие о карте Рахула.
Стек намеренно небольшой:
FastAPI для уровня HTTP
Groq для вывода, запуск openai/gpt-oss-120b
Взгляд в прошлое на долговременную память с помощью клиента Python
Есть три конечных точки: проверка работоспособности, POST /chat и GET /memories/{customer_id}, которые я создал для отладки и которые оказались полезными и за ее пределами. Весь сервис — это один файл примерно в сотню строк. Это специально. Самое интересное не в объеме кода, а в том, где находится состояние, и ответ таков: не в моем коде.
Сквозная линия: рука без гражданства