В первой части мы собрали прототип интерактивного NPC на базе MetaHuman в Unreal Engine. NPC “слышал” игрока (STT), обрабатывал распознанный текст при помощи LLM (инференс локальных моделей через llama.cpp) и озвучивал ответ (TTS + lipsync)...
В первой части мы собрали прототип интерактивного NPC на базе MetaHuman в Unreal Engine.
NPC “слышал” игрока (STT), обрабатывал распознанный текст при помощи LLM (инференс локальных моделей через llama.cpp) и озвучивал ответ (TTS + lipsync).
Но «говорящая голова» ещё не персонаж. Представление о мире у такого NPC статично (зашито в system prompt), на любой запрос он отвечает одинаково безэмоционально и вежливо и никак не влияет на происходящее в игре.
Именно эти проблемы мы и попытались решить.
Spoiler — у нас получилось.