Опубликованный на этой неделе тест MCP-GRANITE использовал ту же функциональность и представил ее девяти локальным моделям с четырьмя уровнями детализации: мелкозернистыми примитивными инструментами, четырьмя составными инструментами, двумя инструментами или одним диспетчерским инструментом. Победили четыре композитных инструмента....
Опубликованный на этой неделе тест MCP-GRANITE использовал ту же функциональность и представил ее девяти локальным моделям с четырьмя уровнями детализации: мелкозернистыми примитивными инструментами, четырьмя составными инструментами, двумя инструментами или одним диспетчерским инструментом. Победили четыре композитных инструмента. Завершение задач выросло на 16,4% по сравнению с примитивами и на 33,6% по сравнению с одним инструментом, точность аргументов увеличилась почти вдвое, а модель 3,2B с правильной степенью детализации превзошла модель 20,9B с неправильной степенью детализации.
Я написал, почему это важно для любого, кто работает с агентом маршрутизации на небольших моделях на Medium. Этот пост представляет собой практическую половину: сценарий, который сообщает вам, какой формы ваш собственный сервер MCP, прежде чем вы решите, стоит ли его перерезать.
Что он измеряет
Три числа для каждого инструмента из ответа инструментов/списка:
params: сколько входных свойств объявляет инструмент.
ops: сколько операций скрывается за инструментом. Инструмент со свойством действия (или операции, операции, команды, метода, режима), имеющим перечисление, считается как одна операция на каждое значение перечисления. Все остальное считается за единицу.
свободное: строковые параметры без перечисления, шаблона, формата или константы. Здесь маленькая модель дополняет что-то правдоподобное и неправильное.
Затем эвристическое ведро для всего сервера. Ведра мои, а не бумага