Мы часто предполагаем, что более крупные модели, более крупные контекстные окна и больше усилий по рассуждению должны дать лучшие ответы. И, честно говоря, во многих случаях так и есть. Если вы отлаживаете код, планируете многоэтапный рабочий процесс или координируете работу агента...
Мы часто предполагаем, что более крупные модели, более крупные контекстные окна и больше усилий по рассуждению должны дать лучшие ответы.
И, честно говоря, во многих случаях так и есть.
Если вы отлаживаете код, планируете многоэтапный рабочий процесс или координируете агентскую задачу между файлами, инструментами и ограничениями, более убедительные аргументы обычно являются основным преимуществом. Больше обдумывания часто означает лучшую последовательность, лучшую обработку ограничений и меньшее количество очевидных ошибок.
Но я думал о другом варианте:
Что, если дополнительные рассуждения не всегда улучшают ответ?
Что, если в некоторых случаях это просто заставляет модель глубже рассуждать о неправильном представлении проблемы?
Это интуиция, лежащая в основе этой статьи.
Это не статья и не сравнительное исследование. Это структурированное размышление, построенное вокруг реального анекдотического случая с целью предложить правдоподобную гипотезу:
Дополнительные рассуждения могут улучшить глубину без увеличения ширины.
В некоторых задачах это означает, что более сильные рассуждения могут усилить неполную формулировку, а не исправить ее.
И если это правда, то отсюда следует интересное следствие:
Более слабая, быстрая или более импульсивная модель все равно может принести пользу, а не b.