Таксономия ошибок ИИ-агентов: как понять, кто виноват — модель или обвязка

Это самая точная система координат для отладки ИИ-агентов, которую доводилось встречать. Обычно, когда агент ошибается, мы видим лишь финальный провал задачи. Но где именно произошел сбой? Проблема может скрываться в самой нейросети, кривой обвязке, багах API-инструмента или даже в некорректном бенчмарке. Статья Model or Harness? решает эту фундаментальную проблему поиска виноватого.

Авторы собрали 41 типичный сценарий отказа и привязали их к границам взаимодействия компонентов. Агент — это не просто LLM, это сложная система из модели, промптов, памяти, пользователя и среды. Классификация четко указывает, на чьей стороне произошла ошибка и где требуется ремонт! Если модель генерирует неверный синтаксис для вызова функции — нужно дообучение, а если песочница не может распарсить правильный ответ — пора переписывать код обвязки.

Такой подход превращает отладку из слепого перебора гипотез в понятный инженерный процесс. Предложенная таксономия универсальна и работает для любых архитектур: от простых ассистентов программиста до сложных мультиагентных систем с долгосрочным планированием. Самое ценное здесь — абсолютная практичность, ведь исследователи подтвердили работоспособность схемы на реальных логах и публичных датасетах.