Запишите ожидаемое поведение
Для каждого сценария достаточно описать вход, обязательные свойства результата и признаки очевидной ошибки. Точный эталонный текст нужен не всегда: часто важнее наличие фактов, корректный формат или отсутствие запрещённого действия.
Разделите проверки
Детерминированные свойства проверяйте обычным кодом. Смысловую полноту можно оценивать по рубрике из нескольких вопросов. Ручную проверку оставляйте для небольшого случайного набора и для случаев, где автоматические сигналы расходятся.
Смотрите на изменения, а не на красивое число
Один итоговый балл скрывает причину регрессии. Храните результаты по категориям: корректность, полнота, формат, задержка и стоимость. Тогда после смены инструкции или модели видно, какой именно класс примеров улучшился или сломался.
Добавляйте в набор каждый подтверждённый сбой. Со временем он превращается в живую спецификацию продукта и защищает от повторения уже известных ошибок.