Контамінація тестових наборів як загроза достовірності оцінювання агентних систем

У статті проаналізовано проблему контамінації (витоку) тестових наборів як загрози для достовірності оцінювання агентних систем на основі великих мовних моделей. Автор обґрунтовує, що потрапляння відкритих бенчмарків у навчальні корпуси призводить до викривлення результатів через відтворення запам'ятованих розв'язків замість демонстрації реальної здатності вирішувати нові задачі. У роботі систематизовано десять ознак ризику контамінації, згрупованих за походженням даних, змістом задач і протоколом вимірювання, а також сформульовано шість мінімальних вимог до звітування та умову оцінюваності ризику читачем.