Киселевич В. В.
ORCID: https://orcid.org/0009-0006-6449-710X
(2026)
Контамінація тестових наборів як загроза достовірності оцінювання агентних систем.
In: XXXIV Міжнародна науково-практична конференція «Sustainable Development and Science: Interdisciplinary Approaches and Solutions», 25–28 серпня 2026 р., Мілан, Італія.
С. 22–27.
DOI: 10.46299/ISG.2026.1.34.
1.pdf
Завантажити (162kB) | Preview
Анотація
У статті проаналізовано проблему контамінації (витоку) тестових наборів як загрози для достовірності оцінювання агентних систем на основі великих мовних моделей. Автор обґрунтовує, що потрапляння відкритих бенчмарків у навчальні корпуси призводить до викривлення результатів через відтворення запам'ятованих розв'язків замість демонстрації реальної здатності вирішувати нові задачі. У роботі систематизовано десять ознак ризику контамінації, згрупованих за походженням даних, змістом задач і протоколом вимірювання, а також сформульовано шість мінімальних вимог до звітування та умову оцінюваності ризику читачем.
| Тип ресурсу: | Доповідь на конференції або симпозіумі (Стаття) |
|---|---|
| Ключові слова: | контамінація тестових наборів, агентні системи, великі мовні моделі, оцінювання ШІ, витік даних, SWE-bench |
| Класифікатор: | Q Наука > QA Математика > QA75 Електронні комп'ютери. Інформатика |
| Відділи: | Фізико-математичний факультет > Кафедра комп’ютерних наук та інформаційних технологій |
| Користувач: | Володимир Володимирович Киселевич |
| Дата подачі: | 24 Серп 2026 23:28 |
| Оновлення: | 24 Серп 2026 23:29 |
| URI: | https://eprints.zu.edu.ua/id/eprint/49152 |
Дії (потрібно ввійти)
- Оглянути опис ресурсу