Недетермінізм великих мовних моделей як загроза відтворюваності емпіричних досліджень: протокол мінімальної відтворюваності

Розглянуто відтворюваність емпіричних досліджень, у яких велика мовна модель (LLM) виступає вимірювальним інструментом. На наборі зі 160 проб із детермінованим еталоном показано, що фіксації температури та багаторазового повтору недостатньо: та сама модель з тим самим ідентифікатором версії, запущена у двох середовищах, змінює підсумкове рішення на 5,6% проб, а заявлена моделлю впевненість цієї нестабільності не виявляє (розрив 12,8 в.п.). Запропоновано протокол мінімальної відтворюваності із шести вимог до звітування.