Особливості оцінки логіко-смислових зв’язків за допомогою вербальних моделей

У статті представлено результати емпіричного дослідження можливостей використання вербальних моделей для аналізу та оцінки логіко-смислових зв’язків. Актуальність дослідження зумовлена зростанням ролі інформаційної невизначеності у сучасному соціальному середовищі та потребою розробки об’єктивних методів аналізу когнітивної продуктивності. Метою статті є встановлення рівня надійності та придатності оцінювання логіко-смислових зв’язків трьома найпопулярнішими вербальними моделями (Claude, ChatGPT, Gemini), а також зіставлення їхніх показників з експертною оцінкою психолога при аналізі результатів «Методики текстуальних розривів».

У ході дослідження було проаналізовано 46 робіт підлітків 16–17 років. Кожен респондент формулював 29 логіко-смислових зв’язків. Виконане завдання оцінювалося тричі трьома вербальними моделями з різних облікових записів. Результати дослідження показали, що внутрішня придатність вербальних моделей при аналізі логіко-смислових зв’язків змінюється від 61% до 73% точних збігів, при цьому Claude демонструє порівняно вищу надійність (α-Кронбаха = 0,757). Водночас міжмодельна узгодженість штучного інтелекту виявилася досить низькою (r = 0,28, α = 0,452). Це може вказувати на суттєві розбіжності в алгоритмах обробки інформації. Порівняння оцінок, зроблених вербальними моделями, з експертною оцінкою зафіксувало лише 55–56% точних збігів і прямий слабкий кореляційний зв’язок (r = 0,34–0,41). Це може вказувати на принципові відмінності у логіці оцінювання логіко-смислових зв’язків між штучним і природним інтелектом. Зроблено висновок про доцільність застосування у дослідницькій роботі гібридного підходу. Зокрема, йдеться про використання вербальних моделей для первинного скринінгу з обов’язковою експертною верифікацією результатів.