Determining the Morphological Class of a Word During the Automatic Natural Language Processing

У статті розглянуто обов’язкову складову лінгвістичного забезпечення будь-якої системи автоматичної обробки природної мови – автоматичний морфологічний аналіз, до завдань якого входять: визначення для кожної одиниці тексту місця вморфологічній системі відповідної мови, ідентифікація словоформ однієї лексеми.

Унаслідок автоматичного морфологічного аналізу кожній словоформі тексту приписується код частини мови та значення граматичних категорій (рід, число, відмінок, вид, час, особа тощо). Характер цієї інформації, обсяг її й методи, за допомогою яких установлюють морфологічну інформацію, залежать від мети дослідження, у межах якого здійснюється автоматичний аналіз, від орієнтації на характер аналізованих текстів. Морфологічний аналіз наявний на всіх етапах аналізу тексту, тому що ані морфемний, ані синтаксичний, ані семантичний аналізи не можуть обійтися без визначення частин мови. У процесі автоматичного синтаксичного аналізу лише за наявності лексико-граматичної та граматичної інформації до кожної словоформи можна синтаксично прив’язати словоформи в реченні.

Морфологічні ознаки одиниць тексту далі стають інструментом дослідження зв’язку між лексикою та граматикою із їх використанням у мовленні, між парадигматикою (в аспекті розгляду відмінкових форм відмінюваних слів) і синтагматикою (в аспекті лінійних зв’язків слів, сполучуваності в тексті). У статті розглянуто труднощі, що заважають уніфікувати процес тегування одиниць тексту, а саме лексико-граматична омонімія, неоднозначність граматичних форм, полісемія.

У статті проаналізовано підходи до вирішення морфологічної неоднозначності, засновані на аналізі контексту неоднозначного слова, які поділяють на статистичні й такі, що визначаються правилами (rulebased). Правила можуть складатися вручну або виводитися з розмічених корпусів. Статистичні методи ґрунтуються на кількісних показниках у великих розмічених корпусах. Методи вирішення морфологічної неоднозначності застосовуються зазвичай після первинного тегування, що виконується, як правило, за допомогою словників.

У статті також наведено алгоритм морфемного аналізу для здійснення автоматичного морфологічного аналізу.