REPOZITORIJ > REZULTATI

Povzetek

Zbiranje besedil s spleta omogoča veliko hitrejše ustvarjanje velikih zbirk besedil, ki so
nujno potrebne za razvoj naprednih jezikovnih tehnologij, med drugim tudi velikih jezikovnih
modelov. A ker je ta metoda zbiranja besedil avtomatizirana, je malo znanega
o jezikovnih in funkcijskih značilnostih besedil v zbirki, kar zmanjšuje njeno zanesljivost
in uporabnost za nadaljnje raziskave in razvoj. Avtomatska identifikacija žanra – naloga
kategorizacije besedil, ki besedila razvršča v določene kategorije žanrov – omogoča ključen
vpogled v sestavo obsežnih zbirk besedil in njihovo filtriranje za razvoj jezikovnih virov in
tehnologij ter za jezikoslovne raziskave.
V tej disertaciji prispevamo k napredku na področju razvoja modelov za avtomatsko
identifikacijo žanra v obsežnih večjezičnih spletnih zbirkah besedil. Naše delo vključuje
zasnovo novih shem kategorij žanrov, razvoj zbirk besedil, ročno označenih z žanri, in vrednotenje
različnih metod strojnega učenja. Najprej predstavimo dve novi shemi kategorij
žanrov, s katerima izboljšamo zanesljivost ročnega označevanja in primerljivost z drugimi
obstoječimi shemami. Tako premostimo ključno pomanjkljivost predhodnih raziskav, ki
temeljijo na neprimerljivih shemah in tako onemogočajo primerjavo rezultatov med deli.
Pokažemo tudi, da je mogoče doseči kakovostno ročno označevanje s sprejemljivim strinjanjem
med označevalci na podlagi premišljeno zasnovane sheme kategorij žanrov, podrobnih
smernic za ročno označevanje in vključevanja visoko usposobljenih označevalcev.
Potem naslovimo pomanjkanje ustreznih učnih podatkov v naših ciljnih jezikih za to
nalogo in razvijemo visokokakovostne ročno označene učne zbirke besedil v slovenščini in
angleščini ter večjezične testne množice, ki zajemajo enajst jezikov iz raznovrstnih jezikovnih
družin. Na podlagi testnih zbirk vzpostavimo ogrodje za vrednotenje AGILE, ki
omogoča primerljivo in ponovljivo vrednotenje modelov za določanje žanra na različnih testnih
podatkih in jezikih, poleg tega pa omogoča tudi sistematično primerjavo sposobnosti
velikih jezikovnih modelov v različnih jezikih.
Sledi razvoj klasifikatorja, ki omogoča zanesljivo določanje žanra v različnih zbirkah
besedil in jezikih. Da bi ugotovili, katera metoda strojnega učenja omogoča najboljše posploševanje,
preizkusimo različne tehnike kategorizacije besedil, od klasičnih metod strojnega
učenja do najsodobnejših pristopov, ki temeljijo na velikih jezikovnih modelih. Naše
ugotovitve razkrijejo, da model tipa BERT, ki ga doučimo na naši novi učni zbirki besedil,
doseže najboljše rezultate v različnih zbirkah besedil in jezikih in učinkovito določa žanre
tudi pri besedilih, ki niso zapisana v latinici ali ki so zapisana v jezikih, ki niso sorodni jezikoma
v učnih podatkih. Končni model javno objavimo in tako ponudimo prostodostopno
orodje za avtomatsko označevanje žanrov v velikih večjezičnih zbirkah besedil.
Nenazadnje v disertaciji predlagamo novo metodologijo, ki omogoča razvoj klasifikatorjev
besedil brez ročno označenih podatkov. Za označevanje učnih podatkov uporabimo
velike jezikovne modele, kar omogoči hiter in učinkovit razvoj klasifikatorjev žanrov. Predlagana
metodologija je lahko še posebej uporabna za tehnološko manj podprte jezike in
za prilagajanje modelov na specifična področja, pristop pa se lahko prenese tudi na razvoj
klasifikatorjev za druge naloge označevanja besedil.