REPOZITORIJ > REZULTATI

Povzetek

V disertaciji predstavljeno delo je sinergija statistike in (računalniške) obdelave naravnega jezika. Statistika je veja matematike, ki obravnava zbiranje, analizo, interpretacijo oziroma razlago in predstavitev podatkov. Raziskava z eksperimentalnimi podatki mora vključevati statistično analizo, potrebno za pravilno interpretacijo rezultatov, ki jih želimo predstaviti v znanstvenih publikacijah. Za spremljanje novega znanja znotraj določene domene, ki se hitro povečuje s sprotnim objavljanjem elektronskih publikacij, so izjemno dobrodošle računalniško podprte metode prepoznavanja, pridobivanja in preiskovanja oziroma izkoriščanja znanja. To so dobro znane naloge pri obdelavi naravnega jezika – raziskovalnem področju računalništva, umetne inteligence in računalniškega jezikoslovja, ki se ukvarja z interakcijami med računalnikom in človeškimi naravnimi jeziki.
V disertaciji predlagamo nov pristop za raziskovanje določene domene. Del disertacije, ki obravnava statistiko, je osredotočen na pridobivanje robustnejših statističnih rezultatov, ki jih je treba objaviti, medtem ko je del disertacije, ki obravnava obdelavo naravnega jezika, osredotočen na pridobivanje in normalizacijo ustreznih znanstveno relevantnih podatkov, s katerimi bo lažje spremljati nova spoznanja o tej domeni.
Na področju statistike predlagamo novo metodo za statistično primerjavo eksperimentalnih podatkov, ki je odpornejša na osamelce in morebitne majhne razlike med vrednostmi podatkov. Metoda temelji na novi razvrstitveni shemi, ki uporablja celotno porazdelitev podatkov in ne le posameznih statističnih mer za opis porazdelitve podatkov, kot sta povprečje ali mediana.
Na področju obdelave naravnega jezika obravnavamo problem pridobivanja podatkov iz doslej še neobravnavane domene, pri čemer predlagamo novo metodo prepoznavanja entitet, ki temelji na pravilih. Metoda ne zahteva označenega korpusa in se od drugih metod prepoznavanja entitet, ki temeljijo na pravilih, razlikuje po tem, da pravila niso povezana z značilnostmi entitet. Z uporabo verjetnostnega modela domene, ki vsebuje morfološke informacije, najdene v besedilu, smo izboljšali zaznavanje podobnosti med kratkimi besedili, ki so del iste domene. Predlagana metoda je lahko osnova za normalizacijo besedila, ki se uporablja pri avtomatski preslikavi koncepta (entitete) v koncept, ki že obstaja v terminološkem viru, specifičnem za določeno domeno.
Predlagane metode so ovrednotene na realnih problemih s področij računalništva in prehrane. Statistična metoda je preizkušena z uporabo eksperimentalnih podatkov s področja optimizacije. Rezultati kažejo, da metoda daje robustnejše rezultate od pogosto uporabljenega pristopa za statistično primerjavo, še posebej, če na rezultate vpliva prisotnost osamelcev ali morebitnih majhnih razlik med vrednostmi podatkov. Metoda prepoznavanja entitet je preizkušena na področju prehrane, ki doslej še ni bilo obravnavano, pri čemer so bili doseženi obetavni rezultati. Metoda za iskanje podobnosti med kratkimi besedili je preizkušena tudi pri ujemanju informacij o živilih, kjer je entiteta lahko predstavljena na različne načine, z uporabo besednih zvez z različnimi strukturami. Rezultati kažejo, da metoda dosega obetavnejše rezultate v primerjavi z običajnimi pristopi, ki se uporabljajo za ugotavljanje podobnosti med besedili.