REPOZITORIJ > REZULTATI

Povzetek

Disertacija obravnava izzive, ki se pojavljajo ob integraciji novega jezika v inteligentni
sistem. Eden večjih izzivov pri procesiranju naravnega jezika je uporaba več jezikov znotraj
istega sistema. V ta namen definiramo koncept medjezičnosti kot strategijo za reševanje
problemov, ki zajemajo večjezično vsebino, brez da bi se posluževali celotnih sistemov
za strojno prevajanje. Disertacija prikaže in ovrednoti prednosti in slabosti posameznih
predstavljenih komponent ter opiše različne abstrakcije, ki so nam na voljo pri procesiranju
večjezičnega besedila. Temelj medjezičnosti je namreč zmožnost, da lahko obravnavamo
večjezično besedilo na skupni predstavitvi.
Glavna motivacija te disertacije je ugotoviti, kako lahko baze znanja pripomorejo k
dostopu do večjezičnih informacij in razumevanju uporabniško ustvarjene vsebine.
Najprej se osredotočimo na različne vloge baz znanja pri dostopu do večjezičnih informacij.
Osredotočimo se na temeljni izziv medjezičnosti, grajenje prevajalnih modelov
z uporabo šibko poravnanih dvojezičnih korpusov, kar je uporabno v primerih, kjer ni
možna uporaba paralelnih korpusov. Modele ovrednotimo na večih nalogah: prevajanje v
vektorskem prostoru, ugotavljanja medsebojne podobnosti dokumentov v različnih jezikih
in sestavljanje dvojezničnih slovarjev. Predstavimo metodo na osnovi vložitve besed in
nelinearne regresije, kjer se poslužujemo učinkovitih metod za učenje jedrne regresije na
podlagi približkov. Druga predstavljena metoda se osredotoča na interpretacijo problema
s stališča rekonstrukcije redkega signala, kjer prevajanje vidimo kot komunikacijski kanal s
šumom, naša naloga pa je rekonstrukcija vektorske oblike besed iz izvornega v ciljni jezik.
Kot drugi način uporabe baz znanja predstavimo tudi metodo za razločevanje imenskih
entitet v besedilih na podlagi povezanosti med entitetami. Predstavimo več načinov
obravnavanja povezanosti, ki se izkažejo kot komplementarni. Med temi predstavimo novo
metodo za izračun povezanosti med parom entitet na podlagi statističnega uteževanja medsebojnih
povezav, kjer jo primerjamo z uporabo statistike sopojavitev entitet ter uporabo
podobnosti besedil kot metrike podobnosti entitet. Pokažemo, da najboljši rezultat prinese
uporaba vseh treh metrik.
Disertacija obravnava tudi jezik v družbenih medijih kot specifičen žanr uporabniško
ustvarjene vsebine, kjer mnoge predpostavke, ki se tipično pojavljajo pri procesiranju naravnega
jezika, ne veljajo več. V ta namen uporabimo drugačne predstavitve jezika. Predstavimo
metodo za povzemanje komentarjev v družabnih medijih na novice, kjer želimo
prikazati le najzanimivejše odzive na novico. Predstavimo nov algoritem za povzemanje, ki
ima tudi teoretične garancije za kakovost svojega delovanja. Delovanje metode primerjamo
z veči primerljivimi metodami in s pomočjo dveh različnih evalvacij prikažemo naše izboljšave.
Delovanje prikažemo na resničnih podatkih, s čimer tudi obravnavamo povezanost
koncepta zanimivosti z drugimi lastnostmi besedila.
Predstavimo tudi novo metodo za analizo naklonjenosti, ki se lahko prilagodi različnim
žanrom besedila s pomočjo uporabe zunanjega znanja ter nebesednih značilk s poudarkom
na visoki natančnosti že pri majhnih učnih množicah.