REPOZITORIJ > REZULTATI

Povzetek

Obujeno področje globokega učenja je v zadnjem desetletju ponudilo pristope, ki postajajo
ključni sestavni deli sodobnih inteligentnih sistemov. Poleg učinkovitosti je za te metode
značilna tudi njihova sposobnost procesiranja večjih količin podatkov (skaliranje). Glavni
pomanjkljivosti globokega učenja sta neinterpretabilnost ter nezmožnost direktne izrabe
uporabnega simbolnega predznanja. Veja strojnega učenja, ki uspešno naslavlja te probleme,
je simbolno učenje, ki je v računalništvu prisotno že vsaj 50 let.
Glavna tematika te disertacije je novejše področje t. i. nevro-simbolnega strojnega učenja.
Ta veja učenja raziskuje, ali s kombiniranjem oz. izrabo idej tako s področja nevronskega
(podsimbolnega) učenja ter simbolnega učenja lahko obstoječe metode nadgradimo z
ozirom na njihovo interpretabilnost, skaliranje ter napovedne sposobnosti. Področje nevrosimbolnega
učenja je uporabno za učenje iz različnih tipov vhodnih podatkov, kot so npr.
tabele, grafi ali tekstovni podatki. V disertaciji smo raziskali, kdaj ter do kakšne mere lahko
paradigma nevro-simbolnega učenja pomaga pri učenju reprezentacij vozlišč v omrežjih,
klasifikaciji tekstov ter rangiranju značilk. Raziskali smo različne lastnosti nevro-simbolnih
modelov: od njihovega učinka na npr. klasifikacijsko točnost do njihovega skaliranja na
računalniških gručah. Glavni prispevki, predstavljeni v tem delu, se osredotočajo na različne
tipe vhodnih podatkov. Začnemo z razvitimi metodami za nevro-simbolno učenje iz
relacijskih podatkov, kjer smo raziskali dve nalogi učenja: učenje iz relacijskih baz ter vložitve
vozlišč v omrežjih. Rezultati kažejo, da lahko z uporabno nevro-simbolne paradigme
učenja dosežemo boljše skaliranje metod propozicionalizacije, ter pridobimo kvalitetne vložitve
vozlišč v omrežjih, ki omogočajo boljše skaliranje ter podobno klasifikacijsko točnost
kot obstoječe metode v širši rabi.
V nadaljevanju predstavimo orodje autoBOT, razvito z namenom avtomatizacije naloge
klasifikacije tekstov. V disertaciji pokažemo, da je s hkratno izrabo simbolnih ter podsimbolnih
reprezentacij dokumentov, dodatno obteženih s pomočjo evolucijske optimizacije,
mogoče pridobiti modele, zmožne dobre klasifikacijske točnosti, ki so hkrati interpretabilni
na dveh nivojih: na nivoju tipov značilk kot tudi posameznih značilk. Gre za enega prvih
nevro-simbolnih sistemov, razvitega za avtomatizacijo učenja iz tekstov. Poleg razvite
metode v disertaciji predstavimo tudi še neobjavljeno računsko ogrodje, ki nam je omogočilo
skaliranje evolucije na več različnih računalniških gruč, sestoječih iz stotin računskih
vozlišč z različnimi specifikacijami. Ta nivo skaliranja nam je omogočil izvedbo enega do
dveh velikostnih razredov več eksperimentov.
V zadnjem delu disertacije se osredotočimo na nalogo rangiranja značilk. Tu kot rezultat
pričakujemo izračunane pomembnosti za vsako značilko. Značilke z večimi pomembnostmi
imajo pričakovano večji vpliv na sposobnost razločevanja elementov izhodnega prostora.
V disertaciji prikažemo uporabnost nevro-simbolne paradigme za boljše razumevanje
odnosa med nevronsko pozornostjo ter rangiranjem značilk kot tudi kako lahko z vložitvami
vhodnega prostora pospešimo proces rangiranja z obstoječimi algoritmi, kot so npr. algoritmi
iz družine Relief. Na koncu disertacije kritično ovrednotimo razvite pristope, njihove
pomanjkljivosti ter potencialno zanimive razširitve.