REPOZITORIJ > REZULTATI

Povzetek

V disertaciji predstavljeno delo se ukvarja s še nerealiziranim potencialom gradientnih
algoritmov na podrocjih racunalništva izven globokega ucenja. Ogromen napredek na podrocju
globokega ucenja je razkril zmogljivost tako metode avtomatskega odvajanja kot
gradientnega spusta za reševanje optimizacijskih problemov velikih dimenzij na skalabilen
in racunsko ucinkovit nacin. Vendar je njuna uporaba še vedno zelo omejena zaradi pomanjkanja
metodologij, s katerimi bi lahko splošne optimizacijske probleme prilagodili do
oblike, znane iz globokega ucenja, kot tudi zaradi prepricanja, da so problemi globokega
ucenja na nek nacin posebni in da se metode, ki se pri njih uporabljajo, ne prenašajo
dobro na druge probleme v racunalništvu, ki vkljucujejo optimizacijo. V tej disertaciji
izpodbijamo to prepricanje s prikazom uporabnosti gradientnih algoritmov na raznolikem
naboru realnih problemov iz strojnega ucenja in optimizacije velikih dimenzij. Eden od
ciljev te disertacije je pokazati univerzalnost in uporabnost gradientnih algoritmov tudi
na podrocjih, na katerih ni ocitno, na kakšen nacin jih uporabiti. V ta namen smo se
osredotocili na primere, kjer se uporabnost in ucinkovitost gradientnih algoritmov zdita
še posebej presenetljivi, kot so diskretna optimizacija, grucenje in problemi, ki vkljucujejo
simulacije.
V tem delu razvijamo metodološke okvire za uporabo gradientnih algoritmov v strojnem
ucenju in optimizaciji velikih dimenzij na nacin, da prilagodimo (transformiramo)
te probleme v obliko, v kateri je mogoce prosto uporabiti splošne gradientne algoritme.
Te prilagoditve problemov vkljucujejo razvoj izvedljivih nacinov za obravnavanje omejitev,
preoblikovanje problemov z uporabo primernejših nacinov kodiranja in prepisovanje
problemov v obliko, ki omogoca izracun gradienta (tudi pri simulacijah in diskretnih problemih).
V želji po izcrpnosti smo se spopadli s problemi iz vseh treh vej strojnega ucenja
(nadzorovano, nenadzorovano in spodbujevano ucenje) ter v diskretni in zvezni optimizaciji
velikih dimenzij. Disertacijo zakljucimo z eno od odprtih tem v gradientni optimizaciji,
in sicer kontroli parametrov gradientnega spusta. Tu predlagamo novo, algoritemsko
agnosticno metodo za prilagajanje parametrov gradientnega spusta na sproten nacin, med
optimizacijo.