REPOZITORIJ > REZULTATI

Doktorska disertacija

Semantično odkrivanje podskupin

Avtor(ji): Anže Vavpetič (Avtor), Nada Lavrač (Mentor)

Datum zagovora: 09.05.2016

Organizacija: MPŠ - Mednarodna podiplomska šola Jožefa Stefana

PID: 20.500.12556/ReVIS-15050

Ogledi: 2 | Prenosi: 0

Povzetek

Disertacija obravnava semantično odkrivanje podskupin (SOP), področje na presečišču relacijskega podatkovnega rudarjenja in semantičnega spleta. Naloga odkrivanja podskupin obsega iskanje statistično najbolj zanimivih podskupin v populaciji (npr. podskupine, ki so čim večje in imajo najbolj nenavadne statistične značilnosti v primerjavi z neko izbrano lastnostjo). V okviru SOP izkoriščamo ontološke in druge strukturirane oblike predznanja za izboljšanje procesa odkrivanja podskupin.
Razvili smo formalni okvir za semantično odkrivanje podskupin in pristop ilustrirali na motivacijskem primeru. Zasnovali smo nove algoritme, ki smo jih uporabili in ocenili na več domenah. Nove implementacije SOP pristopov SDM-SEGS, SDM-Aleph in Hedwig smo sistematično primerjali na dveh mikromrežah s pomočjo različnih mer za ocenjevanje podskupin. Statistična validacija je pokazala, da se najbolje odreže pristop Hedwig, ki mu tesno sledijo ostali, saj noben pristop ni prevladoval v vseh merilih ocenjevanja. Razviti programi so odprtokodni in na voljo v obliki paketov za programski jezik Python ter v obliki gradnikov za platformo ClowdFlows za podatkovno rudarjenje.
Pristope smo uporabili na treh praktičnih primerih: razlaganje podskupin obolelih za rakom na prsih, analiza podatkov o DNK aberacijah in odkrivanje podskupin iz finančnih novic. Na prvem praktičnem primeru smo s pomočjo SOP uporabili ontologijo genov (angl. Gene Ontology) za generiranje razlag podskupin obolelih. Pristop smo primerjali z metodologijo podpornih faktorjev. Naši rezultati so se ujemali s predhodno raziskavo. Metodologijo smo pripravili tudi v obliki delotoka v platformi ClowdFlows, kar omogoča ponovljivost eksperimenta, prav tako pa je mogoče delotok enostavno prilagoditi reševanju podobnih problemov. V okviru raziskave analize podatkov o DNK aberacijah je bilo SOP eno od treh delov metodologije, ki je vključevala še mešane modele (angl. mixture models) ter pasovne matrike. Metodologija vse tri pristope združuje v inovativno vizualizacijo za gruče in pravila. Pristop je ponudil nov vpogled v podatke o DNK aberacijah. Metodologijo smo uporabili tudi na štirih javno dostopnih zbirkah podatkov, ki vključujejo tudi predznanje, zbrano z DBpedije. Z izjemo ene zbirke podatkov, ki ni izkazala lastnosti pasovnih matrik, se je pristop izkazal kot primeren.
Pri finančnem praktičnem primeru smo hoteli pridobiti vpogled v širok nabor novic. Bolj natančno smo raziskovali razmerje med percepcijo finančnega trga neke entitete in članke, ki jo omenjajo. Za ciljno finančno entiteto smo izbrali Portugalsko. Prav tako smo uporabili polavtomatsko izdelano ontologijo. Za model percepcije trga smo uporabili ceno zamenjave kreditnega tveganja (angl. credit default swap), ki odraža verjetnost, da država ne bo mogla odplačati dolga. Z uporabo Hedwig smo našli dve zanimivi pravili, ki opisujeta lokalne ekstreme v ceni zamenjave kreditnega tveganja.
Disertacija pomembno prispeva tudi k področju relacijskega podatkovnega rudarjenja (RPP). Razvili smo knjižnico za programski jezik Python in nabor gradnikov za platformo ClowdFlows. Paket vključuje številne pristope za RPP in podporo za MySQL in PostgreSQL prek preprostega programskega vmesnika. Paket poskuša olajšati čim več težav, ki bi jih raziskovalec, ki se je šele začel ukvarjati z RPP, utegnil srečati pri delu.

Priloge

Citiraj to delo