Ogledi: 4 | Prenosi: 0
Tekstovno rudarjenje je področje podatkovnega rudarjenja, ki temelji na tehnikah strojnega učenja, obdelave naravnega jezika, ekstrakcije informacij, informacijskega poizvedovanja in upravljanja znanja. Tekstovno rudarjenje je zrelo področje raziskovanja, ki ponuja uporabniku številne odprtokodne algoritme in knjižnice za obdelavo naravnega jezika, kot sta npr. knjižnici NLTK in scikit-learn. Kljub temu pa so tako eksperimenti tekstovnega rudarjenja in obdelave naravnega jezika kot tudi sistematična primerjava algoritmov še vedno težko izvedljivi. V ta namen je bilo opravljenih več (le deloma uspešnih) poizkusov razvoja sistemov, ki bi uporabniku z enostavno uporabo in načinom vizualnega programiranja omogočili sestavo in izvajanje kompleksnih postopkov za obdelavo tekstovnih podatkov.
Doktorska disertacija obravnava več odprtih vprašanj in tehnoloških vrzeli tekstovnega rudarjenja ter obdelave naravnega jezika v okviru treh glavnih smeri: (a) razvoj naprednih infrastruktur za tekstovno rudarjenje in obdelavo naravnega jezika, (b) razvoj naprednih delotokov za odkrivanje meddomenskih zakonitosti v podatkih, (c) razvoj naprednih delotokov za pretvorbo problema relacijskega rudarjenja podatkov na problem tekstovnega rudarjenja.
Razvili smo odprtokodno oblačno platformo TextFlows za tekstovno rudarjenje podatkov, ki omogoča gradnjo in izvajanje delotokov tekstovnega rudarjenja podatkov in obdelave naravnega jezika. Platforma hkrati omogoča tudi integracijo ter enostaven dostop do naprednih delotokov, razvitih v okviru te doktorske disertacije. Disertacija vključuje tudi pregled obstoječih knjižnic in sistemov za rudarjenje tekstovnih podatkov ter povzema njihove zmožnosti in pomanjkljivosti. Obravnavanih je tudi več novih scenarijev odkrivanja znanja, za katere smo razvili novo metodologijo in implementacijo, hkrati pa podamo tudi evalvacijo na problemih tekstovnega in podatkovnega rudarjenja. Disertacija se osredotoča na razvoj naprednih delotokov za obdelavo naravnega jezika, naprednih delotokov za odkrivanje meddomenskih zakonitosti v podatkih in delotokov, ki preoblikujejo problem relacijskega podatkovnega rudarjenja v problem tekstovnega rudarjenja. Implementacije postopkov za reševanje obravnavanih scenarijev so na voljo v platformi TextFlows, kar omogoča enostavno izmenjavo razvitih delotokov in ponovljivost eksperimentov.
strojno učenje rudarjenje podatkov tekstovno rudarjenje obdelava naravnega jezika ekstrakcija informacij informacijsko poizvedovanje upravljanje znanja