MPŠ
MPŠ MP&Scaron MP&Scaron MP&Scaron Avtorji

Mednarodna
podiplomska šola
Jožefa Stefana

Jamova 39
SI-1000 Ljubljana
Slovenija

Tel: (01) 477 31 00
Faks: (01) 477 31 10
E-pošta: info@mps.si

Išči

Opis predmeta

Metodologija in evalvacija v tehnologijah znanja

Programi:

Informacijske in komunikacijske tehnologije, 3. stopnja

Sodelavci:

prof. dr. Marko Robnik Šikonja

Cilji:

Cilj predmeta je pregledno predstaviti metodologijo in evalvacijo statističnega učenja na primerih s področja procesiranja naravnega jezika. Poudarek je na povezavi poznavanja teoretičnih konceptov s praktičnimi znanji iz podatkovne analitike, povezanimi z rabo orodij, ki omogočajo analizo podatkov, evalvacijo in izbor modelov, njihovo vizualizacijo in interpretacijo.

Predvidene kompetence:

• poznavanje osnovnih metodoloških pristopov k statističnemu učenju,
• poznavanje mer uspešnosti učenja in njihovih lastnosti,
• poznavanje načinov za ocenjevanje posplošitvene napake učenja,
• praktična uporaba statističnih testov za primerjavo učnih modelov,
• poznavanje načinov za kombiniranje učnih metod,
• napredna vizualizacija napovednih modelov in odločitev,
• poznavanje odprtokodnih orodij za statistično učenje na področju naravnega jezika.

Vsebina:

Učenje kot modeliranje in optimizacija:
cilji učenja, različne naloge učenja, klasifikacija, regresija, ocenjevanje verjetnosti in gostote verjetnosti, rangiranje, razvrščanje, posplošitve osnovnih nalog, učenje kot optimizacija

Uspešnost učenja:
mere uspešnosti učenja za različne naloge, intervali zaupanja, strmenske in permutacijske metode, kalibracija verjetnosti

Ocene napake:
pretirana prilagoditev učnim podatkom, regularizacija, dekompozicija napake na pristranost in razpršenost, rob, prečno preverjanje, VC dimenzija, princip najkrajše dolžine opisa

Primerjava modelov:
neobstoj zastonjskega kosila, statistični testi za primerjavo modelov.

Kombiniranje modelov:
šibko učenje in principi kombiniranja metod, napake in raznolikost kombiniranih metod.

Vizualizacija napovednih modelov:
aditivni modeli, razlage odločitev, vizualizacijske tehnike za nekatere kompleksne modele, orodje VIPER

Primeri uporabe za področje jezikovnih tehnologij.

Temeljna literatura in viri:

Izbrana poglavja iz naslednjih knjig:

• G. James, D. Witten, T. Hastie, and R. Tibshirani, An Introduction to Statistical Learning with Applications in R. Springer, 2013. ISBN 978-1-4614-7137-0
• T. Hastie, R. Tibshirani, and J. Friedman, The elements of statistical learning, 2nd edition. Springer, 2009. ISBN 978-0-387-84857-0
• P. K. Janert, Data analysis with open source tools. O'Reilly Media. 2010. ISBN 978-0-596-80235-6
• S. Bird, E. Klein, and E. Loper, Natural Language Processing with Python, O'Reilly Media. 2009. ISBN 978-0-596-51649-9

Izbrane reference nosilca:

• M. Robnik Šikonja, and K. Vanhoof, Evaluation of ordinal attributes at value level. Data mining and knowledge discovery, 2007, vol. 14, no. 2, str. 225-243.
• M. Robnik Šikonja, and I. Kononeko, Theoretical and empirical analysis of ReliefF and RReliefF. Machine learning, 2003, 53:23-69.
• M. Robnik Šikonja, and I. Kononeko, Explaining classifications for individual instances. IEEE Transactions on Knowledge and Data Engineering, 2008, 20(5):589-600.
• M. Pičulin, and M. Robnik Šikonja, Handling numeric attributes with ant colony based classifier for medical decision making. Expert systems with applications, 2014, 41(16):7524-7535.
• M. Robnik Šikonja, I. Kononeko, and E. Štrumbelj: Quality of Classification Explanations with PRBF. Neurocomputing, 96:37-46, 2012

Načini preverjanja znanja:

Pisni ali ustni izpit (50%)
Seminarska naloga z javno predstavitvijo (50%)

Obveznosti študentov:

Pisni ali ustni izpit
Seminarska naloga z javno predstavitvijo

Zunanje povezave: