Učenje kot modeliranje in optimizacija:
cilji učenja, različne naloge učenja, klasifikacija, regresija, ocenjevanje verjetnosti in gostote verjetnosti, rangiranje, razvrščanje, posplošitve osnovnih nalog, učenje kot optimizacija, generativni pristopi.
Uspešnost učenja:
mere uspešnosti učenja za različne naloge, intervali zaupanja, strmenske in permutacijske metode, kalibracija verjetnosti.
Ocene napake:
pretirana prilagoditev učnim podatkom, regularizacija, dekompozicija napake na pristranost in razpršenost, prečno preverjanje.
Primerjava modelov:
neobstoj zastonjskega kosila, statistični testi za primerjavo modelov.
Kombiniranje modelov:
šibko učenje in principi kombiniranja metod, napake in raznolikost kombiniranih metod.
Temeljni modeli:
zgradba temeljnih modelov za tabelarične podatke, veliki jezikovni modeli in veliki multimodalni modeli, vektorskew vložitve.
Vizualizacija napovednih modelov:
aditivni modeli, razlage odločitev, vizualizacijske tehnike za nekatere kompleksne modele
Primeri uporabe za področje jezikovnih tehnologij in omrežij.
Learning as modeling and optimization:
learning goals, learning tasks, classification, regression, probability estimation, density estimation, ranking, clustering, generalizations of basic tasks, learning as optimization, generative approaches.
Validation of learning:
validation measures for different tasks, confidence intervals, bootstrap and permutation approaches, probability calibration.
Error estimation:
data overfitting, regularization, bias-variance error decomposition, cross-validation.
Model comparison:
no free lunch theorem, statistical test for model comparison.
Combining models:
weak learning and principles of ensemble learning, error and diversity in ensembles.
Foundation models
structure of foundation models for tabular data, data representation, evaluation
Visualization of predictive models:
additive models, explaining decisions, visualization techniques for some complex models
Use cases from natural language processing and graph learning