UIINFNP016 Hluboké učení

Filozoficko-přírodovědecká fakulta v Opavě
zima 2021
Rozsah
2/2/0. 6 kr. Ukončení: zk.
Vyučující
doc. Ing. Petr Sosík, Dr. (přednášející)
Mgr. Tomáš Filip (cvičící)
doc. Ing. Petr Sosík, Dr. (cvičící)
Garance
doc. Ing. Petr Sosík, Dr.
Ústav informatiky – Filozoficko-přírodovědecká fakulta v Opavě
Rozvrh
Čt 13:55–15:30 B2
  • Rozvrh seminárních/paralelních skupin:
UIINFNP016/A: Po 16:25–18:00 LAID, Po 16:25–18:00 B3b, T. Filip
Předpoklady
- základy počtu pravděpodobnosti - diferenciální počet funkcí více proměnných, parciální derivace, gradient - výhodou je elementární znalost Pythonu
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
Cíle předmětu
Dnes nejúspěšnější větev strojového učení se volně inspiruje neurofyziologií mozku pro návrh "neuronových" algoritmů schopných učení na příkladech, generalizace poznatků a hledání přibližných řešení obtížných problémů. Tyto algoritmy se dnes zpravidla spouštějí na farmách grafických karet (GPU). Mezi nejčastější aplikace patří úlohy klasifikace do kategorií, analýza a rozpoznávání obrazu, porozumění a generování textu nebo strategické rozhodování.
Výstupy z učení
Student se seznámí se základními matematickými a konstrukčními principy hlubokého učení. Bude schopen navrhovat a testovat sítě hlubokého učení pro řadu úloh jako je klasifikace, analýza obrazu, porozumění a generování textu nebo strategické rozhodování.
Osnova
  • 1. Motivace a principy. Matematický model neuronu. Schopnost UNS učit se na příkladech a zobecňovat naučená data. Aktivní, adaptivní a organizační dynamika, typy učení. Ztrátová funkce a její role v tréninku sítě. Přeučená a nedoučená síť.
  • 2. Perceptron - základní model neuronové sítě pro učení s učitelem. Minimalizace ztrátové funkce, využití gradientních metod. Algoritmus Backpropagation, popis a matematické odvození.
  • 3. Hyperparametry, regularizace, optimalizátory pro zvýšení rychlosti tréninku a pro zlepšení kvality výsledného naučení sítě.
  • 4. Konvoluční sítě pro počítačové vidění - principy, grafické znázornění, výsledky z poslední doby. Hluboké architektury se speciálními typy vrstev: konvoluční vrstvy a vrstvy sdružující dle maxima (max-pooling).
  • 5. Rekurentní sítě pro sekvenční data - texty, sekvence obrazů (video), hudební záznamy a podobně. Princip rekurentních vrstev sítě, jejich časový rozvoj. Speciální typy vrstev: LSTM (Long Short-Term Memory) a GRU (Gated Recurrent Unit).
Literatura
    povinná literatura
  • Chollet, F. Deep learning v jazyku Python. Grada, Praha, 2019.
  • ŠÍMA, J., NERUDA, R. Teoretické otázky neuronových sítí. 1996. URL info
    doporučená literatura
  • Goodfellow, I, Bengio, Y., Courville, A. Deep Learning. MIT Press, 2016. Dostupné online.
Výukové metody
Přednáška s aktivizací
Přednáška s analýzou videozáznamu
Metody hodnocení
Individuální projekty a příklady k domácímu řešení.
Informace učitele
1. Teoretické i praktické příklady zadávané na semináři.
2. Závěrečný praktický projekt z hlubokého učení.
3. Nejméně 50% bodů z teoretických příkladů z celého obsahu předmětu.
Předmět je zařazen také v obdobích zima 2022, zima 2023, zima 2024.