UIN3042 Umělé neuronové sítě

Filozoficko-přírodovědecká fakulta v Opavě
zima 2021
Rozsah
2/2/0. 6 kr. Ukončení: zk.
Vyučující
doc. Ing. Petr Sosík, Dr. (přednášející)
doc. Ing. Petr Sosík, Dr. (cvičící)
Mgr. Tomáš Filip (cvičící)
Garance
doc. Ing. Petr Sosík, Dr.
Ústav informatiky – Filozoficko-přírodovědecká fakulta v Opavě
Rozvrh
Čt 13:55–15:30 B2
  • Rozvrh seminárních/paralelních skupin:
UIN3042/A: Po 16:25–18:00 LAID, Po 16:25–18:00 B3b, T. Filip
Předpoklady
- základy počtu pravděpodobnosti
- diferenciální počet funkcí více proměnných, parciální derivace, gradient
- výhodou je elementární znalost Pythonu
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
Cíle předmětu
Dnes nejúspěšnější větev strojového učení se volně inspiruje neurofyziologií mozku pro návrh "neuronových" algoritmů schopných učení na příkladech, generalizace poznatků a hledání přibližných řešení obtížných problémů. Tyto algoritmy se dnes zpravidla spouštějí na farmách grafických karet (GPU). Mezi nejčastější aplikace patří úlohy klasifikace do kategorií, analýza a rozpoznávání obrazu, porozumění a generování textu nebo strategické rozhodování.
Výstupy z učení
Student se seznámí se základními matematickými a konstrukčními principy hlubokého učení. Bude schopen navrhovat a testovat sítě hlubokého učení pro řadu úloh jako je klasifikace, analýza obrazu, porozumění a generování textu nebo strategické rozhodování.
Osnova
  • 1. Motivace a principy. Matematický model neuronu. Schopnost UNS učit se na příkladech a zobecňovat naučená data. Aktivní, adaptivní a organizační dynamika, typy učení. Ztrátová funkce a její role v tréninku sítě. Přeučená a nedoučená síť.
  • 2. Perceptron - základní model neuronové sítě pro učení s učitelem. Minimalizace ztrátové funkce, využití gradientních metod. Algoritmus Backpropagation, popis a matematické odvození.
  • 3. Hyperparametry, regularizace, optimalizátory pro zvýšení rychlosti tréninku a pro zlepšení kvality výsledného naučení sítě.
  • 4. Konvoluční sítě pro počítačové vidění - principy, grafické znázornění, výsledky z poslední doby. Hluboké architektury se speciálními typy vrstev: konvoluční vrstvy a vrstvy sdružující dle maxima (max-pooling).
  • 5. Rekurentní sítě pro sekvenční data - texty, sekvence obrazů (video), hudební záznamy a podobně. Princip rekurentních vrstev sítě, jejich časový rozvoj. Speciální typy vrstev: LSTM (Long Short-Term Memory) a GRU (Gated Recurrent Unit).
Literatura
    povinná literatura
  • Chollet, F. Deep learning v jazyku Python. Grada, Praha, 2019.
  • NERUDA, R., ŠÍMA, J. Teoretické otázky neuronových sítí. Matfyzpress, Praha, 1996. info
    doporučená literatura
  • Goodfellow, I, Bengio, Y., Courville, A. Deep Learning. MIT Press, 2016. Dostupné online.
Výukové metody
Přednáška s aktivizací
Přednáška s analýzou videozáznamu
Metody hodnocení
Individuální projekty a příklady k domácímu řešení.
Informace učitele
1. Průběžné teoretické i praktické příklady zadávané na semináři.
2. Závěrečný praktický projekt z hlubokého učení.
3. Nejméně 50% bodů z teoretických příkladů z celého obsahu předmětu.
Další komentáře
Předmět je dovoleno ukončit i mimo zkouškové období.
Předmět je zařazen také v obdobích zima 1993, zima 1994, zima 1995, zima 1996, zima 1997, zima 1998, zima 1999, zima 2000, zima 2001, zima 2002, zima 2003, zima 2004, léto 2006, zima 2006, zima 2007, zima 2008, zima 2009, zima 2010, zima 2011, zima 2012, zima 2013, zima 2014, zima 2015, zima 2016, zima 2017, zima 2018, zima 2019, zima 2020, zima 2022, zima 2023.