Hluboké učení

Motivation and principles


Úkol: Trénink neuronové sítě pro problém XOR

Jde o obtížnější geometrickou variantu problému XOR. Pokud se trénovací chyba nedostane pod 0,2,  restartujte učení, dokud se to nepodaří. Laborováním s parametry sítě můžeme dosáhnout ještě lepších výsledků.

Odkaz na úkol zde

Další studijní materiály

F. Chollet: Deep Learning v jazyku Python, kapitola 1.

R. Neruda, J. Šíma: Teoretické otázky neuronových sítí, kapitola 1 (neaktualizováno).

P. Sosík: Skripta z neuronových sítí, kapitola 1 (částečně aktualizováno).

Matematické základy hlubokého učení (3 body)
1. Projděte si https://home.pf.jcu.cz/~hasek/lalgebra/Pr3/Nasobeni_matic.pdf a vyřešte příklad 24 a,b.

2. Normální rozdělení pravděpodobnosti, až po distribuční funkci (tu už ne). https://cs.wikipedia.org/wiki/Norm%C3%A1ln%C3%AD_rozd%C4%9Blen%C3%AD

3. Zopakujte si, čemu se rovná derivace součtu, součinu a podílu dvou funkcí. Pak si projděte derivace složené funkce na https://cs.khanacademy.org/math/differential-calculus/dc-chain/dc-chain-rule/a/chain-rule-review a spočtěte derivaci funkce sigmoida (vzorec viz https://botpenguin.com/glossary/sigmoid-function)