Dolování dat Strojové učení Jan Górecki Název prezentace Název projektu Rozvoj vzdělávání na Slezské univerzitě v Opavě Registrační číslo projektu CZ.02.2.69/0.0./0.0/16_015/0002400 Logolink_OP_VVV_hor_barva_cz Obsah přednášky •Co je to Strojového učení •Typy učení •Metody učení •Učení jako prohledávání •Učení jako aproximace mineiro2.jpg •The field of machine learning is concerned with the question of how to construct computer programs that automatically improve with experience. •(Mitchell, 1997) Strojové učení csvukrs •Things learn when they change their behavior in a way that makes them perform better in a future. •(Witten, Frank, 1999) Strojové učení csvukrs •učení se konceptům (knowledge acquisition) •učení se dovednostem (skill refinement). • Typy učení csvukrs Vztah strojového učení a dobývání znalostí T4-uceni-a-kdd csvukrs Obecné schéma učícího se systému csvukrs 1.učení zapamatováním (rote learning neboli biflování), 2.učení se z instrukcí (learning from instruction, learning by being told), 3.učení se z analogie (learning by analogy, instance-based learning, lazy learning), 4.učení na základě vysvětlení (explanation-based learning), 5.učení se z příkladů (learning from examples), 6.učení se z pozorování a objevováním (learning from observation and discovery), Metody učení 1)Systém si pouze pamatuje data (nijak je netransformuje) – student se nabifluje skripta 2)Systém si znalosti získané z externího zdroje transformuje do své reprezentace znalostí – student pochopí, co se mu učitel snaží říct 3)Např. jak řešit právní spory 4)Např. výuka ve škole 5)Např. učení se v práci (často neexistují žádná „skripta“ nebo příručky, jak dělat danou práci) 6)Např. učení se hrát šachy •statistické metody - regresní metody, diskriminační analýza, shluková analýza, •symbolické metody umělé inteligence - rozhodovací stromy a pravidla, případové usuzování (CBR), •subsymbolické metody umělé inteligence - neuronové sítě, bayesovské sítě nebo genetické algoritmy. Metody učení csvukrs •Může mít podobu: •příkladů zařazených do tříd (učení s učitelem - supervised learning) •odměny za správné chování a tresty za chování nesprávné (reinforcement learning) •nepřímé náznaky odvozené s chování učitele (apprenticeship learning) •žádné (učení bez učitele - unsupervised learning) Informace o správnosti učení reinforcement learning: Hra na schovávanou https://www.youtube.com/watch?v=kopoLzvh5jY https://www.youtube.com/watch?v=n6nF9WfpPrA parkování https://www.youtube.com/watch?v=VMp6pq6_QjI apprenticeship learning: Jak chápe google koncept student a studetka (zobrazit výsledky jako obrázky (images)) •empirické – vychází se z velkého množství příkladů a žádných (nebo jen mála) počátečních znalostí •analytické – vychází se z velkého množství počátečních znalostí a jen několika (ilustračních) příkladů Metody učení Analytické – dítě šáhne na rozpálená kamna jen jednou •objekty, patřící do téže třídy mají podobné charakteristiky (učení na základě podobnosti, similarity-based learning) –příklady téže třídy vytvářejí shluky v prostoru atributů –cílem učení je tyto shluky nalézt a popsat • Principy empirického učení z dat – 1. csvukrs Principy empirického učení z dat – 2. T4-data_tabulka T4-data_prostor-atributu •Nebezpečí „garbage in, garbage out“ •Důležitost přípravy a předzpracování dat csvukrs Principy empirického učení z dat – 3. •z konečného počtu příkladů odvozujeme obecné znalosti (induktivnost) • • • • • T4-primka_na_trenovacich T4-primka_na_testovacich csvukrs Principy empirického učení z dat – 4. •Příklady rozděleny do 2 (někdy 3) množin: –trénovací data pro vytvoření modelu –(validační data pro doladění parametrů) –testovací data pro otestování modelu csvukrs •Analyzovaná data: • • • • •Řádky tabulky reprezentují sledované objekty •Sloupce datové tabulky odpovídají atributům • Obecná definice strojového učení csvukrs •Přidáme-li cílový atribut do datové tabulky, získáme data vhodná pro použití některé metody učení s učitelem (tzv. trénovací data). • • • • • •Klasifikační úloha: hledáme znalosti (reprezentované rozhodovací funkcí f), které by umožňovaly k hodnotám vstupních atributů nějakého objektu přiřadit vhodnou hodnotu atributu cílového •f: x ® y. Obecná definice strojového učení (s učitelem) Objekt (trénovací příklad) z této tabulky budeme značit oi = [ xi , yi ] csvukrs •V průběhu klasifikace se tedy pro hodnoty vstupních atributů x nějakého objektu odvodí hodnota cílového atributu: • •ŷ = f (x). • •Odvozená hodnota ŷ se pro objekty z trénovacích dat může lišit od skutečné hodnoty y. Můžeme tedy pro každý objekt oi ∈ DTR vyčíslit chybu klasifikace Qf(oi, ŷi). V případě numerického atributu C může být touto chybou například čtverec rozdílu skutečné a odvozené hodnoty cílového atributu •Qf (oi, ŷi) = (yi - ŷi)2, •v případě kategoriálního atributu C může být touto chybou informace o tom že se odvozená a skutečná hodnota vzájemně liší, • Obecná definice strojového učení (s učitelem) csvukrs Chyba na trénovacích datech . Pro celou trénovací množinu DTR pak můžeme vyčíslit souhrnnou chybu Err(f,DTR), například jako střední chybu Cílem učení je nalézt takové znalosti f*, které by minimalizovaly tuto chybu csvukrs •hledáme strukturu i parametry modelu •např. Rozhodovací stromy, Rozhodovací pravidla • • • • • • Učení jako prohledávání T4-usporadani_modelu-s-relaci Modely jako popisy shluků: ·MGM - nejobecnější model (jeden shluk pro všechno) ·MSM - nejspeciálnější model(y) (co příklad to shluk) ·M1 obecnější než M2, M2 je speciálnější než M1 csvukrs Příklad příjem konto auto bydlení úvěr vysoký vysoké ano vlastní Ano vysoký vysoké ano vlastní Ano nizký nízké ano nájemní Ne vysoký vysoké ne nájemní Ano Nejvíce speciální pravidlo (MGM): If příjem = vysoký & konto = vysoké & auto = ano & bydlení = vlastní then úvěr = Ano Nejvíce obecné pravidlo (MSM): If cokoli then úvěr = Ano První specializace MSM (M1) : If příjem = vysoký then úvěr = Ano … Evaluace: „Kolik objektů (řádků) v datech porušuje dané pravidlo.“ •Hledáme „pouze“ parametry modelu • •Příklad: •na základě hodnot funkce v konečném počtu bodů snažíme zrekonstruovat její obecnou podobu • • • • • Učení jako aproximace f(x) = q1x + q0 csvukrs •Hledání minima celkové odchylky •min åi (yi - f(xi)) 2 • •se převádí na řešení rovnice • Metoda nejmenších čtverců csvukrs •1) analytické (známe typ funkce) • řešení soustavy rovnic pro parametry funkce • • • • •2) numerické (neznáme typ funkce) • gradientní metody • Řešení f(x) = q1x + q0 csvukrs Gradientní metody Např. Err(q) = q^2 η = éta Problém uváznutí v lokálním minimu ml-11 csvukrs Děkuji za pozornost Některé snímky převzaty od: prof. Ing. Petr Berka, CSc. berka@vse.cz