AdamátorZápiskyHlášky

Neuronové sítě (Holeňa)

Zápisky z přednášek prof. Ing. RNDr. Martina Holeni, CSc.

Prezentace k přednášce

Neuronové sítě původně vznikly z pokusu matematicky modelovat skutečné neurony.

Neurony budeme reprezentovat jako vrcholy $𝒱$ a spoje mezi nimi jako orientované hrany $𝒞\subset 𝒱\times 𝒱$. Potom $(𝒱,C,c)$ je graf reprezentující neuronovou síť. Její topologie je $(V,𝒞,\epsilon )$, kde $\epsilon$ jsou nějaké hrany navíc mezi neurony a vnějším prostředím. Pro $v\in 𝒱$ značíme

$ℐ$ jsou vstupní neurony (protože mají vstup pouze z vnějšího prostředí), $𝒪$ jsou výstupní neurony a $\mathscr{H}$ jsou skryté neurony.

Čas budeme modelovat jako množinu $𝒯\subset ℝ$. Pro $t\in ℝ$ značíme ${𝒯}_t^{-}≔𝒯\cap (-\infty ,t⟩$. Aktivita neuronu $v$ je funkce $z_v:𝒯\to ℝ$. Je-li $z_v:𝒯\to ⟨0,1⟩$, jde o normalizovanou aktivitu. Stav neuronové sítě je $z\left(t\right)≔{\left(z_v\left(t\right)\right)}_{v\in V}$.

V čase $t$ bude síť reprezentovat nějakou funkci $F_t$ z aktivity vstupních neuronů do aktivity výstupních neuronů. Množinu všech možných takových funkcí značíme ${ℱ}_t$. Systém ${\left(F_t\right)}_{t\in 𝒯}$ nazveme aktivní dynamika sítě. Musí platit:

• Všechny prvky mají stejný definiční obor.
• Síť má konečný počet parametrů:
  $$(\exists k\in \mathbb{N})(\forall t\in 𝒯)(\exists D_t\subset \{{𝒯}_t^{-}\to {ℝ}^{\left|ℐ\right|}\})(\exists {\pi }_t:{ℝ}^k\to \{{𝒟}_t\to {ℝ}^{\left|𝒪\right|}\})({ℱ}_t={\pi }_t\left({ℝ}^k\right))\text{.}$$
• Máme omezení na možné hodnoty parametrů:
  $$(\forall t\in 𝒯)(\exists W_t\subset {ℝ}^k)({ℱ}_t={\pi }_t\left(W_t\right))\text{.}$$

Máme systém funkcí ${\left({\psi }_t^v\right)}_{t\in 𝒯,v\in 𝒱\setminus ℐ}$ s vlastnostmi:

• Pro každé $t\in 𝒯$ se dá $F_t$ vyjádřit jako složení zobrazení ${\psi }_t^v$, které transformují aktivitu neuronů $i\left(v\right)$ na aktivitu neuronu $v$.
• Funkce ${\psi }_t^v$ pochází z množiny možných funkcí ${\Psi }_t^v$.
• Pro každý čas $t$ a nevstupní neuron $v\in 𝒱\setminus ℐ$ mají všechny prvky ${\Psi }_t^v$ stejný definiční obor a platí
  $$(\forall v\in 𝒱\setminus ℐ)(\exists k_v\in \mathbb{N})(\forall t\in 𝒯)(\exists W_t^v\subset {ℝ}^{k_v})(\exists D_t^v\subset \{{𝒯}_t^{-}\to {ℝ}^{\left|i\left(v\right)\right|}\})(\exists {\pi }_t^v:W_t^v\to \{D_t^v\to ℝ\})({\Psi }_t^v={\pi }_t^v\left(W_t^v\right))\text{.}$$

Každý parametr sítě je přiřazen nějakému neuronu nebo hraně. Typicky má každý neuron práh ${\theta }_v$ a každá hrana váhu $w_{(u,v)}$, přičemž aktivita neuronu je definována jako

kde $f$ je nějaká aktivační funkce.

V praktickém využití se často neuvažuje závislost na čase, čímž se všechno výrazně zjednoduší.

Neuronová síť se nějak adaptuje na základě informací, které dostává od člověka (učitele), což může být jedno z následujících:

• správná hodnota, která má být na výstupu,
• nezáporné číslo vyjadřující, jak moc se její výstup liší od správného výstupu (ztrátová funkce),
• nezáporné číslo vyjadřující spokojenost učitele.

Často používané ztrátové funkce $\gamma :{ℝ}^{\left|𝒪\right|}\times {ℝ}^{\left|𝒪\right|}\to {ℝ}_0^{+}$ jsou:

Součet čtverců

$$\gamma (a,d)≔\sum _{i=1}^{\left|𝒪\right|}{(a_i-d_i)}^2\text{,}$$

Křížová entropie

$$\gamma (a,d)≔-\sum _{i=1}^{\left|𝒪\right|}(d_i\cdot log{a}_i+(1-d_i)\cdot log(1-a_i))\text{,}$$

Logistická ztráta

$$\gamma (a,d)≔-d\cdot a+log({𝕖}^a-{𝕖}^{-a})=log\frac{expa-exp-a}{exp(d\cdot a)}$$

Způsob, jakým budeme ztrátovou funkci minimalizovat, musíme uzpůsobit podle toho, kolikátou derivaci $\gamma$ známe.

Nejjednodušší možná „neuronová sít“ je Heavisideova funkce: $\Theta \left(x\right)≔[x\ge 0]$.

O něco složitější je perceptron (Rosenblatt, 1958):

Učení perceptronu probíhá v epochách. Dostane učicí vzorek $x_r,r\in \hat{n}$ a zareaguje nějakým výstupem $y_r$. Pokud neklasifikuje správně všechny vzorky, potom změníme váhy podle vzorce