Sztuczne Sieci Neuronowe — Powtorka do kolokwium

1 Modele neuronow

Model McCullocha-Pittsa ▼

Pierwszy matematyczny model neuronu (1943). Sumator wagowy + blok nieliniowy z progowa (skokowa) funkcja aktywacji.

$$y_i = f\!\left(\sum_{j=1}^{N} w_{ij} x_j + w_{i0}\right), \qquad f(u)=\begin{cases}1 & u>0\\ 0 & u\le 0\end{cases}$$

Co to znaczy: Neuron mnozy kazde wejscie x_j przez jego wage w_ij, sumuje wszystko i dodaje bias w_i0. Funkcja f patrzy tylko na znak sumy: gdy > 0 → wyjscie = 1 (neuron „odpala”), w przeciwnym razie 0.

Waga dodatnia = synapsa pobudzajaca, ujemna = hamujaca, zerowa = brak polaczenia.
Model binarny — nieprzydatny w uczeniu gradientowym z powodu nieciaglej pochodnej funkcji skokowej.

Test: 3 strategie uczenia — z nauczycielem (supervised, znane $d$), bez nauczyciela (unsupervised, tylko $x$), ze wzmocnieniem (reinforcement).

Neuron sigmoidalny ▼

Struktura jak McCulloch-Pitts, ale funkcja aktywacji jest ciagla i rozniczkowalna — umozliwia uczenie gradientowe.

$$f_u(u)=\frac{1}{1+e^{-bu}}\;\in(0,1), \qquad f_b(u)=\tanh(bu)\;\in(-1,1)$$

Co to znaczy: Gladkie funkcje aktywacji. Unipolarna daje wynik w przedziale (0,1), bipolarna (tanh) w (−1,1). Parametr b to stromosc — im wieksze b, tym bardziej przypomina skok.

Pochodne (okreslone przez sama wartosc funkcji)

$$f_u' = b\,f_u(1-f_u), \qquad f_b' = b\,(1-f_b^2)$$

Co to znaczy: Pochodne sigmoid, potrzebne do uczenia gradientowego. Sztuczka: liczy sie je wprost z wartosci samej funkcji f (bez liczenia od zera). Sa najwieksze w srodku (u=0), maleja na krancach.

Przy bardzo duzym $b$ sigmoida przechodzi w funkcje skokowa (perceptron).
Pochodna ma ksztalt krzywej dzwonowej, max w $u=0$.

Test: w klasycznym uczeniu gradientowym pochodna funkcji aktywacji musi byc ciagla (ale ReLU — patrz nizej — jest wyjatkiem stosowanym w sieciach glebokich).

Funkcja ReLU ▼

Sigmoida ma stan nasycenia hamujacy uczenie w sieciach glebokich. ReLU (Rectified Linear Unit) eliminuje nasycenie:

$$y(x)=\max(0,x)=\begin{cases}x & x>0\\ 0 & x\le 0\end{cases}, \qquad y'(x)=\begin{cases}1 & x>0\\ 0 & x\le 0\end{cases}$$

Co to znaczy: ReLU przepuszcza wartosci dodatnie bez zmian, a ujemne scina do zera. Pochodna to po prostu 1 (dla x>0) albo 0 (dla x≤0) — szybka i nie „nasyca sie” jak sigmoida.

Pochodna ReLU jest nieciagla — gladka aproksymacja: softplus $y=\ln(1+e^x)$.
Warianty: Leaky ReLU ($y=ax$ dla $x\le0$), ELU.
Ciaglosc pochodnej NIE jest warunkiem koniecznym dobrego dzialania — ReLU jest standardem w CNN.

Neuron radialny (gaussowski) ▼

$$\varphi(\mathbf{x})=\exp\!\left(-\frac{\lVert\mathbf{x}-\mathbf{c}\rVert^2}{\sigma^2}\right)$$

Co to znaczy: Im dalej wektor x lezy od centrum c (odleglosc miedzy nimi), tym mniejsza odpowiedz. σ to szerokosc dzwonu (duze σ = szeroki zasieg). Maksimum (=1) wypada dokladnie w centrum.

Opisany dwoma parametrami: centrum $c$ (polozenie) i szerokosc $\sigma$.
Nieliniowosc dotyczy odleglosci euklidesowej $\lVert x-c\rVert$, a nie iloczynu skalarnego jak w sigmoidalnym.
Funkcja lokalna — niezerowa tylko w poblizu centrum.

Neuron samoorganizujacy (wspolzawodnictwo) + neuron Hebba ▼

Wspolzawodnictwo (konkurencja)

Zwyciezca = neuron o najwiekszym $u_i=\mathbf{w}_i^T\mathbf{x}$ (przy znormalizowanych danych — najblizszy wektorowi $x$). Regula WTA (Grossberg):

$$\mathbf{w}_i(k+1)=\mathbf{w}_i(k)+\eta[\mathbf{x}-\mathbf{w}_i(k)]$$

Co to znaczy: Uczenie zwyciezcy: jego wagi przesuwaja sie o maly krok η w strone aktualnego wektora x. Z kazda iteracja centrum neuronu „dociaga sie” do danych, ktore wygrywa.

W WTA tylko zwyciezca aktualizuje wagi; w WTM takze sasiedztwo (slabiej z odlegloscia).

Regula Hebba

Waga rosnie, gdy obie komorki sa jednoczesnie pobudzone (uczenie korelacyjne):

$$w_{ij}(k+1)=w_{ij}(k)+\eta\,y_i y_j$$

Co to znaczy: Waga rosnie, gdy oba neurony sa aktywne jednoczesnie (iloczyn y_i·y_j duzy). Zasada Hebba: „neurony, ktore odpalaja razem, lacza sie”. η to tempo uczenia.

Wagi rosna nieograniczenie — stabilizacja przez wsp. zapominania $\gamma$ lub regule Oji.
Regula Oji = uczenie hebbowskie z normalizacja: $w(k+1)=w(k)+\eta(x_j-w_{ij}y_i)$.

2 Siec perceptronu wielowarstwowego MLP

Struktura MLP ▼

Podstawowa cecha MLP: warstwy ukryte z neuronami sigmoidalnymi.
Siec jednokierunkowa (feedforward), polaczenia tylko miedzy sasiednimi warstwami.
Uniwersalny aproksymator GLOBALNY — kazdy neuron dziala w calej przestrzeni.

$$y_k = f\!\left(\sum_{i=0}^{K} w_{ki}^{(2)} f\!\left(\sum_{j=0}^{N} w_{ij}^{(1)} x_j\right)\right)$$

Co to znaczy: Sygnal przechodzi przez dwie warstwy: ukryta f(suma wejsc) i wyjsciowa f(suma sygnalow z ukrytej). Zlozenie dwoch nieliniowosci daje uniwersalny aproksymator. Gorny indeks (1)/(2) to numer warstwy.

Test: autoasocjacyjna ($d=x$) vs heteroasocjacyjna ($d\ne x$). Polaryzacja $x_0=1$ (bias) przesuwa hiperplaszczyzne podzialu.

Funkcja celu i uczenie gradientowe ▼

$$E = \frac{1}{2}\sum_{k=1}^{p}\sum_{i=1}^{M}\big(y_i(x_k)-d_i(x_k)\big)^2$$

Co to znaczy: Blad sieci = suma kwadratow roznic miedzy wyjsciem y a wartoscia zadana d, po wszystkich p probkach i M wyjsciach. Uczenie polega na minimalizowaniu tej liczby.

Uczenie MLP MINIMALIZUJE funkcje bledu (nie zeruje, nie maksymalizuje).
Adaptacja wag: $w(k+1)=w(k)+\eta\,p(k)$, kierunek $p$, $g=\partial E/\partial w$.
On-line: aktualizacja po kazdej probce. Off-line (wsadowe): po calym cyklu.
Warunek stopu: norma gradientu < tolerancja.

Test: cykl uczacy (epoka) = ciag operacji obejmujacy WSZYSTKIE dane uczace (≠ pojedyncza iteracja).

Wsteczna propagacja bledu (backpropagation) ▼

Algorytm wyznaczania gradientu funkcji celu po wszystkich wagach — wykorzystuje graf dolaczony $\hat G$ (graf $G$ z odwroconymi kierunkami galezi, pobudzany roznica $y_i-d_i$).

Galaz nieliniowa $f(u)$ w $\hat G$ staje sie galezia zlinearyzowana o wzmocnieniu $\partial f/\partial u$.
Regula lokalna — kazda skladowa gradientu = iloczyn dwoch sygnalow:

$$\frac{\partial E}{\partial w_{ij}} = v_j\,\hat v_i \qquad(v_j \text{ z } G,\; \hat v_i \text{ z } \hat G)$$

Co to znaczy: Kazda skladowa gradientu liczy sie jako iloczyn dwoch sygnalow: v_j z sieci „w przod” i v̂_i z sieci „wstecznej” (graf dolaczony). To istota wstecznej propagacji.

Metody wyznaczania kierunku minimalizacji ▼

Z rozwiniecia Taylora: $E(w+p)=E(w)+g^Tp+\tfrac12 p^THp$. Minimum: $g=0$ i hesjan $H$ dodatnio okreslony.

Najwiekszy spadek (+ moment)

$$w_{k+1}=w_k-\eta g_k+\alpha(w_k-w_{k-1}),\qquad \alpha\in[0,1]$$

Co to znaczy: Nowe wagi = krok w strone −gradientu (η·g) plus „rozped” α·(poprzednia zmiana wag). Moment przyspiesza i pomaga przeskoczyc plytkie minimum lokalne. α ∈ [0,1].

Nie uzywa hesjanu — zbieznosc liniowa (wolna), ale mala pamiec.
Moment: pozwala opuscic minimum lokalne, przyspiesza i tlumi oscylacje, ale NIE gwarantuje minimum globalnego. $\alpha=0.9$ → ~10× przyspieszenie.

Newtonowskie (2. rzedu)

$$p_k=-H_k^{-1}g_k$$

Co to znaczy: Kierunek poprawy to gradient g przemnozony przez odwrotnosc hesjanu H (informacja o krzywiznie). Trafia do minimum w mniejszej liczbie krokow, ale liczenie H⁻¹ jest kosztowne.

Metoda Newtona uzywa hesjanu I gradientu.
BFGS (zmiennej metryki) — aproksymuje $H^{-1}$; 1. krok = najwiekszy spadek.
Levenberg-Marquardt — $H\approx J^TJ+\nu\mathbf{1}$ (jakobian); blisko optimum → Gauss-Newton.
Newtonowskie tylko dla malej liczby wag (< ~1000).

Bardzo duzo wag

Gradienty sprzezone ($p_k=-g_k+\beta p_{k-1}$, Polak-Ribiere) i SGD — bez hesjanu, mala pamiec.

Wszystkie metody gradientowe znajduja jedynie minimum LOKALNE zalezne od inicjalizacji wag.

Wspolczynnik uczenia, heurystyki, inicjalizacja ▼

Dobor $\eta$: staly, adaptacyjny (rosnie gdy blad maleje), minimalizacja kierunkowa (najlepsza).
RPROP: uwzglednia tylko znak gradientu, indywidualne $\eta_{ij}$. Quickprop.
Inicjalizacja wag: losowo, male wartosci (zakres ok. [0,1] lub [-0.5,0.5], metoda Nguyena-Widrowa).
Zbyt duze wagi startowe → przedwczesne nasycenie neuronow (pochodna ≈ 0, utkniecie).
"Jogging of weights" — przy utknieciu dodaje do wag wartosci losowe.

3 Zdolnosci generalizacyjne

Pojecie generalizacji + bias-variance ▼

Generalizacja = zdolnosc generowania wlasciwej odpowiedzi na dane nie biorace udzialu w uczeniu (testujace, nie uczace!).

Warunki dobrej generalizacji

Liczba danych uczacych wielokrotnie wieksza od liczby wag.
Struktura o mozliwie najmniejszej liczbie wag (liczba neuronow ukrytych < liczby danych uczacych).
Uczenie przerwane w minimum bledu na zbiorze sprawdzajacym.

$$E_i^2 = B_i^2 + V_i \quad(\text{obciazenie/bias} + \text{wariancja})$$

Co to znaczy: Blad² rozklada sie na obciazenie² (bias — model za prosty) plus wariancje (czulosc na konkretny zbior uczacy). Zmniejszenie jednego zwykle zwieksza drugie — to kompromis.

Male obciazenie okupione wieksza wariancja (kompromis bias-variance). Bias ≈ blad uczenia, wariancja ≈ blad testowania.

Miara VCdim ▼

VCdim (Vapnika-Czerwonenkisa) = licznosc $n$ najwiekszego zbioru, dla ktorego siec realizuje wszystkie $2^n$ dychotomii — miara zdolnosci rozrozniania zbiorow.
Warunek dobrej generalizacji: $p \gg \text{VCdim}$ (wg Vapnika $p \ge 20\cdot\text{VCdim}$).
Siec 1-warstwowa N wejsc: $\text{VCdim}=N+1$. Sigmoidalna MLP: $\propto n_w^2$. Skokowa: $\propto n_w\lg n_w$.
Wraz ze wzrostem $p$ maleje gorne ograniczenie bledu testowania; istnieje $h_{opt}$.

Przeuczenie i metody poprawy ▼

Przeuczenie (overfitting) ← zbyt dlugie uczenie + nadmiarowa liczba wag (dopasowanie do szumu). Blad uczenia maleje, ale blad testowania rosnie.

Metody poprawy generalizacji

Obcinanie wag (pruning) — metody wrazliwosciowe OBD ($S_i=\tfrac12 h_{ii}w_i^2$) i OBS ($S_i=\tfrac12 w_i^2/[H^{-1}]_{ii}$).
Regularyzacja (kara za wagi): $E=E_0+\gamma\sum w_{ij}^2$.
Early stopping (proporcja uczace:weryfikujace = 4:1).
Dropout — losowe zerowanie polaczen. Wtracanie szumu / augmentacja. Wiecej danych.

Ocena: walidacja krzyzowa

Cross-validation: M podzbiorow, ucz na M-1, testuj na 1, usrednij.
Leave-one-out: podzbiory 1-elementowe (przy malej liczbie danych).

Selekcja cech diagnostycznych (miara Fishera) ▼

Selekcja cech = wybor cech najbardziej reprezentatywnych (najlepiej skorelowanych z decyzja), nie najczestszych ani najwiekszych.

$$S_{AB}(f)=\frac{|c_A-c_B|}{\sigma_A+\sigma_B}$$

Co to znaczy: Roznica srednich obu klas |c_A−c_B| podzielona przez sume ich rozrzutow (σ_A+σ_B). Duza wartosc = cecha dobrze rozdziela klasy (centra daleko, malo rozmyte).

Miara Fishera bazuje na wartosciach srednich I odchyleniach std OBU klas. Im wieksza, tym lepsza cecha.
Inne: korelacja, test t / chi², ReliefF, MRMR, las losowy. Transformacje: PCA, LDA (Fishera).

Zespol wielu sieci (ensemble) ▼

Rownolegle wiele sieci → lepsza generalizacja. Warunek: niezaleznosc / roznorodnosc. Zespol = dowolna liczba klasyfikatorow dowolnego typu.
Bagging (bootstrap) = technika KSZTALTOWANIA zespolu — losowanie danych ze zwracaniem. Tez boosting, random forest.
Glosowanie wiekszosciowe = technika INTEGRACJI — wygrywa klasa wskazana przez wiekszosc. Regresja → usrednianie. Wersja wazona: silniejszy klasyfikator = wieksza waga.

4 Sieci radialne RBFStruktura i idea RBF ▼
$$F(\mathbf{x})=\sum_{i=1}^{K} w_i\,\varphi(\lVert\mathbf{x}-\mathbf{c}_i\rVert)+w_0, \qquad KCo to znaczy: Wyjscie to wazona suma K funkcji radialnych — kazda „czuje” okolice swojego centrum ci — plus bias w0. Warstwa wyjsciowa jest liniowa. Liczba funkcji K < liczba danych p.
Funkcje Gaussa w warstwie ukrytej, warstwa wyjsciowa liniowa (sumator).
RBF = aproksymator LOKALNY (vs MLP globalny) — tylko nieliczne neurony aktywne dla danego \(x\).
Warstwa ukryta: transformacja do przestrzeni liniowo separowalnej (tw. Covera).
Kazdy neuron ma indywidualne \(c_i,\sigma_i\). Generalizacja RBF zwykle gorsza niz MLP na granicach danych.
Uczenie RBF — dwa etapy ▼
Parametry dzielone na dwie niezalezne grupy (algorytm hybrydowy):
1. Centra i szerokosci (samoorganizacja)K-means (LBG) → ustala POLOZENIA CENTROW funkcji radialnych (podzial Voronoi).
Szerokosc \(\sigma_j\) ≈ odleglosc od najblizszych sasiadow; dla danych znorm. czesto \(\sigma\approx1\).
2. Wagi wyjsciowe (liniowo)$$[\mathbf{1}\;G]\,w=d \;\Rightarrow\; w=[\mathbf{1}\;G]^{+}d \;\;(\text{pseudoinwersja przez SVD})$$
Co to znaczy: Skoro wyjscie jest liniowe, wagi w wylicza sie jednym rownaniem G·w = d. Macierz G jest prostokatna, wiec uzywamy pseudoinwersji G+ (liczonej stabilnie przez rozklad SVD) — bez iteracji.
Macierz Greena \(G\) zbudowana z funkcji radialnych — wartosci zwiazane WYLACZNIE z wektorami uczacymi \(x\) (nie z \(d\)).
Gram-Schmidt (OLS) → dobiera JEDNOCZESNIE liczbe centrow, ich polozenia I wagi wyjsciowe (selekcja wg wkladu energetycznego \(\varepsilon_i\)).
Zbyt mala liczba funkcji bazowych K → niedouczenie; zbyt duza → przeuczenie. Zwykle \(K\approx\) 1/3 liczby par uczacych.
5 Sieci wektorow nosnych SVMIdea, margines, wektory nosne ▼
SVM (Vapnik) = maksymalizacja MARGINESU separacji = przestrzen miedzy najblizszymi danymi obu klas. \(\rho=2/\lVert w\rVert\).
Hiperplaszczyzna \(y(x)=w^T x+b\). Wektory nosne = punkty z \(\alpha_i\ne0\) (na marginesie) — tylko one decyduja.
$$\text{primal:}\quad \min\tfrac12 w^Tw + C\sum_i\xi_i \quad\text{p.w. } d_i(w^Tx_i+b)\ge 1-\xi_i,\; \xi_i\ge0$$
Co to znaczy: Minimalizujemy ½‖w‖² (czyli maksymalizujemy margines) plus kare C·Σξ za bledy. Ograniczenie wymusza, by punkty lezaly po wlasciwej stronie z marginesem; ξ ≥ 0 to „luz” na pomylki.
Problem pierwotny: funkcja celu z ograniczeniami nierownosciowymi.
Zmienna dopelniajaca \(\xi\) — nieujemna, czyni ograniczenie nierownosciowe rownosciowym (miekki margines).
Mnoznik Lagrange'a \(\alpha\) = wspolczynnik kary za niedopelnienie ograniczen. Parametr \(C\) = waga bledow.
Problem dualny i kernel ▼
$$\max_\alpha Q(\alpha)=\sum_i\alpha_i-\tfrac12\sum_{i,j}\alpha_i\alpha_j d_i d_j K(x_i,x_j),\quad 0\le\alpha_i\le C,\;\sum_i\alpha_i d_i=0$$
Co to znaczy: Ta sama optymalizacja, ale wylacznie po mnoznikach α. K(xi,xj) to jadro (iloczyn w przestrzeni cech). Warunki: 0 ≤ α ≤ C oraz Σαidi = 0. Punkty z α > 0 to wektory nosne.
Problem dualny zalezy WYLACZNIE od mnoznikow Lagrange'a, jest kwadratowy → jedno minimum globalne.
Kernel (jadro) → odwzorowuje dane do przestrzeni o WYZSZYM wymiarze (liniowo separowalnej, tw. Covera).
Trik kernelowy: \(K(x_i,x_j)=\varphi^T(x_i)\varphi(x_j)\) — warunek Mercera.

        JadroWzorSiec
liniowe\(x^Tx_i+\gamma\)liniowa
wielomianowe\((x^Tx_i+\gamma)^q\)wielomianowa
gaussowskie\(e^{-\gamma\lVert x-x_i\rVert^2}\)RBF
Regresja (ε-SVR) i wieloklasowosc ▼

      Regresja: model ε-SVR — blad 0 wewnatrz "rury" \(\varepsilon\): \(L_\varepsilon=\max(0,|d-y|-\varepsilon)\). Dwie zmienne \(\xi,\xi'\). Mala \(\varepsilon\) / duze \(C\) → wiecej wektorow nosnych.
Wieloklasowo: one-vs-all (M klasyfikatorow) vs one-vs-one (M(M-1)/2).
Algorytmy dualne: SMO (2 mnozniki naraz), SVMLight, BSVM — pamiec rosnie liniowo z liczba danych.
Zaleta SVM: dobra generalizacja przy malej liczbie danych, sterowanie VCdim szerokoscia marginesu, jedno minimum globalne.

    
6 Sieci glebokieSiec konwolucyjna CNN ▼
Podstawa: operacja KONWOLUCJI (splotu). Siec sama generuje cechy diagnostyczne.
Filtry (wagi) sa UCZONE podczas treningu — nie sa stale.
Lokalne pola receptywne, wspoldzielenie wag, ekwiwariancja wzgledem przesuniecia.
Pooling (max/avg) → REDUKCJA WYMIARU (podprobkowanie 2×2).
ReLU, batch-norm, softmax + entropia krzyzowa. SGDM / ADAM.
$$O=\frac{W-F+2P}{S}+1 \qquad \text{softmax}(u_i)=\frac{e^{u_i}}{\sum_j e^{u_j}}$$
Co to znaczy: Po lewej: rozmiar obrazu po konwolucji — W (wejscie), F (filtr), P (padding), S (krok). Po prawej: softmax zamienia surowe wyjscia na prawdopodobienstwa klas (sumuja sie do 1).
AlexNet (227×227×3): \(O=(227-11)/4+1=55\). 5 conv + 3 FC, ~61 mln param., wyjscie 1000 klas (softmax). FC7 → 4096 cech.
Transfer learning + architektury ▼

      Transfer learning = wykorzystanie wstepnie wytrenowanej sieci (np. AlexNet) i douczenie tylko klasyfikatora; warstwy cech zamrozone.
GoogLeNet (Inception, filtry 1×1/3×3/5×5, average pooling, 7 mln param.). ResNet (polaczenia residualne \(F(x)+x\) + batch norm — przeciw zanikaniu gradientu).
Detekcja: R-CNN / YOLO (IOU, kotwice). Segmentacja biomedyczna: U-Net (enkoder-dekoder, bez FC).

    
Autoenkoder, VAE, GAN ▼
AutoenkoderSystem automatycznej generacji cech / kompresji, uczenie nienadzorowane (autoasocjacja \(d=x\)).
Enkoder + waskie gardlo (kod) + dekoder. Minimalizuje blad rekonstrukcji. Uogolnienie nieliniowe PCA.
$$E=\frac{1}{p}\sum_{n,k}\big(x_n^{(k)}-g_n(h(x^{(k)}))\big)^2$$
Co to znaczy: Blad rekonstrukcji: roznica miedzy wejsciem x a tym, co dekoder g odtworzyl z kodu h(x). Siec uczy sie odtwarzac wejscie przez waskie gardlo, wiec musi wylapac najwazniejsze cechy.
VAE (wariacyjny)Koduje rozklad (\(\mu,\sigma\)) w przestrzeni ukrytej i probkuje → generacja obrazow. Kara KL do \(N(0,1)\).
GANGenerator G vs dyskryminator D — gra min-max. Augmentacja danych, wykrywanie podrobek.
$$\min_G\max_D \;\mathbb{E}[\log D(X)]+\mathbb{E}[\log(1-D(G(z)))]$$
Co to znaczy: Gra dwoch sieci: dyskryminator D maksymalizuje trafnosc (odroznia prawdziwe X od podrobionych G(z)), generator G minimalizuje — uczy sie oszukiwac D. E[·] to wartosc oczekiwana (srednia).
7 Sieci rekurencyjneSiec Elmana ▼
Siec rekurencyjna ze sprzezeniem od warstwy ukrytej do wejscia; uniwersalny aproksymator.
Warstwa kontekstowa = pamiec poprzedniego stanu, liczba neuronow = liczbie neuronow ukrytych.
Zastosowanie: predykcja szeregow czasowych (np. obciazenia PSE).
$$x(k)=[\,x_0,\dots,x_N,\; v_1(k-1),\dots,v_K(k-1)\,]$$
Co to znaczy: Wektor wejsciowy = biezace wejscia x ORAZ sygnaly warstwy ukrytej z poprzedniego kroku v(k−1). Ta „pamiec kontekstu” pozwala modelowac zaleznosci w czasie (sekwencje).
Siec LSTM ▼
Rekurencyjna siec gleboka do danych sekwencyjnych / szeregow czasowych; rozwiazuje problem zanikajacego gradientu.
Bloki pamieciowe (komorki) z trzema bramkami: zapomnienia, wejsciowa, wyjsciowa.
Stan komorki \(c_t\), wyjscie \(h_t\). Uczenie: BPTT (SGDM/ADAM).
$$c_t=y_2\cdot y_3 + c_{t-1}\cdot y_1, \qquad h_t=y_4\cdot\tanh(c_t)$$
Co to znaczy: Stan komorki ct = nowa informacja (y2·y3) plus zachowana czesc starej pamieci (ct−1·y1, gdzie y1 to bramka zapomnienia). Wyjscie ht = bramka wyjsciowa y4 razy tanh(ct).
8 Samoorganizacja, PCA, ICAGrupowanie i mapa Kohonena ▼

      Uczenie ze wspolzawodnictwem, bez nauczyciela. WTA (tylko zwyciezca) vs WTM (zwyciezca + sasiedztwo).
Neuron martwy = neuron NIGDY nie zwyciezajacy. Zapobiega: mechanizm sumienia (conscience).
K-means wymaga podania liczby klastrow; odleglosc euklidesowa, podzial Voronoi. Hierarchiczne → dendrogram. Jakosc bez etykiet: indeks Silhouette.
Mapa Kohonena (SOM) rzutuje dane z przestrzeni WIELOWYMIAROWEJ w 2-D (lub 1-D), zachowuje topologie. Uczenie WTM, malejacy promien i \(\eta\).

    
PCA — analiza skladnikow glownych ▼

      Metoda LINIOWA, znajduje kierunki NAJWIEKSZEJ WARIANCJI. \(y=Wx\).
Pojecia: skladnik glowny, wektor wlasny (kierunek), wartosc wlasna (wariancja), macierz korelacji. Skladniki ortogonalne. Wartosci wlasne autokorelacji: rzeczywiste i nieujemne.
Regula Oji = uczenie hebbowskie → JEDEN, najwazniejszy skladnik. Regula Sangera → WIELE skladnikow naraz.
Kompresja: ↑ liczby skladnikow glownych → POLEPSZA jakosc obrazu (↓ wsp. kompresji \(\alpha=N/K\)). PCA redukuje szum.

    
ICA i slepa separacja sygnalow (BSS) ▼

      Slepa separacja: NIEZNANE ZAROWNO postacie sygnalow zrodlowych JAK I wspolczynniki ich mieszania. Model \(x=As\), szukamy W: \(y=Wx\approx s\).
ICA → skladniki STATYSTYCZNIE NIEZALEZNE (PCA: tylko nieskorelowane). Zaklada niegaussowskosc.
Algorytm uczenia ICA = GRADIENTOWY (uogolnienie Hebba), FastICA, kurtoza.
Deflacja = sekwencyjne wyodrebnianie zrodel — odtworzenie przy wyzerowaniu wybranych odseparowanych. Sieci: rekurencyjna vs jednokierunkowa. Ograniczenie: nieoznaczonosc skali i kolejnosci.

    
Kompresja stratna ▼

      PCA: ramki (np. 8×8), K wektorow wlasnych, \(\alpha=N/K\).
MLP: autoasocjacyjna, waskie gardlo.
Kohonen: kwantyzacja wektorowa, ksiazka kodowa (codebook), przesyla sie numer zwyciezcy.

    
9 Miary jakosciKlasyfikacja — macierz konfuzji ▼
Macierz pomylek (konfuzji) → pozwala wyznaczyc czulosc, specyficznosc, AUC (NIE postac funkcji aktywacji, NIE bledy regresji).
TP/TN/FP/FN. Czulosc = TP/(TP+FN), specyficznosc = TN/(TN+FP), precyzja = TP/(TP+FP).
F1 — srednia harmoniczna czulosci i precyzji. ROC/AUC: 1 = idealny, 0.5 = losowy.
Roznicowanie kosztu FP vs FN poprawia jakosc systemu.
Regresja ▼
Do miar jakosci regresji zalicza sie MAE (tez MSE, RMSE, MAPE, R) — NIE czulosc, NIE F1.
$$\text{MAE}=\frac1n\sum|d_i-y_i|, \quad \text{RMSE}=\sqrt{\tfrac1n\sum(d_i-y_i)^2}$$
Co to znaczy: MAE = srednia z bezwzglednych roznic |d−y| (prosty sredni blad). RMSE = pierwiastek ze sredniej kwadratow bledow, mocniej karze duze pomylki. Im mniejsze, tym lepsza regresja.
▶ Filmy na YouTubeWyselekcjonowane, sprawdzone materialy. Najpierw po polsku, potem swiatowe klasyki z najlepsza wizualizacja (3Blue1Brown ma polskie napisy).
Dla intuicji · na przykladach (styl Veritasium)
The Most Important Algorithm in Machine Learning~31 min • Artem Kirsanov
Backpropagation i gradient opowiedziane z historia, intuicja i przykladami - dlaczego to w ogole dziala. Idealne, jesli chcesz ZROZUMIEC, a nie wkuc wzory.
Why Neural Networks can learn (almost) anything~10 min • Emergent Garden
Na przykladach pokazuje, jak siec aproksymuje dowolna funkcje - swietna intuicja pod „uniwersalny aproksymator” (MLP/RBF).
Watching Neural Networks Learn~25 min • Emergent Garden
Wizualnie „na zywo” widac, jak siec dopasowuje sie do danych podczas uczenia. Buduje czucie tego, co robi gradient.
Po polsku
Budowa sztucznych neuronow i sieciStrefa Inzynierii Biomedycznej
Wyklad legendy polskiej SI: model neuronu, sumator wagowy, funkcja aktywacji, budowa sieci. Idealne wprowadzenie do rozdz. 1-2.
Czym sa i jak dzialaja sieci neuronowe?Komputer Swiat • KS Wyjasnia
Przystepne intro: neuron, wagi, warstwy, uczenie. Dobre na start, jezyk bez zbednej matematyki.
Sieci neuronowe od podstaw: AI od srodkapo polsku
Jak to wszystko dziala od srodka - intuicja stojaca za uczeniem sieci.
3Blue1Brown · Deep Learning (EN + napisy PL)
But what is a neural network? (cz. 1)27:16 • 3Blue1Brown
Najlepsza wizualnie eksplikacja: neuron, warstwy, dlaczego to dziala. Must-see do rozdz. 1-2.
Gradient descent - jak sieci sie ucza (cz. 2)20:33 • 3Blue1Brown
Funkcja celu, gradient, minimalizacja bledu. Dokladnie temat z rozdz. 2 (uczenie gradientowe).
Backpropagation, intuicyjnie (cz. 3)13:54 • 3Blue1Brown
Wsteczna propagacja bledu bez wzorow - sama intuicja. Klucz do zrozumienia rozdz. 2.
Backpropagation - rachunek (cz. 4)10:18 • 3Blue1Brown
Dla chetnych: pochodne czastkowe i regula lancuchowa stojace za gradientem.
StatQuest · SVM (EN)
Support Vector Machines, cz. 1: Main Ideas20:32 • StatQuest
Margines, hiperplaszczyzna, wektory nosne, miekki margines. Caly rozdz. 5 w jednym filmie.
SVM: jadro radialne (RBF)15:52 • StatQuest
Trik kernelowy i jadro RBF - przejscie do wyzszego wymiaru. Laczy rozdz. 4 (RBF) i 5 (SVM).
⚡ Sciaga blyskawicznaNajczestsze pulapki testowe — do powtorki na ostatnia chwile.
Moment rozpedowyOpuszcza minimum lokalne, ale NIE daje globalnego
GeneralizacjaDane testujace, nie uczace
Macierz GreenaTylko wektory x (nie d)
ICA vs PCAICA = niezalezne; PCA = tylko nieskorelowane
Bagging vs glosowanieBagging = ksztaltowanie; glosowanie = integracja
RBF: K-means vs Gram-SchmidtK-means = centra; Gram-Schmidt = wszystko naraz
Oja vs SangerOja = jeden skladnik; Sanger = wiele
CNNPooling = redukcja wymiaru; filtry uczone
Neuron radialnyCentrum + szerokosc; aproksymator lokalny
SVM dualTylko mnozniki Lagrange'a, kwadratowy
NewtonHesjan + gradient; tylko male sieci
EpokaWszystkie dane uczace raz
Neuron martwyNigdy nie zwyciezajacy
AutoenkoderAutomatyczna generacja cech, nienadzorowany
LSTMRekurencyjna, sekwencje, 3 bramki
PrzeuczenieDlugie uczenie + nadmiar wag
★ FiszkiKliknij karte, by zobaczyc odpowiedz.
...
...
kliknij, by odwrocic

    
    
  
1 / 1
✎ Quiz egzaminacyjnyDwie wersje testu z poprzednich lat. Test B jest w formacie zgodnym z kolokwium (wielokrotny wybor — moze byc >1 poprawna odpowiedz).

    
    
  
1. Moment rozpedowy stosowany w uczeniu neuronu sigmoidalnego1 pkt

        zapewnia najlepsze wyniki uczenia
        pozwala zawsze osiagnac minimum globalne
        pozwala opuscic niekorzystne minimum lokalne
      
2. Neuron radialny gaussowski opisany jest1 pkt

        parametrami: centrum i szerokoscia
        wartosciami wag polaczen synaptycznych
        parametrami: srodkiem wagowym i odchyleniem wag
      
3. Regula Oji dotyczy1 pkt

        uczenia gradientowego
        uczenia ze wspolzawodnictwem
        uczenia hebbowskiego
      
4. Uczenie newtonowskie wykorzystuje wylacznie informacje zawarta w1 pkt

        gradiencie
        hesjanie i gradiencie
        hesjanie
      
5. Generalizacja sieci neuronowej to1 pkt

        mozliwosc zredukowania funkcji celu do zera
        zdolnosc odtwarzania danych testujacych nie uczestniczacych w uczeniu
        zdolnosc odtwarzania danych uczacych
      
6. Dla dobrej generalizacji liczba danych uczacych powinna byc1 pkt

        mniejsza niz liczba wag
        rowna podwojnej liczbie wag
        wielokrotnie wieksza od liczby wag
      
7. "Przeuczenie" sieci zwiazane jest z1 pkt

        zastosowaniem malo efektywnego algorytmu uczenia
        liczba danych uczacych
        dlugoscia uczenia i nadmiarowa liczba wag
      
8. "Bagging" to1 pkt

        algorytm uczacy sieci
        technika budowy rekurencyjnych predyktorow
        metoda ksztaltowania zespolu klasyfikatorow
      
9. Algorytm K-means w sieci RBF sluzy do1 pkt

        doboru wag sieci RBF w warstwie wyjsciowej
        ustalenia polozen centrow funkcji radialnych
        jednoczesnego doboru centrow i wag
      
10. Macierz Greena w sieci RBF definiowana jest przez1 pkt

        wartosci zwiazane wylacznie z wektorami uczacymi x
        wartosci zwiazane z wektorami x oraz d
        wartosci zwiazane wylacznie z wektorami d
      
11. Problem pierwotny uczenia SVM sformulowany jest jako1 pkt

        optymalizacja funkcji celu z ograniczeniami funkcyjnymi
        optymalizacja wylacznie z ograniczeniami nieliniowymi
        optymalizacja funkcji celu bez ograniczen
      
12. Problem dualny uczenia SVM jest zdefiniowany1 pkt

        jako niekwadratowy problem optymalizacyjny
        jako funkcja zmiennych oryginalnych i mnoznikow Lagrange'a
        wylacznie wzgledem mnoznikow Lagrange'a
      
13. Deflacja to1 pkt

        odtworzenie sygnalow na podstawie skladnikow odseparowanych
        odtworzenie sygnalow przy wyzerowaniu wybranych odseparowanych skladnikow
        odtworzenie sygnalow przy wyzerowaniu polowy skladnikow
      
14. Miara Fishera bazuje na1 pkt

        znajomosci srednich i std danych obu klas
        znajomosci tylko odchylenia std obu klas
        znajomosci tylko wartosci srednich obu klas
      
15. Reguła Sangera jest algorytmem uczacym sieci PCA1 pkt

        dla dowolnego, ale pojedynczego skladnika glownego
        tylko dla jednego, najwazniejszego skladnika
        dla wielu skladnikow glownych na raz
      
16. Mapa Kohonena rzutuje1 pkt

        dane z przestrzeni wielowymiarowej w przestrzen 2-D
        dane z przestrzeni 2-D w wielowymiarowa
        dane z wielowymiarowej w inna wielowymiarowa
      
17. Macierz pomylek (konfuzji) pozwala wyznaczyc1 pkt

        postac funkcji aktywacji
        bledy regresji
        AUC
      
18. Do miar jakosci regresji zalicza sie1 pkt

        czulosc
        MAE
        miare F1
      
19. W uczeniu sieci CNN wazna role odgrywa1 pkt

        dekompozycja Grama-Schmidta
        slepa separacja sygnalow
        operacja "pooling"
      
20. Autoenkoder jest1 pkt

        systemem separacji danych
        systemem automatycznej generacji cech procesu
        systemem grupowania danych
      
1. Uczenie nadzorowane z nauczycielem wymaga danych uczacych w postaciwielokr.

        par danych (x, d)
        jedynie zbioru wektorow x
        jedynie zbioru wektorow d
      
2. Dla dobrej generalizacji liczba neuronow ukrytych powinna bycwielokr.

        rowna liczbie danych uczacych
        wieksza od liczby danych uczacych
        mniejsza od liczby danych uczacych
      
3. Procedury OBD i OBS dotyczawielokr.

        rozbudowy struktury sieci
        obcinania pewnych wag w sieci
        ustalenia optymalnej liczby neuronow ukrytych
        przerwania uczenia w odpowiednim momencie
      
4. Ktore problemy moga wystapic w sieci RBF przy zlym doborze parametrow?wielokr.

        przeuczenie
        niedouczenie
        niedobor centrow
        nadmiar danych
      
5. Funkcja ReLU jestwielokr.

        rozniczkowalna
        rosnaca i bez miejsca zerowego
        nierozniczkowalna
        zeruje wartosci ujemne
      
6. Ktore stwierdzenia sa prawdziwe dla wstecznej propagacji bledu w MLP?wielokr.

        jest algorytmem do trenowania sieci neuronowych
        aktualizuje wagi propagujac blad wstecz przez siec
        jest uzywany tylko w sieciach jednokierunkowych
        wymaga obliczenia gradientow funkcji kosztu
      
7. Ktore problemy moga wystapic podczas trenowania sieci neuronowych?wielokr.

        zanikajacy gradient
        eksplodujacy gradient
        przeuczenie
        niedouczenie
        nadmiar danych
      
8. Ktore z ponizszych techniki zapobiegaja przeuczeniu (overfitting)?wielokr.

        dropout
        normalizacja danych
        zwiekszanie liczby epok
        wzrost wielkosci zbioru treningowego
        zaszumienie danych uczacych
      
9. Ktore typy funkcji aktywacji sa uzywane w sieciach neuronowych?wielokr.

        funkcja sigmoidalna
        funkcja tanh
        funkcja softmax
        funkcja ReLU
      
10. Ktore parametry sa modyfikowane podczas trenowania sieci?wielokr.

        liczba neuronow
        wartosci wag i bias
        struktura sieci
        liczba warstw ukrytych
      
11. Sieci rekurencyjne sluza do rozwiazywania problemowwielokr.

        szukania minimum w przestrzeni wielowymiarowej
        minimalizacji bledow predykcji procesow dynamicznych
        obliczania najwiekszych bledow klasyfikacji
      
12. Co oznacza "overfitting"?wielokr.

        siec zbyt skomplikowana, zbyt dobrze dopasowana do danych treningowych
        siec zbyt prosta, slabo dopasowana do danych treningowych
        siec zbyt wolna w uczeniu
      
13. Co to jest epoka?wielokr.

        jeden krok optymalizacji
        przebieg algorytmu przez wszystkie dane treningowe jeden raz
        liczba wag w jednej warstwie
      
14. Ktore metody moga wskazywac na problem z generalizacja?wielokr.

        niskie bledy na zbiorze treningowym, ale wysokie na testowym
        wysokie bledy na obu zbiorach
        niskie bledy na obu zbiorach
        znaczna roznica miedzy wynikami treningowym i testowym
      
15. Strategia uczenia w sieci samoorganizujacej Kohonena towielokr.

        WTA
        WTM
        korelacyjna
        najwiekszego spadku
      
0 / 0

Jadro	Wzor	Siec
liniowe	\(x^Tx_i+\gamma\)	liniowa
wielomianowe	\((x^Tx_i+\gamma)^q\)	wielomianowa
gaussowskie	\(e^{-\gamma\lVert x-x_i\rVert^2}\)	RBF