Przedmowa 11

1. Wstęp 13

1.1. Podstawy biologiczne działania neuronu 13

1.2. Pierwsze modele sieci neuronowej 16

1.3. Przegląd zastosowań sieci neuronowych 18

2. Modele neuronów i metody ich uczenia 21

2.1. Perceptron 22

2.2. Neuron sigmoidalny 23

2.3. Neuron radialny 28

2.4. Neuron typu adaline 29

2.5. Instar i outstar Grossberga 31

2.6. Neurony typu WTA 34

2.7. Model neuronu Hebba 38

2.8. Model stochastyczny neuronu 41

2.9. Zadania i problemy 43

3. Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego 44

3.1. Sieć jednowarstwowa 45

3.2. Sieć wielowarstwowa perceptronowa 48

3.2.1. Struktura sieci perceptronowej 48

3.2.2. Algorytm propagacji wstecznej 49

3.3. Grafy przepływowe w zastosowaniu do generacji gradientu 53

3.4. Algorytmy gradientowe uczenia sieci 58

3.4.1. Zależności podstawowe 58

3.4.2. Algorytm największego spadku 60

3.4.3. Algorytm zmiennej metryki 61

3.4.4. Algorytm Levenberga-Marquardta 63

3.4.5. Algorytm gradientów sprzężonych 65

3.5. Dobór współczynnika uczenia 66

3.6. Metody heurystyczne uczenia sieci 69

3.6.1. Algorytm Quickprop 70

3.6.2. Algorytm RPROP 71

3.7. Program komputerowy MLP do uczenia sieci perceptronowej 72

3.8. Porównanie efektywności algorytmów uczących 73

3.9. Elementy optymalizacji globalnej 78

3.9.1. Algorytm symulowanego wyżarzania 81

3.9.2. Elementy algorytmów genetycznych 84

3.10. Metody inicjalizacji wag 89

3.11. Zadania i problemy 91

4. Problemy praktycznego wykorzystania sieci neuronowych 93

4.1. Zdolności generalizacyjne sieci neuronowych 93

4.1.1. Zależności podstawowe 93

4.1.2. Miara VCdim 94

4.1.3. Zależności między błędem generalizacji i miarą VCdim 95

4.1.4. Przegląd metod zwiększania zdolności generalizacyjnych sieci neuronowej 97

4.2. Wstępny dobór architektury sieci 102

4.3. Dobór optymalnej architektury sieci pod względem generalizacji 105

4.3.1. Metody wrażliwościowe redukcji sieci 106

4.3.2. Metody redukcji sieci z zastosowaniem funkcji kary 110

4.4. Wtrącanie szumu do próbek uczących 112

4.5. Zwiększanie zdolności generalizacyjnych przez użycie wielu sieci 115

4.6. Przykłady zastosowań sieci perceptronowej 117

4.6.1. Rozpoznawanie i klasyfikacja wzorców binarnych 117

4.6.2. Rozpoznawanie wzorców na podstawie obrysu zewnętrznego 126

4.6.3. Sieć neuronowa do kompresji danych 132

4.6.4. Identyfikacja obiektów dynamicznych 136

4.6.5. Predykcja obciążeń systemu elektroenergetycznego 139

4.7. Zadania i problemy 143

5. Sieci neuronowe radialne 144

5.1. Podstawy matematyczne 145

5.2. Sieć neuronowa radialna 147

5.3. Metody uczenia sieci neuronowych radialnych 153

5.3.1. Proces samoorganizacji w zastosowaniu do adaptacji parametrów funkcji radialnych 154

5.3.2. Algorytm probabilistyczny doboru parametrów funkcji radialnych 157

5.3.3. Algorytm hybrydowy uczenia sieci radialnych 159

5.3.4. Algorytmy uczące oparte na propagacji wstecznej 161

5.4. Metody doboru liczby funkcji bazowych 164

5.4.1. Metody heurystyczne 164

5.4.2. Metoda ortogonalizacji Grama-Schmidta 165

5.5. Program komputerowy uczenia sieci radialnych 170

5.6. Przykład zastosowania sieci radialnej w aproksymacji 172

5.7. Porównanie sieci radialnych z sieciami sigmoidalnymi 174

5.8. Zadania i problemy 176

6. Sieci SVM 177

6.1. Sieć liniowa SVM w zadaniu klasyfikacji 178

6.2. Sieć nieliniowa SVM w zadaniu klasyfikacji 184

6.3. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci 192

6.4. Problem klasyfikacji przy wielu klasach 193

6.5. Sieci SVM do zadań regresji 194

6.6. Przegląd algorytmów rozwiązania zadania dualnego 197

6.7. Program komputerowy uczenia sieci SVM 201

6.8. Przykłady zastosowania sieci SVM 204

6.8.1. Problem klasyfikacyjny dwu spiral 204

6.8.2. Rozpoznawanie tekstur 205

6.8.3. Wykrywanie uszkodzeń elementów w obwodzie filtru elektrycznego 207

6.9. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi 209

6.10. Zadania i problemy 214

7. Specjalizowane struktury sieci neuronowych 215

7.1. Sieć kaskadowej korelacji Fahlmana 215

7.2. Sieć Volterry 221

7.2.1. Struktura i zależności uczące sieci 222

7.2.2. Przykłady zastosowań sieci Volterry 225

7.3. Zadania i problemy 232

8. Sieci rekurencyjne jako pamięci asocjacyjne 233

8.1. Wprowadzenie 233

8.2. Sieć autoasocjacyjna Hopfielda 235

8.2.1. Zależności podstawowe 235

8.2.2. Tryb uczenia sieci Hopfielda 238

8.2.3. Tryb odtworzeniowy sieci Hopfielda 239

8.2.4. Program Hop win 240

8.3. Sieć Hamminga 243

8.3.1. Struktura sieci i algorytm doboru wag 243

8.3.2. Działanie sieci Hamminga 245

8.3.3. Program Shamming uczenia sieci 246

8.4. Sieć typu BAM 249

8.4.1. Opis działania sieci 249

8.4.2. Zmodyfikowany algorytm uczący sieci BAM 252

8.4.3. Zmodyfikowana struktura sieci BAM 253

8.5. Zadania i problemy 259

9. Sieci rekurencyjne tworzone na bazie perceptronu 261

9.1. Wprowadzenie 261

9.2. Sieć perceptronowa ze sprzężeniem zwrotnym 261

9.2.1. Struktura sieci RMLP 261

9.2.2. Algorytm uczenia sieci RMLP 263

9.2.3. Dobór współczynnika uczenia 265

9.2.4. Współczynnik wzmocnienia sygnału 266

9.2.5. Wyniki symulacji komputerowych 266

9.3. Sieć rekurencyjna Elmana 271

9.3.1. Struktura sieci 271

9.3.2. Algorytm uczenia sieci Elmana 273

9.3.3. Uczenie z wykorzystaniem momentu 275

9.3.4. Przykładowe wyniki symulacji komputerowych sieci Elmana 276

9.4. Sieć RTRN 280

9.4.1. Struktura sieci i algorytm uczący 280

9.4.2. Wyniki eksperymentów numerycznych 282

9.5. Zadania i problemy 286

10. Sieci samoorganizujące się na zasadzie współzawodnictwa 287

10.1. Zależności podstawowe sieci samoorganizujących się przez współzawodnictwo 287

10.1.1. Miary odległości między wektorami 289

10.1.2. Normalizacja wektorów 290

10.1.3. Problem neuronów martwych 291

10.2. Algorytmy uczące sieci samoorganizujących 292

10.2.1. Algorytm Kohonena 293

10.2.2. Algorytm gazu neuronowego 294

10.2.3. Program Kohon 296

10.2.4. Porównanie algorytmów samoorganizacji 298

10.3. Sieć odwzorowań jedno- i dwuwymiarowych 300

10.4. Odwzorowanie Sammona 303

10.5. Zastosowania sieci samoorganizujących 305

10.5.1. Kompresja danych 305

10.5.2. Wykrywanie uszkodzeń w urządzeniach 308

10.5.3. Krótkoterminowe prognozowanie obciążeń systemu elektroenergetycz­nego 311

10.6. Sieć hybrydowa 315

10.7. Zadania i problemy 319

11. Sieci samoorganizujące typu korelacyjnego 321

11.1. Funkcja energetyczna sieci korelacyjnych 321

11.2. Sieci neuronowe PCA 323

11.2.1. Wprowadzenie matematyczne 323

11.2.2. Relacja między przekształceniami PCA i SVD 326

11.2.3. Estymacja pierwszego składnika głównego 327

11.2.4. Algorytmy estymacji wielu składników głównych 328

11.3. Sieci neuronowe do ślepej separacji sygnałów 331

11.3.1. Zależności wstępne 331

11.3.2. Niezależność statystyczna sygnałów 332

11.3.3. Struktura rekurencyjna sieci separującej 333

11.3.4. Algorytm Heraulta-Juttena dla sieci rekurencyjnej 335

11.3.5. Algorytm Cichockiego uczenia sieci rekurencyjnej 336

11.3.6. Program ślepej separacji BS 337

11.3.7. Sieć jednokierunkowa do separacji sygnałów 340

11.3.8. Toolbox ICALAB 346

11.4. Zadania i problemy 347

12. Podstawy matematyczne systemów rozmytych 348

12.1. Operacje na zbiorach rozmytych 350

12.2. Miary rozmytości zbiorów rozmytych 352

12.3. Rozmytość a prawdopodobieństwo 353

12.4. Reguły rozmyte wnioskowania 354

12.5. Systemy wnioskowania rozmytego Mamdaniego-Zadeha 356

12.5.1. Fuzyfikator 358

12.5.2. Defuzyfikator 362

12.5.3. Model Mamdaniego-Zadeha jako układ uniwersalnego aproksymatora 363

12.6. Model wnioskowania Takagi-Sugeno-Kanga 364

12.7. Zadania i problemy 367

13. Sieci neuronowe rozmyte 369

13.1. Struktura sieci rozmytej TSK 369

13.2. Struktura sieci Wanga-Mendela 373

13.3. Algorytmy samoorganizacji w zastosowaniu do uczenia sieci rozmytej 374

13.3.1. Algorytm grupowania górskiego 375

13.3.2. Algorytm C-means 378

13.3.3. Algorytm Gustafsona-Kessela samoorganizacji rozmytej 380

13.4. Generacja reguł wnioskowania sieci rozmytej 385

13.5. Algorytm hybrydowy uczenia sieci rozmytej TSK 388

13.6. Modyfikacje sieci TSK 392

13.6.1. Algorytm wyznaczania liczby reguł wnioskowania 393

13.6.2. Przykład numeryczny 395

13.6.3. Uproszczona sieć TSK 398

13.7. Sieć hybrydowa rozmyta 400

13.8. Przykłady zastosowań sieci rozmytych 402

13.8.1. Estymacja stężenia składników mieszaniny gazowej 403

13.8.2. Rozpoznawanie składników mieszanin gazowych 404

13.8.3. Rozpoznawanie gatunków piwa na podstawie zapachu 407

13.9. Adaptacyjny algorytm samoorganizacji dla sieci rozmytej 409

13.10. Zadania i problemy 412

14. Głębokie sieci neuronowe 414

14.1. Autoenkoder 415

14.2. Sieć o ekstremalnym uczeniu 424

14.3. Sieci konwolucyjne (CNN) 426

14.3.1. Opis struktury sieci CNN 427

14.3.2. Dobór struktury CNN 434

14.3.3. Uczenie sieci CNN 438

14.3.4. Przykłady zastosowania sieci CNN w Matlabie 442

14.4. Ograniczona maszyna Boltzmanna 451

14.4.1. Pojęcia wstępne 451

14.4.2. Algorytm uczenia sieci RBM 453

14.5. Sieć DBN 458

14.5.1. Struktura sieci DBN 458

14.5.2. Algorytm uczenia sieci DBN 459

14.6. Głębokie sieci rekurencyjne LSTM 459

14.6.1. Wprowadzenie 459

14.6.2. Zasada działania sieci LSTM 461

14.7. Przykłady praktycznych zastosowań sieci głębokich 465

14.8. Podsumowanie 473

Bibliografia 475

Skorowidz 487

• Title: Sieci neuronowe do przetwarzania informacji
• Author: Stanisław Osowski
• ISBN: 978-83-8156-070-2, 9788381560702
• Date of issue: 2020-10-27
• Format: Ebook
• Item ID: e_1snq
• Publisher: Oficyna Wydawnicza Politechniki Warszawskiej