Przedmowa

Rozdział 1. Dlaczego warto poznać matematykę zarządzającą sztuczną inteligencją?

• Czym jest sztuczna inteligencja?
• Dlaczego sztuczna inteligencja jest dziś tak popularna?
• Co potrafi sztuczna inteligencja?
  • Specyficzne zadania agenta AI
• Jakie są ograniczenia sztucznej inteligencji?
• Co się stanie, gdy systemy AI zawiodą?
• Dokąd zmierza sztuczna inteligencja?
• Kim są obecni główni twórcy w dziedzinie sztucznej inteligencji?
• Jakie obliczenia matematyczne są zwykle stosowane w sztucznej inteligencji?
• Podsumowanie i spojrzenie w przyszłość

Rozdział 2. Dane, dane, dane

• Dane dla AI
• Dane rzeczywiste a dane symulowane
• Modele matematyczne - liniowe kontra nieliniowe
• Przykład danych rzeczywistych
• Przykład danych symulowanych
• Modele matematyczne - symulacje i sztuczna inteligencja
• Skąd pochodzą dane?
• Słownictwo związane z rozkładem danych, prawdopodobieństwem i statystyką
  • Zmienne losowe
  • Rozkłady prawdopodobieństwa
  • Prawdopodobieństwa krańcowe
  • Rozkład równomierny i normalny
  • Prawdopodobieństwa warunkowe i twierdzenie Bayesa
  • Prawdopodobieństwa warunkowe i rozkłady łączne
  • Rozkład aprioryczny, rozkład a posteriori i funkcja wiarygodności
  • Kombinacje rozkładów
  • Sumy i iloczyny zmiennych losowych
  • Wykorzystanie grafów do przedstawienia łącznych rozkładów prawdopodobieństwa
  • Wartość oczekiwana, średnia, wariancja i niepewność
  • Kowariancja i korelacja
  • Procesy Markowa
  • Normalizacja, skalowanie i (lub) standaryzacja zmiennej losowej lub zbioru danych
  • Typowe przykłady
• Rozkłady ciągłe a rozkłady dyskretne (gęstość kontra masa)
• Potęga funkcji gęstości prawdopodobieństwa łącznego
• Równomierny rozkład danych
• Rozkład normalny (Gaussa) w kształcie dzwonu
• Rozkłady danych - inne ważne i powszechnie używane rozkłady
• Różne zastosowania słowa "rozkład"
• Testy A/B
• Podsumowanie i spojrzenie w przyszłość

Rozdział 3. Dopasowywanie funkcji do danych

• Tradycyjne i bardzo przydatne modele uczenia maszynowego
• Rozwiązania numeryczne a rozwiązania analityczne
• Regresja - przewidywanie wartości liczbowej
  • Funkcja szkoleniowa
  • Funkcja straty
  • Optymalizacja
• Regresja logistyczna - klasyfikacja do dwóch klas
  • Funkcja szkoleniowa
  • Funkcja straty
  • Optymalizacja
• Regresja softmax - przyporządkowanie do wielu klas
  • Funkcja szkoleniowa
  • Funkcja straty
  • Optymalizacja
• Wykorzystanie omówionych modeli do ostatniej warstwy sieci neuronowej
• Inne popularne techniki i zestawy technik uczenia maszynowego
  • Maszyny wektorów nośnych
  • Drzewa decyzyjne
  • Lasy losowe
  • Klasteryzacja k-średnich
• Miary wydajności dla modeli klasyfikacji
• Podsumowanie i perspektywy na przyszłość

Rozdział 4. Optymalizacja w sieciach neuronowych

• Kora mózgowa a sztuczne sieci neuronowe
• Funkcja szkoleniowa - w pełni połączone (gęste) sieci neuronowe z przekazem w przód
  • Sieć neuronowa jest reprezentacją grafu obliczeniowego funkcji szkoleniowej
  • Łączenie liniowe, dodawanie przesunięcia i aktywacja
  • Popularne funkcje aktywacji
  • Uniwersalna aproksymacja funkcji
  • Teoria aproksymacji dla uczenia głębokiego
• Funkcje straty
• Optymalizacja
  • Matematyka sieci neuronowych i ich tajemniczy sukces
  • Zstępowanie gradientowe ?i+1=?i-??L?i
  • Rola hiperparametru szybkości uczenia
  • Wykresy wypukłe i niewypukłe
  • Stochastyczne zstępowanie gradientowe
  • Inicjalizacja wag ?0 dla procesu optymalizacji
• Techniki regularyzacji
  • Dropout
  • Wczesne zatrzymanie
  • Normalizacja wsadowa każdej warstwy
  • Kontrola rozmiaru wag poprzez penalizowanie ich normy
  • Penalizacja normy l2 a penalizacja normy l1
  • Wyjaśnienie roli hiperparametru regularyzacji ?
• Przykłady hiperparametrów występujących w uczeniu maszynowym
• Reguła łańcuchowa i propagacja wstecz: Obliczanie ?L?i
  • Propagacja wsteczna nie różni się zbytnio od sposobu, w jaki uczy się ludzki mózg
  • Dlaczego propagacja wstecz daje lepsze efekty?
  • Propagacja wsteczna w szczegółach
• Ocena znaczenia cech danych wejściowych
• Podsumowanie i perspektywy na przyszłość

Rozdział 5. Konwolucyjne sieci neuronowe i komputerowe przetwarzanie obrazów

• Splot i korelacja krzyżowa
  • Niezmienność translacji i równoważność translacji
  • Splot w zwykłej przestrzeni jest iloczynem w przestrzeni częstotliwości
• Splot z perspektywy projektowania systemów
  • Splot i odpowiedź impulsowa w systemach liniowych i niezmiennych względem translacji
• Operacja splotu a jednowymiarowe sygnały dyskretne
• Operacja splotu a dwuwymiarowe sygnały dyskretne
  • Filtrowanie obrazów
  • Mapy cech
• Notacja algebry liniowej
  • Przypadek jednowymiarowy - mnożenie przez macierz Toeplitza
  • Przypadek dwuwymiarowy - mnożenie przez podwójną blokową macierz cykliczną
• Pooling
• Konwolucyjna sieć neuronowa do klasyfikacji obrazów
• Podsumowanie i perspektywy na przyszłość

Rozdział 6. Rozkład według wartości osobliwych - przetwarzanie obrazów, przetwarzanie języka naturalnego i media społecznościowe

• Faktoryzacja macierzy
• Macierze diagonalne
• Macierze jako przekształcenia liniowe działające na przestrzeń
  • Działanie macierzy A na prawe wektory osobliwe
  • Działanie macierzy A na standardowe wektory jednostkowe i wyznaczony przez nie kwadrat jednostkowy
  • Działanie macierzy A na jednostkowym okręgu
  • Transformacja okręgu w elipsę zgodnie z rozkładem według wartości osobliwych
  • Macierze obrotu i odbić
  • Działanie macierzy A na ogólny wektor x
• Trzy sposoby mnożenia macierzy
• Ogólny zarys
  • Współczynnik uwarunkowania i stabilność obliczeniowa
• Elementy rozkładu wartości osobliwych
• Rozkład według wartości osobliwych a rozkład według wartości własnych
• Obliczanie rozkładu według wartości osobliwych
  • Numeryczne obliczanie wektora własnego
• Pseudoinwersja
• Zastosowanie rozkładu według wartości osobliwych w przetwarzaniu obrazów
• Analiza składowych głównych a redukcja wymiarów
• Analiza składowych głównych a grupowanie
• Aplikacje społecznościowe
• Utajona analiza semantyczna
• Losowy rozkład według wartości osobliwych
• Podsumowanie i perspektywy na przyszłość

Rozdział 7. AI w przetwarzaniu języka naturalnego i finansach - wektoryzacjai szeregi czasowe

• Modele AI w przetwarzaniu języka naturalnego
• Przygotowanie danych języka naturalnego do maszynowego przetwarzania
• Modele statystyczne i funkcja logarytmiczna
• Prawo Zipfa o liczności terminów
• Różne reprezentacje wektorowe dla dokumentów języka naturalnego
  • Reprezentacja wektorowa częstości terminów w dokumencie lub "worku słów"
  • Reprezentacja wektorowa dokumentu TF-IDF
  • Tematyczna reprezentacja wektorowa dokumentu określona przez utajoną analizę semantyczną
  • Reprezentacja wektora tematycznego dokumentu określona przez utajoną alokację Dirichleta
  • Reprezentacja wektora tematycznego dokumentu określona przez utajoną analizę dyskryminacyjną
  • Reprezentacje wektorów znaczeń słów i dokumentów określone przez osadzone sieci neuronowe
• Podobieństwo kosinusowe
• Zastosowania mechanizmów przetwarzania języka naturalnego
  • Analiza tonu
  • Filtry spamu
  • Wyszukiwanie i odzyskiwanie informacji
  • Tłumaczenie maszynowe
  • Podpisy do obrazów
  • Chatboty
  • Inne zastosowania
• Transformery i modele uwagi
  • Architektura transformera
  • Mechanizm uwagi
  • Transformerom daleko do doskonałości
• Konwolucyjne sieci neuronowe dla danych w postaci szeregów czasowych
• Rekurencyjne sieci neuronowe dla danych szeregów czasowych
  • Jak działają rekurencyjne sieci neuronowe?
  • Bramkowane jednostki rekurencyjne i jednostki LSTM
• Przykład danych języka naturalnego
• Sztuczna inteligencja w dziedzinie finansów
• Podsumowanie i perspektywy na przyszłość

Rozdział 8. Probabilistyczne modele generatywne

• Do czego przydają się modele generatywne?
• Typowe reguły matematyczne modeli generatywnych
• Przejście z myślenia deterministycznego na myślenie probabilistyczne
• Oszacowanie metodą największej wiarygodności
• Jawne i niejawne modele gęstości
• Jawny model gęstości - wykonalny: w pełni sieci przekonań
  • Przykład: generowanie obrazów za pomocą modelu PixelCNN i maszynowego dźwięku za pomocą modelu WaveNet
• Jawny model gęstości - wykonalny: zmiana zmiennych w nieliniowej analizie składowych niezależnych
• Jawny model gęstości - niepraktyczny: aproksymacja autoenkoderów wariacyjnych za pomocą metod wariacyjnych
• Jawny model gęstości - niepraktyczny: aproksymacja maszyny Boltzmanna za pomocą łańcucha Markowa
• Niejawny łańcuch gęstości Markowa - generatywna sieć stochastyczna
• Niejawna gęstość prawdopodobieństwa - generatywne sieci kontradyktoryjne
  • Jak działają generatywne sieci kontradyktoryjne?
• Przykład: uczenie maszynowe i sieci generatywne w fizyce wysokich energii
• Inne modele generatywne
  • Naiwny klasyfikator Bayesa
  • Mieszany model Gaussa
• Ewolucja modeli generatywnych
  • Sieci Hopfielda
  • Maszyna Boltzmanna
  • Ograniczona maszyna Boltzmanna
  • Oryginalny autoenkoder
• Probabilistyczne modelowanie języka
• Podsumowanie i perspektywy na przyszłość

Rozdział 9. Modele grafów

• Grafy - węzły, krawędzie i ich cechy
• Przykład: algorytm PageRank
• Odwracanie macierzy za pomocą grafów
• Grafy grup Cayleya - czysta algebra i obliczenia równoległe
• Przekazywanie komunikatów w obrębie grafu
• Nieograniczone zastosowania grafów
  • Sieci ludzkiego mózgu
  • Rozprzestrzenianie się choroby
  • Rozprzestrzenianie się informacji
  • Mechanizmy detekcji i śledzenia rozpowszechniania fałszywych wiadomości
  • Systemy rekomendacji w skali internetu
  • Walka z rakiem
  • Grafy biochemiczne
  • Generowanie grafów molekularnych na potrzeby odkrywania struktur leków i białek
  • Sieci cytowań
  • Sieci mediów społecznościowych i prognozowanie wpływu społecznego
  • Struktury socjologiczne
  • Sieci bayesowskie
  • Prognozowanie ruchu
  • Logistyka i badania operacyjne
  • Modele językowe
  • Struktura grafu internetowego
  • Automatyczna analiza programów komputerowych
  • Struktury danych w informatyce
  • Równoważenie obciążenia w sieciach rozproszonych
  • Sztuczne sieci neuronowe
• Losowe spacery po grafach
• Uczenie reprezentacji węzłów
• Zadania dla grafowych sieci neuronowych
  • Klasyfikacja węzłów
  • Klasyfikacja grafów
  • Klasteryzacja i wykrywanie społeczności
  • Generowanie grafów
  • Maksymalizacja oddziaływania
  • Prognozowanie połączeń
• Dynamiczne modele grafowe
• Sieci bayesowskie
  • Sieć bayesowska jako reprezentacja zagęszczonej tabeli prawdopodobieństwa warunkowego
  • Tworzenie prognoz za pomocą sieci bayesowskiej
  • Sieci bayesowskie to sieci przekonań, a nie sieci przyczynowe
  • Ważne informacje o sieciach bayesowskich
  • Łańcuchy, rozwidlenia i kolidery
  • Jak skonfigurować sieć bayesowską zmiennych dla znanego zestawu danych?
• Grafy wykorzystywane na potrzeby probabilistycznego modelowania przyczynowego
• Krótka historia teorii grafów
• Główne pojęcia w teorii grafów
  • Drzewa rozpinające i najkrótsze drzewa rozpinające
  • Zbiory przekrojów i wierzchołki przekrojów
  • Planarność
  • Grafy jako przestrzenie wektorowe
  • Realizowalność
  • Kolorowanie i dopasowywanie
  • Wyliczanie
• Algorytmy i obliczeniowe aspekty grafów
• Podsumowanie i perspektywy na przyszłość

Rozdział 10. Badania operacyjne

• Nie ma darmowych obiadów
• Analiza złożoności i notacja O()
• Optymalizacja - sedno badań operacyjnych
• Myślenie o optymalizacji
  • Optymalizacja - skończone wymiary, bez ograniczeń
  • Optymalizacja - wymiary skończone, ograniczone mnożniki Lagrange'a
  • Optymalizacja - nieskończone wymiary, rachunek wariacyjny
• Optymalizacja w sieciach
  • Problem komiwojażera
  • Minimalne drzewo rozpinające
  • Najkrótsza ścieżka
  • Maksymalny przepływ, minimalny przekrój
  • Maksymalny przepływ, minimalny koszt
  • Metoda ścieżki krytycznej w projektowaniu
• Problem n-królowych
• Optymalizacja liniowa
  • Format ogólny i format standardowy
  • Wizualizacja problemu optymalizacji liniowej w dwóch wymiarach
  • Konwersja funkcji wypukłej na liniową
  • Geometria optymalizacji liniowej
  • Metoda simpleks
  • Problem transportowy i problemy przydziału
  • Dualizm, relaksacja Lagrange'a, ceny cienie, Max-Min, Min-Max i tak dalej
  • Czułość
• Teoria gier i multiagenty
• Kolejkowanie
• Zapasy
• Uczenie maszynowe w badaniach operacyjnych
• Równanie Hamiltona-Jacobiego-Bellmana
• Badania operacyjne na potrzeby sztucznej inteligencji
• Podsumowanie i perspektywy na przyszłość

Rozdział 11. Prawdopodobieństwo

• Gdzie w tej książce pojawiło się prawdopodobieństwo?
• Jakie dodatkowe tematy są niezbędne dla sztucznej inteligencji?
• Modelowanie przyczynowe i rachunek do
  • Alternatywa: rachunek do
• Paradoksy i interpretacje diagramów
  • Problem Monty'ego Halla
  • Paradoks Berksona
  • Paradoks Simpsona
• Duże macierze losowe
  • Przykłady losowych wektorów i macierzy
  • Główne rozważania dotyczące teorii macierzy losowych
  • Zespołowe macierze losowe
  • Gęstość wartości własnych sumy dwóch dużych macierzy losowych
  • Niezbędne narzędzia matematyki dla dużych macierzy losowych
• Procesy stochastyczne
  • Proces Bernoulliego
  • Proces Poissona
  • Losowy spacer
  • Proces Wienera, czyli ruchy Browna
  • Martyngały
  • Proces Levy'ego
  • Proces rozgałęziający
  • Łańcuch Markowa
  • Lemat Itô
• Procesy decyzyjne Markowa a uczenie przez wzmacnianie
  • Przykłady uczenia przez wzmacnianie
  • Uczenie przez wzmacnianie jako proces decyzyjny Markowa
  • Uczenie przez wzmacnianie w kontekście sterowania optymalnego i dynamiki nieliniowej
  • Biblioteka Pythona do obsługi uczenia przez wzmacnianie
• Rygorystyczne podstawy teoretyczne
  • Które zdarzenia mają prawdopodobieństwo?
  • Czy można mówić o szerszym zakresie zmiennych losowych?
  • Trójka prawdopodobieństwa (przestrzeń próbek, algebra sigma, miara prawdopodobieństwa)
  • Gdzie leży trudność?
  • Zmienna losowa, oczekiwanie i całkowanie
  • Rozkład zmiennej losowej i twierdzenie o zmianie zmiennej
  • Kolejne kroki w rygorystycznej teorii prawdopodobieństwa
  • Twierdzenie o uniwersalności dla sieci neuronowych
• Podsumowanie i perspektywy na przyszłość

Rozdział 12. Logika matematyczna

• Różne frameworki logiki
• Logika zdaniowa
  • Od kilku aksjomatów do kompletnej teorii
  • Kodyfikacja logiki w agencie
  • Uczenie maszynowe deterministyczne kontra probabilistyczne
• Logika pierwszego rzędu
  • Relacje pomiędzy kwantyfikatorami "dla wszystkich" i "istnieje"
• Logika probabilistyczna
• Logika rozmyta
• Logika temporalna
• Porównanie z ludzkim językiem naturalnym
• Maszyny i złożone wnioskowanie matematyczne
• Podsumowanie i perspektywy na przyszłość

Rozdział 13. Sztuczna inteligencja i cząstkowe równania różniczkowe

• Co to jest cząstkowe równanie różniczkowe?
• Modelowanie z wykorzystaniem równań różniczkowych
  • Modele w różnych skalach
  • Parametry równań PDE
  • Zmiana jednej rzeczy w PDE może mieć wielkie znaczenie
  • Czy można wykorzystać sztuczną inteligencję?
• Rozwiązania numeryczne są bardzo cenne
  • Funkcje ciągłe a funkcje dyskretne
  • Motywy PDE z mojej pracy doktorskiej
  • Dyskretyzacja i przekleństwo wymiarowości
  • Różnice skończone
  • Elementy skończone
  • Metody wariacyjne, czyli energetyczne
  • Metody Monte Carlo
• Wybrane zagadnienia mechaniki statystycznej - cudowne równanie główne
• Rozwiązania jako oczekiwania badanych procesów losowych
• Przekształcanie równań PDE
  • Transformata Fouriera
  • Transformata Laplace'a
• Operatory rozwiązań
  • Przykład użycia równania ciepła
  • Przykład użycia równania Poissona
  • Iteracja oparta na punkcie stałym
• Sztuczna inteligencja dla PDE
  • Uczenie głębokie w celu rozpoznania wartości fizycznych parametrów
  • Uczenie głębokie do nauki siatek
  • Uczenie głębokie w celu uzyskania przybliżeń operatorów rozwiązań PDE
  • Rozwiązania numeryczne wielkowymiarowych równań różniczkowych
  • Symulowanie zjawisk naturalnych bezpośrednio na podstawie danych
• Równanie PDE Hamiltona-Jacobiego-Bellmana w programowaniu dynamicznym
• Równania PDE na potrzeby AI?
• Inne rozważania dotyczące cząstkowych równań różniczkowych
• Podsumowanie i perspektywy na przyszłość

Rozdział 14. Sztuczna inteligencja, etyka, matematyka, prawo i przepisy

• Dobra sztuczna inteligencja
• Przepisy mają znaczenie
• Co może pójść źle?
  • Od matematyki do broni
  • Chemiczne środki bojowe
  • Sztuczna inteligencja a polityka
  • Niezamierzone wyniki działania modeli generatywnych
• Jak to naprawić?
  • Rozwiązanie problemu niedostatecznej reprezentacji danych szkoleniowych
  • Rozwiązanie problemu stronniczości w wektorach słów
  • Prywatność
  • Uczciwość
  • Wstrzykiwanie moralności do systemów sztucznej inteligencji
  • Demokratyzacja i dostępność systemów sztucznej inteligencji dla nieprofesjonalistów
  • Priorytetyzacja danych wysokiej jakości
• Odróżnianie stronniczości od dyskryminacji
• Szum medialny
• Końcowe przemyślenia

Skorowidz

• Title: Matematyka i sztuczna inteligencja. Kluczowe koncepcje zwiększania skuteczności i wydajności systemów
• Author: Hala Nelson
• Original title: Essential Math for AI: Next-Level Mathematics for Efficient and Successful AI Systems
• Translation: Radosław Meryk
• ISBN: 978-83-289-1446-9, 9788328914469
• Date of issue: 2025-01-14
• Format: Ebook
• Item ID: maszin
• Publisher: Helion