O autorach

O recenzentach

Przedmowa

Rozdział 1. Nawigowanie po krajobrazie NLP - kompleksowe wprowadzenie

• Dla kogo jest ta książka?
• Co to jest przetwarzanie języka naturalnego?
  • Historia i ewolucja przetwarzania języka naturalnego
• Wstępne strategie maszynowego przetwarzania języka naturalnego
• Zwycięska synergia - połączenie NLP i ML
• Wprowadzenie do matematyki i statystyki w NLP
  • Przykład modelu językowego - ChatGPT
• Podsumowanie
• Pytania i odpowiedzi

Rozdział 2. Algebra liniowa, prawdopodobieństwo i statystyka w uczeniu maszynowym i NLP

• Wprowadzenie do algebry liniowej
  • Podstawowe działania na macierzach i wektorach
  • Definicje macierzy
• Wartości i wektory własne
  • Metody numeryczne znajdowania wektorów własnych
  • Rozkład macierzy na wartości własne
  • Rozkład według wartości osobliwych
• Prawdopodobieństwo w uczeniu maszynowym
  • Niezależność statystyczna
  • Zmienne losowe dyskretne i ich rozkład
  • Funkcja gęstości prawdopodobieństwa
  • Estymacja bayesowska
• Podsumowanie
• Dalsza lektura
• Bibliografia

Rozdział 3. Wykorzystanie potencjału uczenia maszynowego w NLP

• Wymagania techniczne
• Eksploracja danych
  • Wizualizacja danych
  • Oczyszczanie danych
  • Selekcja cech
  • Inżynieria cech
• Typowe modele uczenia maszynowego
  • Regresja liniowa
  • Regresja logistyczna
  • Drzewa decyzyjne
  • Las losowy
  • Maszyny wektorów nośnych (SVM)
  • Sieci neuronowe i transformery
• Niedostateczne i nadmierne dopasowanie modelu
• Dzielenie danych
• Dostrajanie hiperparametrów
• Modele zespołowe
  • Bagging
  • Wzmacnianie
  • Spiętrzanie
  • Lasy losowe
  • Wzmacnianie gradientowe
• Dane niezrównoważone
  • SMOTE
  • Algorytm NearMiss
  • Uczenie wrażliwe na koszty
  • Wzbogacanie danych
• Dane skorelowane
• Podsumowanie
• Bibliografia

Rozdział 4. Usprawnianie technik wstępnego przetwarzania tekstu pod kątem optymalnej wydajności NLP

• Wymagania techniczne
• Normalizacja tekstu
  • Zamiana na małe litery
  • Usuwanie znaków specjalnych i interpunkcyjnych
  • Usuwanie słów stopu
  • Sprawdzanie i poprawianie pisowni
  • Lematyzacja
  • Tematyzacja
• Rozpoznawanie nazwanych encji (NER)
• Oznaczanie części mowy
  • Metody oparte na regułach
  • Metody statystyczne
  • Metody oparte na uczeniu głębokim
  • Wyrażenia regularne
  • Tokenizacja
• Potok wstępnego przetwarzania tekstu
  • Kod NER i POS
• Podsumowanie

Rozdział 5. Klasyfikowanie tekstu - wykorzystanie tradycyjnych technik uczenia maszynowego

• Wymagania techniczne
• Typy klasyfikacji tekstu
  • Uczenie nadzorowane
  • Uczenie nienadzorowane
  • Uczenie półnadzorowane
  • Klasyfikacja zdań z wykorzystaniem reprezentacji wektorowej z kodowaniem z "gorącą jedynką"
• Klasyfikacja tekstu metodą TF-IDF
• Klasyfikacja tekstu z użyciem Word2Vec
  • Word2Vec
  • Ewaluacja modelu
  • Nadmierne i niedostateczne dopasowanie
  • Dostrajanie hiperparametrów
  • Dodatkowe zagadnienia związane z praktyczną klasyfikacją tekstu
• Modelowanie tematyczne - praktyczne zastosowanie nienadzorowanej klasyfikacji tekstu
  • LDA
  • Projekt rzeczywistego systemu ML do klasyfikacji tekstu
  • Implementowanie rozwiązania ML
• Przykładowy scenariusz - projekt systemu ML do klasyfikacji NLP w notatniku Jupytera
  • Cel biznesowy
  • Cel techniczny
  • Potok
  • Ustawienia
  • Selekcja cech
  • Generowanie wybranego modelu
• Podsumowanie

Rozdział 6. Nowe spojrzenie na klasyfikowanie tekstu - językowe modele uczenia głębokiego

• Wymagania techniczne
• Podstawy uczenia głębokiego
  • Co to jest sieć neuronowa?
  • Podstawowa struktura sieci neuronowej
  • Terminy dotyczące sieci neuronowych
• Architektury sieci neuronowych
• Problemy z trenowaniem sieci neuronowych
• Modele językowe
  • Uczenie półnadzorowane
  • Uczenie nienadzorowane
  • Uczenie transferowe
• Transformery
  • Architektura transformerów
  • Zastosowania transformerów
• Duże modele językowe
• Wyzwania związane z trenowaniem modeli językowych
  • Konkretne architektury modeli językowych
• Problemy związane z używaniem GPT-3
  • Przykładowy scenariusz - projekt systemu ML/DL do klasyfikacji NLP w notatniku Jupytera
  • Cel biznesowy
  • Cel techniczny
  • Potok
• Podsumowanie

Rozdział 7. Duże modele językowe - teoria, projektowanie i implementacja

• Wymagania techniczne
• Co to są duże modele językowe i czym różnią się od zwykłych modeli językowych?
  • Modele n-gramowe
  • Ukryte modele Markova (HMM)
  • Rekurencyjne sieci neuronowe (RNN)
• Co wyróżnia modele LLM?
• Powody tworzenia i używania modeli LLM
  • Lepsze wyniki
  • Szeroka generalizacja
  • Nauka na nielicznych przykładach
  • Rozumienie złożonych kontekstów
  • Wielojęzyczność
  • Generowanie tekstu podobnego do napisanego przez człowieka
• Problemy związane z tworzeniem modeli LLM
  • Ilość danych
  • Zasoby obliczeniowe
  • Ryzyko uprzedzeń
  • Stabilność modelu
  • Interpretowalność i debugowanie
  • Wpływ na środowisko
• Typy modeli LLM
  • Modele transformerowe
• Przykładowe projekty nowoczesnych modeli LLM
  • GPT-3.5 i ChatGPT
  • Wstępny trening modelu językowego
  • Trening modelu nagrody
  • Dostrajanie modelu przez uczenie ze wzmacnianiem
  • GPT-4
  • LLaMA
  • PaLM
  • Narzędzia open source do RLHF
• Podsumowanie
• Źródła

Rozdział 8. Dostęp do dużych modeli językowych - zaawansowana konfiguracja i integracja z RAG

• Wymagania techniczne
• Konfigurowanie aplikacji LLM - oparte na API modele o zamkniętym kodzie źródłowym
  • Wybór zdalnego dostawcy LLM
• Inżynieria podpowiedzi i inicjalizowanie GPT
  • Eksperymentowanie z modelem GPT
• Konfigurowanie aplikacji LLM - lokalne modele o otwartym kodzie źródłowym
  • Różnice między modelami o otwartym i zamkniętym kodzie źródłowym
  • Repozytorium modeli Hugging Face
• Stosowanie modeli LLM z ekosystemu Hugging Face z użyciem Pythona
• Zaawansowane projektowanie systemów - RAG i LangChain
  • Koncepcje projektowe LangChain
  • Źródła danych
  • Dane, które nie są wstępnie osadzone
  • Łańcuchy
  • Agenty
  • Pamięć długoterminowa i odwoływanie się do poprzednich konwersacji
  • Zapewnianie ciągłej istotności przez przyrostowe aktualizacje i zautomatyzowane monitorowanie
• Omówienie prostej konfiguracji LangChain w notatniku Jupytera
  • Konfigurowanie potoku LangChain w Pythonie
• Modele LLM w chmurze
  • AWS
  • Microsoft Azure
  • GCP
  • Podsumowanie usług chmurowych
• Podsumowanie

Rozdział 9. Eksplorowanie granic - zaawansowane zastosowania i innowacje w dziedzinie LLM

• Wymagania techniczne
• Zwiększanie skuteczności modeli LLM z użyciem RAG i LangChain - funkcje zaawansowane
  • Potok LangChain w Pythonie - zwiększanie skuteczności modeli LLM
• Zaawansowane użycie łańcuchów
  • Zadawanie modelowi LLM pytania związanego z wiedzą ogólną
  • Nadawanie struktury danym wyjściowym - nakazywanie modelowi LLM zwrócenia wyników w określonym formacie
  • Prowadzenie płynnej konserwacji - wstawianie elementu pamięciowego w celu użycia poprzednich interakcji jako kontekstu dla następnych podpowiedzi
• Automatyczne pobieranie informacji z różnych źródeł internetowych
  • Wyszukiwanie treści w filmach na YouTubie i streszczanie ich
• Kompresja podpowiedzi i ograniczanie kosztów użycia API
  • Kompresja podpowiedzi
  • Eksperymentowanie z kompresją podpowiedzi i ocena kompromisów
• Wiele agentów - tworzenie zespołu współpracujących modeli LLM
  • Potencjalne korzyści z jednoczesnej pracy wielu agentów
  • Zespoły wielu agentów - podsumowanie
• Podsumowanie

Rozdział 10. Na fali - przeszłe, teraźniejsze i przyszłe trendy kształtowane przez modele LLM i sztuczną inteligencję

• Kluczowe trendy techniczne związane z modelami LLM i AI
  • Moc obliczeniowa - siła napędowa modeli LLM
  • Przyszłość mocy obliczeniowej w NLP
• Duże zbiory danych i ich niezatarty wpływ na NLP i modele LLM
  • Cel - trening, testy porównawcze i wiedza dziedzinowa
  • Wartość - niezawodność, różnorodność i efektywność
  • Wpływ - demokratyzacja, biegłość i nowe obawy
• Ewolucja dużych modeli językowych - cel, wartość i wpływ
  • Cel - po co dążyć do większych i lepszych modeli LLM?
  • Wartość - przewaga modeli LLM
  • Wpływ - zmiana krajobrazu
• Trendy kulturowe w NLP i modelach LLM
• NLP i modele LLM w świecie biznesu
  • Sektory biznesu
  • Obsługa klienta - wcześni użytkownicy
  • Zarządzanie zmianami wywołanymi przez AI
• Trendy behawioralne wywoływane przez AI i model LLM - aspekt społeczny
  • Rosnące znaczenie asystentów osobistych
  • Łatwość komunikacji i przełamywanie barier językowych
  • Etyczne implikacje delegowanych decyzji
  • Etyka i zagrożenia - rosnące obawy związane z implementacją AI
• Podsumowanie

Rozdział 11. Okiem branży - opinie i prognozy ekspertów światowej klasy

• Prezentacja ekspertów
  • Nitzan Mekel-Bobrov, PhD
  • David Sontag, PhD
  • John D. Halamka, M.D., M.S.
  • Xavier Amatriain, PhD
  • Melanie Garson, PhD
• Nasze pytania i odpowiedzi ekspertów
  • Nitzan Mekel-Bobrov
  • David Sontag
  • John D. Halamka
  • Xavier Amatriain
  • Melanie Garson
• Podsumowanie

• Tytuł: Zaawansowane techniki przetwarzania języka naturalnego. Od podstaw do modeli LLM i zastosowań biznesowych w Pythonie
• Autor: Lior Gazit, Meysam Ghaffari
• Tytuł oryginału: Mastering NLP from Foundations to LLMs: Apply advanced rule-based techniques to LLMs and solve real-world business problems using Python
• Tłumaczenie: Grzegorz Werner
• ISBN: 978-83-289-2049-1, 9788328920491
• Data wydania: 2025-03-18
• Format: Ebook
• Identyfikator pozycji: zatepr
• Wydawca: Helion