1. Co poszło nie tak z chatbotami?

• Pomówmy o projekcie Tay
• Gwałtowny upadek Tay
• Dlaczego doszło do afery z Tay?
• To trudny problem

2. Lista OWASP top 10 dla aplikacji używających dużych modeli językowych

• Fundacja OWASP
• Lista top 10 projektu aplikacji wspomaganych przez duże modele językowe
  • Realizacja projektu
  • Przyjęcie
  • Klucz do sukcesu
• Ta książka i lista top 10

3. Architektury i granice zaufania

• Sztuczna inteligencja, sieci neuronowe i duże modele językowe - czym się różnią?
• Rewolucja transformerów - źródło, wpływ i powiązanie z dużymi modelami językowymi
  • Pochodzenie transformerów
  • Wpływ architektury transformerów na sztuczną inteligencję
• Rodzaje aplikacji wspomaganych przez duże modele językowe
• Architektura aplikacji wspomaganych przez duże modele językowe
  • Granice zaufania
  • Model
  • Interakcja z użytkownikiem
  • Zbiór danych użytych do wytrenowania modelu
  • Dostęp do bieżących zewnętrznych źródeł danych
  • Dostęp do usług wewnętrznych
• Podsumowanie

4. Wstrzykiwanie promptu

• Przykłady ataków typu wstrzykiwanie promptu
  • Natarczywa sugestia
  • Psychologia odwrotna
  • Wprowadzenie w błąd
  • Uniwersalne i zautomatyzowane prompty antagonistyczne
• Wpływ ataków polegających na wstrzykiwaniu promptu
• Bezpośredni i pośredni atak polegający na wstrzykiwaniu promptu
  • Bezpośrednie wstrzykiwanie promptów
  • Pośrednie wstrzykiwanie promptów
  • Najważniejsze różnice
• Łagodzenie skutków ataku polegającego na wstrzykiwaniu promptu
  • Ograniczanie częstotliwości wykonywania zapytań do modelu
  • Filtrowanie danych wejściowych za pomocą reguł
  • Filtrowanie za pomocą dużego modelu językowego specjalnego przeznaczenia
  • Dodawanie struktury promptu
  • Trenowanie antagonistyczne
  • Definicja pesymistycznych granic zaufania
• Podsumowanie

5. Czy duży model językowy może wiedzieć zbyt wiele?

• Rzeczywiste przykłady
  • Lee Luda
  • GitHub Copilot i OpenAI Codex
• Metody zdobywania wiedzy
• Trenowanie modelu
  • Trenowanie modelu podstawowego
  • Kwestie dotyczące bezpieczeństwa modeli podstawowych
  • Dostrajanie modelu
  • Niebezpieczeństwo związane z trenowaniem
• Technika RAG
  • Bezpośredni dostęp do sieci WWW
  • Uzyskiwanie dostępu do bazy danych
• Uczenie się na podstawie interakcji z użytkownikiem
• Podsumowanie

6. Czy modele językowe śnią o wirtualnych baranach?

• Dlaczego duży model językowy ulega halucynacji?
• Rodzaje halucynacji
• Przykłady
  • Nieistniejące precedensy prawne
  • Proces dotyczący chatbota linii lotniczej
  • Nieumyślne skrzywdzenie człowieka
  • Halucynacje pakietu otwartoźródłowego
• Kto ponosi odpowiedzialność?
• Najlepsze praktyki w zakresie zmniejszania niebezpieczeństwa
  • Rozszerzenie wiedzy ściśle związanej z daną dziedziną
  • Łańcuch myśli, który zachęca do większej dokładności
  • Mechanizmy przekazywania informacji zwrotnych - potężne możliwości danych wejściowych użytkownika w zmniejszeniu niebezpieczeństwa
  • Przejrzysta komunikacja dotycząca oczekiwanego sposobu użycia modelu i jego ograniczeń
  • Szkolenie użytkowników - wzmacnianie ich dzięki wiedzy
• Podsumowanie

7. Nie ufaj nikomu

• Wyjaśnienie zerowego zaufania
• Skąd ta paranoja?
• Implementacja architektury zerowego zaufania dla dużego modelu językowego
  • Obserwacja pod kątem nadmiernej działalności
  • Zabezpieczanie obsługi danych wyjściowych
• Tworzenie własnego filtru danych wyjściowych
  • Wyszukiwanie danych osobowych za pomocą wyrażenia regularnego
  • Sprawdzanie pod kątem toksyczności
  • Połączenie filtrów z dużym modelem językowym
  • Oczyszczanie w celu zapewnienia bezpieczeństwa
• Podsumowanie

8. Nie trać głowy

• Ataki typu DoS
  • Atak ilościowy
  • Atak na protokół
  • Atak na warstwę aplikacji
  • Epicki atak typu DoS na firmę Dyn
• Przygotowanie ataku typu DoS na duży model językowy
  • Ataki na ograniczone zasoby
  • Wykorzystanie okna kontekstu
  • Nieprzewidywalne dane wejściowe użytkownika
• Ataki typu DoW
• Klonowanie modelu
• Strategie łagodzenia skutków ataku
  • Mechanizmy obronne ściśle związane z daną dziedziną
  • Weryfikacja danych wejściowych i ich oczyszczanie
  • Niezawodne ograniczanie częstotliwości wykonywania zapytań
  • Ograniczanie poziomu użycia zasobów
  • Monitorowanie i ostrzeganie
  • Finansowe wartości progowe i ostrzeżenia
• Podsumowanie

9. Znajdź najsłabsze ogniwo

• Podstawy łańcucha dostaw
  • Bezpieczeństwo łańcucha dostaw oprogramowania
  • Incydent związany z agencją Equifax
  • Incydent związany z SolarWinds
  • Luka w zabezpieczeniach Log4Shell
• Poznanie łańcucha dostaw w przypadku dużego modelu językowego
  • Ryzyko w modelu otwartoźródłowym
  • Zatrucie zbioru danych użytych do wytrenowania modelu
  • Przypadkowo niebezpieczne dane uczące
  • Niebezpieczne wtyczki
• Tworzenie artefaktów przeznaczonych do śledzenia łańcucha dostaw
  • Waga SBOM
  • Karty modeli
  • Karta modelu a zestawienie komponentów oprogramowania
  • CycloneDX - standard zestawienia komponentów oprogramowania
  • Powstanie ML-BOM
  • Utworzenie przykładowego zestawienia ML-BOM
• Przyszłość bezpieczeństwa łańcucha dostaw dużego modelu językowego
  • Podpis cyfrowy i znak wodny
  • Bazy danych i klasyfikacje luk w zabezpieczeniach
• Podsumowanie

10. Wyciąganie wniosków na przyszłość

• Przegląd listy OWASP top 10 dla aplikacji wspomaganych przez duże modele językowe
• Studia przypadków
  • Dzień Niepodległości - głośna katastrofa
  • 2001: Odyseja kosmiczna
• Podsumowanie

11. Zaufaj procesowi

• Ewolucja ruchu DevSecOps
  • MLOps
  • LLMOps
• Wbudowanie bezpieczeństwa do procesu LLMOps
• Bezpieczeństwo w trakcie procesu programistycznego związanego z dużym modelem językowym
  • Zabezpieczanie potoku CI/CD
  • Ściśle związane z dużym modelem językowym narzędzia sprawdzania stanu bezpieczeństwa
  • Zarządzanie łańcuchem dostaw
• Chroń aplikację za pomocą mechanizmów obronnych
  • Rola mechanizmu obronnego w strategii bezpieczeństwa dużego modelu językowego
  • Otwartoźródłowe i komercyjne rozwiązania w zakresie mechanizmów obronnych
  • Łączenie niestandardowych i gotowych mechanizmów obronnych
• Monitorowanie aplikacji
  • Rejestrowanie każdego promptu i odpowiedzi
  • Scentralizowane zarządzanie zdarzeniami i dziennikami zdarzeń
  • Analiza sposobu działania użytkownika i encji
• Utworzenie własnego red teamu dla sztucznej inteligencji
  • Zalety red teamu sztucznej inteligencji
  • Red teamy kontra pentesterzy
  • Narzędzia i podejścia
• Nieustanne usprawnianie
  • Tworzenie i dostrajanie mechanizmów obronnych
  • Zarządzanie jakością i dostępem do danych
  • Użycie techniki RLHF
• Podsumowanie

12. Praktyczny framework zapewnienia bezpieczeństwa odpowiedzialnej sztucznej inteligencji

• Moc
  • Procesory graficzne
  • Chmura
  • Ruch otwartoźródłowy
  • Wielomodalność
  • Autonomiczne agenty
• Odpowiedzialność
  • Framework RAISE
  • Lista rzeczy do sprawdzenia za pomocą frameworka RAISE
• Podsumowanie

• Назва: Bezpieczeństwo aplikacji LLM. Niezbędnik dla programistów, projektantów i red teamów
• Автор: Steve Wilson
• Оригінальна назва: The Developer's Playbook for Large Language Model Security: Building Secure AI Applications
• Переклад: Robert Górczyński
• ISBN: 978-83-289-2309-6, 9788328923096
• Дата видання: 2025-05-27
• Формат: Eлектронна книга
• Ідентифікатор видання: bezapl
• Видавець: Helion