Details zum E-Book

Zarządzanie danymi w zbiorach o dużej skali. Nowoczesna architektura z siatką danych i technologią Data Fabric. Wydanie II

Zarządzanie danymi w zbiorach o dużej skali. Nowoczesna architektura z siatką danych i technologią Data Fabric. Wydanie II

Piethein Strengholt

E-book

Datafikacja trwa ― i zmienia nasze życie z zawrotną prędkością. Danych jest coraz więcej i są coraz bardziej złożone, a poza kwestiami technicznymi trzeba rozstrzygać mnóstwo dylematów etycznych lub prawnych związanych z prywatnością i bezpieczeństwem. Bez wątpienia w zarządzaniu danymi potrzeba nowej, wyrazistej wizji.

Ta książka zapewnia bardzo szczegółowe i solidne podstawy z zakresu zarządzania danymi obecnie i w przyszłości!

Joe Reis, współautor książki Inżynieria danych w praktyce. Kluczowe koncepcje i najlepsze technologie

W książce w praktyczny sposób ujęto wiele złożonych zagadnień, różnych technologii, metod biznesowych, struktur i wzorców architektury. Przeanalizowano abstrakcyjny poziom strategii danych, kwestie zarządcze i architekturę danych, a następnie wyjaśniono, czym są domeny danych i strefy docelowe. Zaprezentowano kwestie zarządzania systemami źródłowymi, aplikacji, opisano też praktyczne szczegóły z zakresu zarządzania danymi. Nie zabrakło wartościowych informacji o aspektach istotnych dla konsumentów danych. Autor nie skupia się wyłącznie na teorii. Cennym atutem książki są jasne wskazówki, w jaki sposób zastosować omawianą wiedzę w praktyce.

Zagadnienia:

  • trendy w zarządzaniu danymi a aktualne wymagania
  • nowe technologie projektowe, w tym siatka danych i data fabric
  • strefy docelowe danych w chmurze, DDD, projektowanie produktów z danymi
  • bezpieczeństwo danych
  • zarządzanie samoobsługowymi platformami danych
  • rola metadanych

Ta książka mówi o skalowaniu i pozostaniu konkurencyjnym. Nie ma na rynku drugiej takiej pozycji!

Ole Olesen-Bagneux, autor książki The Enterprise Data Catalog

Słowo wstępne

Przedmowa

1. Firma oparta na danych

  • Najnowsze osiągnięcia w zakresie rozwoju technologii i trendy branżowe
  • Zarządzanie danymi
  • Analityka powoduje fragmentaryzację "krajobrazu" danych
  • Zmienia się szybkość dostarczania oprogramowania
  • Wpływ technologii chmury na zarządzanie danymi jest ogromny
  • Prywatność i bezpieczeństwo to kwestie o najwyższym priorytecie
  • Systemy operacyjne i analityczne wymagają zintegrowania
  • Firmy funkcjonują w ekosystemach pracy zespołowej
  • Przedsiębiorstwa są obarczone przestarzałymi architekturami danych
    • Hurtownia danych dla przedsiębiorstw: pojedyncze "źródło prawdy"
    • "Jezioro" danych: scentralizowane repozytorium danych ze strukturą i bez niej
    • Kłopotliwość centralizacji
  • Określanie strategii dotyczącej danych
  • Podsumowanie

2. Organizowanie danych z użyciem domen danych

  • Punkty początkowe procesu projektowania architektury
    • Każda aplikacja dysponuje magazynem danych
    • Aplikacje są zawsze unikalne
    • "Złote" źródła
    • Dylemat dotyczący integracji danych
    • Role aplikacji
  • Inspiracje architektury oprogramowania
  • Domeny danych
    • Metodyka DDD
    • Architektura biznesowa
    • Granice domeny i szczegółowość
    • Właściwości domeny
  • Zasady dotyczące domenowego zarządzania danymi rozproszonymi
    • Zasady projektowe dotyczące domen danych
    • Najlepsze praktyki dotyczące dostawców danych
    • Zakres odpowiedzialności w ramach własności domeny
  • Proces przejścia na domenowe zarządzanie danymi rozproszonymi
  • Podsumowanie

3. Odwzorowanie domen na architekturę technologii

  • Topologie domen: zarządzanie obszarami problemów
    • Topologia w pełni stowarzyszonych domen
    • Topologia domen nadzorowanych
    • Topologia częściowo stowarzyszonych domen
    • Topologia domen dopasowanych do łańcucha wartości
    • Topologia domen uproszczonych
    • Topologia domen uproszczonych i częściowo nadzorowanych
    • Topologia domen scentralizowanych
    • Wybór właściwej topologii
  • Topologie stref docelowych: zarządzanie obszarami rozwiązań
    • Pojedyncza strefa docelowa danych
    • Strefy docelowe dopasowane do systemów źródłowych i konsumentów
    • Strefa docelowa danych z jednostką centralną
    • Wiele stref docelowych danych
    • Wiele stref docelowych zarządzania danymi
    • Praktyczny przykład stref docelowych
  • Podsumowanie

4. Zarządzanie produktami z danymi

  • Czym są produkty z danymi?
    • Problemy z łączeniem ze sobą kodu, danych, metadanych i infrastruktury
    • Produkty z danymi jako jednostki logiczne
  • Wzorce projektowe produktów z danymi
    • Czym jest wzorzec CQRS?
    • Repliki do odczytu jako produkty z danymi
  • Zasady projektowe w przypadku produktów z danymi
    • Projekt optymalizowany pod kątem odczytu i ukierunkowany na zasoby
    • Dane produktu są trwałe
    • Zastosowanie języka wszechobecnego
    • Przechwytywanie bezpośrednio ze źródła
    • Przejrzyste standardy współdziałania
    • Żadnych nieprzetworzonych danych
    • Niedostosowywanie się do konsumentów
    • Brakujące wartości, wartości domyślne i typy danych
    • Spójność semantyczna
    • Atomowość
    • Zgodność
    • Uogólnianie zmiennych danych referencyjnych
    • Nowe dane oznaczają nową własność
    • Wzorce bezpieczeństwa danych
    • Ustanowienie metamodelu
    • Umożliwienie samoobsługi
    • Wzajemne relacje między domenami
    • Spójność w przedsiębiorstwie
    • Historyzacja, ponowne dostarczenia i nadpisania
    • Możliwości biznesowe z wieloma właścicielami
    • Model operacyjny
  • Architektura produktów z danymi
    • Ogólny projekt platformy
    • Możliwości przechwytywania i wprowadzania danych
    • Jakość danych
    • Historyzacja danych
  • Projekt rozwiązań
    • Rzeczywisty przykład
    • Dopasowywanie do kont magazynu
    • Dopasowywanie do potoków danych
    • Możliwości udostępniania danych
    • Usługi udostępniające dane
    • Usługa modyfikowania plików
    • Usługa dezidentyfikacji
    • Orkiestracja rozproszona
    • Inteligentne usługi konsumentów
    • Kwestie dotyczące bezpośredniego korzystania z danych
  • Początek działań
  • Podsumowanie

5. Zarządzanie interfejsami API i usługami

  • Zarządzanie interfejsami API - wprowadzenie
  • Czym jest architektura SOA?
    • Integracja EAI
    • Orkiestracja usług
    • Choreografia usług
    • Usługi publiczne i prywatne
    • Modele usług i kanoniczne modele danych
    • Porównania z architekturą hurtowni danych dla przedsiębiorstw
  • Nowoczesne ujęcie zarządzania interfejsami API
    • Model stowarzyszonego zakresu odpowiedzialności
    • Brama interfejsów API
    • Interfejs API jako produkt
    • Usługi złożone
    • Kontrakty interfejsów API
    • Wykrywalność interfejsów API
  • Mikrousługi
    • Funkcje
    • Siatka usług
    • Granice domeny z mikrousługami
  • Komunikacja w ekosystemie
  • Interfejsy API powiązane z komfortem pracy
    • Usługa GraphQL
    • Wzorzec Backends For Frontends
  • Praktyczny przykład
  • Zarządzanie metadanymi
  • Ukierunkowane na operacje odczytu interfejsy API udostępniające produkty z danymi
  • Podsumowanie

6. Zarządzanie zdarzeniami i powiadomieniami

  • Wprowadzenie do zdarzeń
    • Powiadomienia i stan przenoszony
    • Model komunikacji asynchronicznej
  • Jaką mają postać nowoczesne architektury zależne od zdarzeń?
    • Kolejki komunikatów
    • Brokery zdarzeń
    • Style przetwarzania zdarzeń
    • Producenci zdarzeń
    • Konsumenci zdarzeń
    • Platformy przetwarzania strumieniowego zdarzeń
    • Model nadzoru
    • Magazyny zdarzeń jako magazyny produktów z danymi
    • Magazyny zdarzeń w roli zaplecza serwerowego aplikacji
  • Strumieniowanie jako fundament operacyjny
  • Gwarancje i spójność
    • Poziom spójności
    • Metody przetwarzania
    • Uporządkowanie komunikatów
    • Kolejka DLQ
    • Współdziałanie w przypadku strumieniowania
  • Nadzór i samoobsługa
  • Podsumowanie

7. Zbierzmy wszystko razem

  • Współdziałanie domen
    • Szybkie przypomnienie
    • Porównanie dystrybucji danych i integracji aplikacji
    • Wzorce dystrybucji danych
    • Wzorce integracji aplikacji
    • Spójność i wykrywalność
  • Inspirowanie, motywowanie i kierowanie w stronę zmiany
    • Określanie granic domen
    • Obsługa wyjątków
  • Transformacja organizacyjna
    • Topologie zespołów
    • Planowanie organizacyjne
  • Podsumowanie

8. Nadzór nad danymi i ich bezpieczeństwo

  • Nadzór nad danymi
    • Struktura nadzoru
    • Procesy: działania w ramach nadzoru nad danymi
    • Zapewnienie efektywności i pragmatyczności nadzoru
    • Usługi wspomagające nadzór nad danymi
    • Kontrakty danych
  • Bezpieczeństwo danych
    • Nowoczesna metoda oparta na silosach
    • Granice zaufania
    • Klasyfikacje i etykiety danych
    • Klasyfikacje wykorzystania danych
    • Jednolita struktura bezpieczeństwa danych
    • Dostawcy tożsamości
    • Praktyczny przykład
    • Typowy przepływ przetwarzania zabezpieczeń
    • Zabezpieczanie architektur opartych na interfejsach API
    • Zabezpieczanie architektur zależnych od zdarzeń
  • Podsumowanie

9. Demokratyzowanie danych za pomocą metadanych

  • Zarządzanie metadanymi
  • Model metadanych przedsiębiorstwa
    • Praktyczny przykład metamodelu
    • Domeny danych i produkty z danymi
    • Modele danych
    • Pochodzenie danych
    • Inne obszary metadanych
  • Architektura "jeziora" metadanych
    • Rola katalogu
    • Rola grafu wiedzy
  • Podsumowanie

10. Nowoczesne zarządzanie danymi podstawowymi

  • Style zarządzania danymi podstawowymi
  • Integracja danych
  • Projektowanie rozwiązania do zarządzania danymi podstawowymi
  • Zarządzanie danymi podstawowymi ukierunkowane na domenę
    • Dane referencyjne
    • Dane podstawowe
    • Zarządzanie danymi podstawowymi i jakość danych jako usługa
  • Zarządzanie danymi podstawowymi i opieka nad danymi
    • Wymiana wiedzy
    • Widoki zintegrowane
    • Komponenty wielokrotnego użycia i logika integracji
    • Ponowne publikowanie danych za pośrednictwem koncentratorów integracji
    • Ponowne publikowanie danych z użyciem agregatów
  • Zalecenia dotyczące nadzoru nad danymi
  • Podsumowanie

11. Przekształcanie danych w wartość

  • Wyzwania towarzyszące przekształcaniu danych w wartość
  • Magazyny danych domenowych
    • Szczegółowość zastosowań dopasowanych do konsumentów
    • Porównanie magazynów DDS i produktów z danymi
  • Najlepsze praktyki
    • Wymagania biznesowe
    • Docelowa grupa odbiorców i model operacyjny
    • Wymagania niefunkcjonalne
    • Potoki danych i modele danych
    • Ustalanie zasięgu roli odgrywanej przez używane magazyny DDS
  • Analityka biznesowa
    • Warstwy semantyczne
    • Narzędzia zautomatyzowane i dane
    • Najlepsze praktyki
  • Zaawansowana analityka (MLOps)
    • Inicjowanie projektu
    • Eksperymentowanie i monitorowanie
    • Inżynieria danych
    • Operacjonalizacja modelu
    • Wyjątki
  • Podsumowanie

12. Wykorzystanie teorii w praktyce

  • Krótka refleksja na temat Twojej podróży po świecie danych
  • Scentralizowane czy zdecentralizowane?
  • Praktyczne zastosowanie
    • Etap oportunistyczny: określenie strategicznego kierunku
    • Etap transformacji: wyznaczenie fundamentu
    • Etap optymalizacji: profesjonalizacja zdolności
  • Kultura pracy zależna od danych
    • Metodyka DataOps
    • Nadzór i znajomość
  • Rola architektów w przedsiębiorstwie
    • Plany i diagramy
    • Umiejętności na obecne czasy
    • Kontrola i nadzór
  • I coś na koniec
  • Titel: Zarządzanie danymi w zbiorach o dużej skali. Nowoczesna architektura z siatką danych i technologią Data Fabric. Wydanie II
  • Autor: Piethein Strengholt
  • Originaler Titel: Data Management at Scale: Modern Data Architecture with Data Mesh and Data Fabric, 2nd Edition
  • Übersetzung: Piotr Pilch
  • ISBN: 978-83-289-0547-4, 9788328905474
  • Veröffentlichungsdatum: 2024-05-21
  • Format: E-book
  • Artikelkennung: zadaz2
  • Verleger: Helion