E-book details

Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych

Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych

Zhamak Dehghani

Ebook

Dostęp do danych jest warunkiem rozwoju niejednej organizacji. Aby w pełni skorzystać z ich potencjału i uzyskać dzięki nim konkretną wartość, konieczne jest odpowiednie zarządzanie danymi. Obecnie stosowane rozwiązania w tym zakresie nie nadążają już za złożonością dzisiejszych organizacji, rozprzestrzenianiem się źródeł danych i rosnącymi aspiracjami inżynierów, którzy rozwijają techniki sztucznej inteligencji i analizy danych. Odpowiedzią na te potrzeby może być siatka danych (Data Mesh), jednak praktyczna implementacja tej koncepcji wymaga istotnej zmiany myślenia.

Ta książka szczegółowo wyjaśnia paradygmat siatki danych, a przy tym koncentruje się na jego praktycznym zastosowaniu. Zgodnie z tym nowatorskim podejściem dane należy traktować jako produkt, a dziedziny - jako główne zagadnienie. Poza wyjaśnieniem paradygmatu opisano tu zasady projektowania wysokopoziomowej architektury komponentów siatki danych, a także przedstawiono wskazówki i porady dotyczące ewolucyjnej realizacji siatki danych w organizacji. Tematyka ta została potraktowana wszechstronnie: omówiono kwestie technologiczne, organizacyjne, jak również socjologiczne i kulturowe. Dzięki temu jest to cenna lektura zarówno dla architektów i inżynierów, jak i dla badaczy, analityków danych, wreszcie dla liderów i kierowników zespołów.

W książce:

  • wyczerpujące wprowadzenie do paradygmatu siatki danych
  • siatka danych i jej komponenty
  • projektowanie architektury siatki danych
  • opracowywanie i realizacja strategii siatki danych
  • zdecentralizowany model własności danych
  • przejście z hurtowni i jezior danych do rozproszonej siatki danych

Siatka danych: kolejny etap rozwoju technologii big data!

Przedmowa

Wstęp

Prolog. Wyobraź sobie siatkę danych

Część I. Czym jest siatka danych?

  • 1. Siatka danych w pigułce
    • Rezultaty
    • Transformacje
    • Zasady
      • Zasada własności dziedziny
      • Zasada danych jako produktu
      • Zasada samoobsługowej platformy danych
      • Zasada sfederowanego zarządzania obliczeniowego
    • Wzajemne oddziaływanie zasad
    • Spojrzenie na model siatki danych
    • Dane
      • Dane operacyjne
      • Dane analityczne
    • Pochodzenie
  • 2. Zasada własności dziedziny
    • Krótkie wprowadzenie do projektowania dziedzinowego
    • Zastosowanie projektowania strategicznego DDD do danych
    • Archetypy danych dziedzinowych
      • Dane dziedzinowe dostosowane do źródła
      • Zagregowane dane dziedzinowe
      • Dane dziedzinowe dostosowane do konsumenta
    • Przechodzenie w kierunku własności dziedzinowej
      • Przekazuj własność danych upstreamowo
      • Definiuj wiele połączonych modeli
      • Polisemie
      • Wykorzystaj dane najbardziej odpowiedniej dziedziny: nie oczekuj jednego źródła prawdy
      • Ukrywaj potoki danych jako wewnętrzną implementację dziedzin
    • Podsumowanie
  • 3. Zasada danych jako produktu
    • Zastosowanie do danych myślenia w kategoriach produktu
      • Podstawowe atrybuty użyteczności produktu danych
    • Przechodzenie do zasady danych jako produktu
      • Uwzględnij własność produktu danych w dziedzinach
      • Przeformułuj nomenklaturę, aby zainicjować zmiany
      • Traktuj dane jako produkt, a nie zwykły zasób
      • Kształtuj kulturę danych opartą na zasadzie "ufaj, ale sprawdzaj"
      • Łącz dane i obliczaj je jako pojedynczą jednostkę logiczną
    • Podsumowanie
  • 4. Zasada samoobsługowej platformy danych
    • Porównanie platformy siatki danych z innymi rozwiązaniami
      • Dostosowanie do autonomicznych zespołów opartych na dziedzinach
      • Zarządzanie autonomicznymi i interoperacyjnymi produktami danych
      • Zintegrowana platforma dla funkcjonalności operacyjnych i analitycznych
      • Dostosowanie do generalistów
      • Faworyzowanie technologii zdecentralizowanych
      • Niezależność dziedzinowa
    • Myślenie w kategoriach platformy siatki danych
      • Umożliwienie autonomicznym zespołom uzyskiwania wartości z danych
      • Wymiana wartości za pomocą autonomicznych i interoperacyjnych produktów danych
      • Przyspieszenie wymiany wartości przez zmniejszenie obciążenia poznawczego
      • Poziome skalowanie udostępniania danych
      • Wspieranie kultury wbudowanych innowacji
    • Przechodzenie na samoobsługową platformę siatki danych
      • Najpierw zaprojektuj interfejsy API i protokoły
      • Przygotuj się na dostosowanie do generalistów
      • Przeprowadź inwentaryzację i dokonaj uproszczenia
      • Utwórz wysokopoziomowe interfejsy API do zarządzania produktami danych
      • Buduj doświadczenia, a nie mechanizmy
      • Zacznij od najprostszych fundamentów, a potem zbieraj plony, aby ewoluować
    • Podsumowanie
  • 5. Zasada sfederowanego zarządzania obliczeniowego
    • Zastosowanie myślenia systemowego do zarządzania siatką danych
      • Utrzymywanie dynamicznej równowagi między autonomią dziedzinową a globalną interoperacyjnością
      • Przyjęcie topologii dynamicznej jako stanu domyślnego
      • Wykorzystanie automatyzacji i architektury rozproszonej
    • Zastosowanie federacji do modelu zarządzania
      • Zespół sfederowany
      • Wartości przewodnie
      • Reguły
      • Zachęty
    • Zastosowanie obliczeń do modelu zarządzania
      • Standardy jako kod
      • Reguły jako kod
      • Zautomatyzowane testy
      • Zautomatyzowane monitorowanie
    • Przechodzenie na sfederowane zarządzanie obliczeniowe
      • Delegowanie odpowiedzialności do dziedzin
      • Osadzanie wykonywania reguł w poszczególnych produktach danych
      • Automatyzacja zapewniania możliwości oraz monitorowania zamiast interweniowania
      • Modelowanie luk
      • Pomiar efektu sieciowego
      • Przyjęcie zmian w miejsce stałości
    • Podsumowanie

Część II. Dlaczego siatka danych?

  • 6. Punkt przegięcia
    • Wielkie oczekiwania wobec danych
    • Wielki podział danych
    • Skala - bliskie spotkania z nowym gatunkiem
    • Nie tylko porządek
    • Zbliżanie się do punktu zwrotu
    • Podsumowanie
  • 7. Po punkcie przegięcia
    • Płynne reagowanie na zmiany w złożonym biznesie
      • Wzajemne dostosowanie biznesu, technologii i danych analitycznych
      • Wypełnienie luki między danymi analitycznymi i operacyjnymi
      • Lokalizowanie zmian danych w dziedzinach biznesowych
      • Zmniejszenie przypadkowej złożoności potoków i kopiowania danych
    • Utrzymanie zwinności w obliczu wzrostu
      • Usunięcie scentralizowanych i monolitycznych wąskich gardeł
      • Zmniejszenie koordynacji potoków danych
      • Zmniejszenie koordynacji zarządzania danymi
      • Zapewnienie autonomii
    • Zwiększenie współczynnika wartości z danych w stosunku do inwestycji
      • Tworzenie warstwy abstrakcji dla złożoności technicznej za pomocą platformy danych
      • Wszechobecne stosowanie myślenia w kategoriach produktowych
      • Przekraczanie granic
    • Podsumowanie
  • 8. Przed punktem przegięcia
    • Ewolucja architektur danych analitycznych
      • Pierwsza generacja - architektura hurtowni danych
      • Druga generacja - architektura jeziora danych
      • Trzecia generacja - multimodalna architektura chmury
    • Charakterystyka architektury danych analitycznych
      • Monolityzm
      • Scentralizowana własność danych
      • Wykorzystanie technologii
    • Podsumowanie

Część III. Jak zaprojektować architekturę siatki danych?

  • 9. Architektura logiczna
    • Dziedzinowe interfejsy udostępniania danych analitycznych
      • Projekt interfejsu operacyjnego
      • Projekt interfejsu danych analitycznych
      • Międzydziedzinowe zależności danych analitycznych
    • Produkt danych jako kwant architektury
      • Komponenty strukturalne produktu danych
      • Interakcje współdzielenia danych przez produkty danych
      • Interfejsy API wykrywania i obserwowalności danych
    • Wielopłaszczyznowa platforma danych
      • Płaszczyzna platformy
      • (Narzędziowa) płaszczyzna infrastruktury danych
      • Płaszczyzna doświadczenia produktu danych
      • Płaszczyzna doświadczenia siatki
      • Przykład
    • Osadzone reguły obliczeniowe
      • Przyczepa produktu danych
      • Kontener obliczeniowy produktu danych
      • Port sterowania
    • Podsumowanie
  • 10. Architektura wielopłaszczyznowej platformy danych
    • Projekt platformy oparty na podróżach użytkowników
    • Podróż twórcy produktu danych
      • Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł
      • Budowanie, testowanie, wdrażanie i uruchamianie
      • Utrzymywanie, ewoluowanie i wycofywanie
    • Podróż konsumenta produktu danych
      • Rozpoczęcie projektowania, eksplorowanie, wstępne uruchamianie i określanie źródeł
      • Budowanie, testowanie, wdrażanie i uruchamianie
      • Monitorowanie, ewoluowanie i wycofywanie
    • Podsumowanie

Część IV. Jak zaprojektować architekturę produktu danych?

  • 11. Projektowanie produktu danych według afordancji
    • Afordancje produktu danych
    • Charakterystyka architektury produktu danych
    • Projektowanie inspirowane prostotą złożonych systemów adaptacyjnych
      • Zachowanie wynikające z prostych reguł lokalnych
      • Brak centralnej orkiestracji
    • Podsumowanie
  • 12. Projektowanie konsumowania, przekształcania i serwowania danych
    • Serwowanie danych
      • Potrzeby użytkowników danych
      • Właściwości projektowania serwowania danych
      • Projektowanie serwowania danych
    • Konsumowanie danych
      • Archetypy źródeł danych
      • Lokalizacja konsumpcji danych
      • Projektowanie konsumowania danych
    • Przekształcanie danych
      • Przekształcanie programowe i nieprogramowe
      • Transformacja oparta na przepływie danych
      • Uczenie maszynowe jako transformacja
      • Transformacja niestacjonarna
      • Projekt transformacji
    • Podsumowanie
  • 13. Projektowanie wykrywania, rozumienia i komponowania danych
    • Wykrywanie, rozumienie, obdarzanie zaufaniem i eksplorowanie
      • Rozpocznij wykrywanie od samorejestracji
      • Wykrywanie globalnego identyfikatora URI
      • Zrozumienie modeli semantycznych i składniowych
      • Ustanowienie zaufania za pomocą gwarancji danych
      • Eksplorowanie kształtu danych
      • Nauka na podstawie dokumentacji
      • Wykrywanie, eksplorowanie i rozumienie projektu
    • Komponowanie danych
      • Właściwości projektu konsumowania danych
      • Tradycyjne podejście do kompozycyjności danych
      • Projekt komponowania danych
    • Podsumowanie
  • 14. Projektowanie organizowania i obserwowania danych oraz zarządzania nimi
    • Zarządzanie cyklem życia
      • Projektowanie zarządzania cyklem życia
      • Komponenty manifestu produktu danych
    • Zarządzanie danymi
      • Projektowanie zarządzania danymi
      • Normalizacja reguł
      • Integracja danych i reguł
      • Linkowanie reguł
    • Obserwowanie, debugowanie i audytowanie
      • Projektowanie obserwowalności
    • Podsumowanie

Część V. Od czego zacząć?

  • 15. Strategia i wykonywanie
    • Czy należy przyjąć siatkę danych już dziś?
    • Siatka danych jako element strategii danych
    • Framework wykonywania siatki danych
      • Wykonywanie oparte na biznesie
      • Wykonywanie kompleksowe i iteracyjne
      • Wykonywanie ewolucyjne
    • Podsumowanie
  • 16. Organizacja i kultura
    • Zmiana
    • Kultura
      • Wartości
    • Nagroda
      • Motywacje wewnętrzne
      • Motywacje zewnętrzne
    • Struktura
      • Założenia struktury organizacyjnej
      • Wykrywanie granic produktów danych
    • Ludzie
      • Role
      • Rozwój zestawów umiejętności
    • Proces
      • Zmiany kluczowych procesów
    • Podsumowanie
  • Title: Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych
  • Author: Zhamak Dehghani
  • Original title: Data Mesh: Delivering Data-Driven Value at Scale
  • Translation: Lech Lachowski
  • ISBN: 978-83-8322-038-3, 9788383220383
  • Date of issue: 2023-04-11
  • Format: Ebook
  • Item ID: siadan
  • Publisher: Helion