Bazy danych
Siatka danych. Nowoczesna koncepcja samoobsługowej infrastruktury danych
Zhamak Dehghani
Dostęp do danych jest warunkiem rozwoju niejednej organizacji. Aby w pełni skorzystać z ich potencjału i uzyskać dzięki nim konkretną wartość, konieczne jest odpowiednie zarządzanie danymi. Obecnie stosowane rozwiązania w tym zakresie nie nadążają już za złożonością dzisiejszych organizacji, rozprzestrzenianiem się źródeł danych i rosnącymi aspiracjami inżynierów, którzy rozwijają techniki sztucznej inteligencji i analizy danych. Odpowiedzią na te potrzeby może być siatka danych (Data Mesh), jednak praktyczna implementacja tej koncepcji wymaga istotnej zmiany myślenia. Ta książka szczegółowo wyjaśnia paradygmat siatki danych, a przy tym koncentruje się na jego praktycznym zastosowaniu. Zgodnie z tym nowatorskim podejściem dane należy traktować jako produkt, a dziedziny - jako główne zagadnienie. Poza wyjaśnieniem paradygmatu opisano tu zasady projektowania wysokopoziomowej architektury komponentów siatki danych, a także przedstawiono wskazówki i porady dotyczące ewolucyjnej realizacji siatki danych w organizacji. Tematyka ta została potraktowana wszechstronnie: omówiono kwestie technologiczne, organizacyjne, jak również socjologiczne i kulturowe. Dzięki temu jest to cenna lektura zarówno dla architektów i inżynierów, jak i dla badaczy, analityków danych, wreszcie dla liderów i kierowników zespołów. W książce: wyczerpujące wprowadzenie do paradygmatu siatki danych siatka danych i jej komponenty projektowanie architektury siatki danych opracowywanie i realizacja strategii siatki danych zdecentralizowany model własności danych przejście z hurtowni i jezior danych do rozproszonej siatki danych Siatka danych: kolejny etap rozwoju technologii big data!
Anindita Mahapatra
Delta helps you generate reliable insights at scale and simplifies architecture around data pipelines, allowing you to focus primarily on refining the use cases being worked on. This is especially important when you consider that existing architecture is frequently reused for new use cases.In this book, you’ll learn about the principles of distributed computing, data modeling techniques, and big data design patterns and templates that help solve end-to-end data flow problems for common scenarios and are reusable across use cases and industry verticals. You’ll also learn how to recover from errors and the best practices around handling structured, semi-structured, and unstructured data using Delta. After that, you’ll get to grips with features such as ACID transactions on big data, disciplined schema evolution, time travel to help rewind a dataset to a different time or version, and unified batch and streaming capabilities that will help you build agile and robust data products.By the end of this Delta book, you’ll be able to use Delta as the foundational block for creating analytics-ready data that fuels all AI/BI use cases.
Skazany na sukces. Kariera w Data Science
Jacqueline Nolis, Emily Robinson
Nauka o danych, zwana danologią, zyskuje na znaczeniu. Dane dla gospodarki są tym, czym dotąd były węgiel, stal i ropa naftowa. Umiejętność korzystania z wiedzy zawartej w danych decyduje o efektywności prowadzenia działalności gospodarczej i determinuje rozwój nowych modeli, rozwiązań i relacji gospodarczych. Już teraz specjaliści danolodzy są rozchwytywani na rynku pracy. Aby jednak w pełni i do końca wykorzystać pojawiające się możliwości, trzeba wiedzieć, w jaki sposób podejść do trudnego zagadnienia, jakim jest budowanie ścieżki kariery i podążanie nią w odpowiednim dla siebie tempie. To praktyczny przewodnik, dzięki któremu łatwiej zdobędziesz pierwszą pracę związaną z badaniem danych, szybciej staniesz się cenionym specjalistą i w miarę rozwoju zawodowego będziesz coraz trafniej wychwytywać pojawiające się możliwości awansu i zmiany pracy na atrakcyjniejszą. Dowiesz się, jak zdobyć podstawowe umiejętności i jak faktycznie wyglądają konkretne stanowiska pracy. Opisano tu również, jak pomyślnie przejść przez proces rekrutacji i zaaklimatyzować się w nowych warunkach. Nie zabrakło cennych wskazówek dotyczących awansowania na stanowiska kierownicze. Jako danolog prędko się przekonasz, że zawarta tutaj wiedza nietechniczna jest bardzo potrzebna do osiągnięcia sukcesu na polu badania danych. Dzięki tej książce dowiesz się, jak: tworzyć świetne portfolio projektów z zakresu badania danych wyszukiwać, oceniać i negocjować oferty z klasą zmieniać miejsca pracy wybierać i skutecznie realizować scenariusze kariery poradzili sobie inni wybitni analitycy danych! Danologia: nauka, pasja i sposób na życie!
Jojo Moolayil
With an increasing number of devices getting connected to the Internet, massive amounts of data are being generated that can be used for analysis. This book helps you to understand Internet of Things in depth and decision science, and solve business use cases. With IoT, the frequency and impact of the problem is huge. Addressing a problem with such a huge impact requires a very structured approach. The entire journey of addressing the problem by defining it, designing the solution, and executing it using decision science is articulated in this book through engaging and easy-to-understand business use cases. You will get a detailed understanding of IoT, decision science, and the art of solving a business problem in IoT through decision science. By the end of this book, you’ll have an understanding of the complex aspects of decision making in IoT and will be able to take that knowledge with you onto whatever project calls for it
Keith Belanger
Snowflake Cookbook, Second Edition is your guide to building modern enterprise data platforms in the Snowflake AI Data Cloud. Readers learn by doing standalone recipes that solve real tasks while also explaining when and why to use each pattern. This edition reflects Snowflake’s evolution into a unified platform for data, AI, and applications, emphasizing governance, intelligent design, and production grade operations. You’ll create AI-ready solutions, align security and access with roles and policies, and enable trusted sharing across domains. Recipes cover data loading, transformations, tasks and streams automation, secure staging, object tagging and masking, lineage and observability fundamentals, replication and failover, and techniques for resilience with cloning and Time Travel. You’ll also see how to connect to analytics and AI ecosystems to turn data into intelligence and action. Written by a veteran Data professional and multi-year Snowflake Data Superhero, this edition blends practical execution with architectural judgment. By the end, you’ll be ready to design governed, scalable, AI-enabled platforms that deliver reliable outcomes in the Snowflake AI Data Cloud.
Rafal Kuc
This book is for intermediate Solr Developers who are willing to learn and implement Pro-level practices, techniques, and solutions. This edition will specifically appeal to developers who wish to quickly get to grips with the changes and new features of Apache Solr 5.
Spark. Błyskawiczna analiza danych. Wydanie II
Jules S. Damji, Brooke Wenig, Tathagata Das,...
Apache Spark jest oprogramowaniem open source, przeznaczonym do klastrowego przetwarzania danych dostarczanych w różnych formatach. Pozwala na uzyskanie niespotykanej wydajności, umożliwia też pracę w trybie wsadowym i strumieniowym. Framework ten jest również świetnie przygotowany do uruchamiania złożonych aplikacji, włączając w to algorytmy uczenia maszynowego czy analizy predykcyjnej. To wszystko sprawia, że Apache Spark stanowi znakomity wybór dla programistów zajmujących się big data, a także eksploracją i analizą danych. To książka przeznaczona dla inżynierów danych i programistów, którzy chcą za pomocą Sparka przeprowadzać skomplikowane analizy danych i korzystać z algorytmów uczenia maszynowego, nawet jeśli te dane pochodzą z różnych źródeł. Wyjaśniono tu, jak dzięki Apache Spark można odczytywać i ujednolicać duże zbiory informacji, aby powstawały niezawodne jeziora danych, w jaki sposób wykonuje się interaktywne zapytania SQL, a także jak tworzy się potoki przy użyciu MLlib i wdraża modele za pomocą biblioteki MLflow. Omówiono również współdziałanie aplikacji Sparka z jego rozproszonymi komponentami i tryby jej wdrażania w poszczególnych środowiskach. W książce: API strukturalne dla Pythona, SQL, Scali i Javy operacje Sparka i silnika SQL konfiguracje Sparka i interfejs Spark UI nawiązywanie połączeń ze źródłami danych: JSON, Parquet, CSV, Avro, ORC, Hive, S3 i Kafka operacje analityczne na danych wsadowych i strumieniowanych niezawodne potoki danych i potoki uczenia maszynowego Spark: twórz skalowalne i niezawodne aplikacje big data!
Spark. Zaawansowana analiza danych
Sandy Ryza, Uri Laserson, Sean Owen, Josh...
Analiza ogromnych zbiorów danych nie musi być wolna! Apache Spark to darmowy, zaawansowany szkielet i silnik pozwalający na szybkie przetwarzanie oraz analizę ogromnych zbiorów danych. Prace nad tym projektem rozpoczęły się w 2009 roku, a już rok później Spark został udostępniony użytkownikom. Jeżeli potrzebujesz najwyższej wydajności w przetwarzaniu informacji, jeżeli chcesz uzyskiwać odpowiedź na trudne pytania niemalże w czasie rzeczywistym, Spark może być odpowiedzią na Twoje oczekiwania. Sięgnij po tę książkę i przekonaj się, czy tak jest w rzeczywistości. Autor porusza tu zaawansowane kwestie związane z analizą statystyczną danych, wykrywaniem anomalii oraz analizą obrazów. Jednak zanim przejdziesz do tych tematów, zapoznasz się z podstawami — wprowadzeniem do analizy danych za pomocą języka Scala oraz Apache Spark. Nauczysz się też przeprowadzać analizę semantyczną i zobaczysz, jak w praktyce przeprowadzić analizę sieci współwystępowań za pomocą biblioteki GraphX. Na koniec dowiesz się, jak przetwarzać dane geoprzestrzenne i genomiczne, a także oszacujesz ryzyko metodą symulacji Monte Carlo. Książka ta pozwoli Ci na wykorzystanie potencjału Apache Spark i zaprzęgnięcie go do najtrudniejszych zadań! Przykłady prezetnowane w książce obejmują: Rekomendowanie muzyki i dane Audioscrobbler Prognozowanie zalesienia za pomocą drzewa decyzyjnego Wykrywanie anomalii w ruchu sieciowym metodą grupowania według k-średnich Wikipedia i ukryta analiza semantyczna Analiza sieci współwystępowań za pomocą biblioteki GraphX Geoprzestrzenna i temporalna analiza tras nowojorskich taksówek Szacowanie ryzyka finansowego metodą symulacji Monte Carlo Analiza danych genomicznych i projekt BDG Analiza danych neuroobrazowych za pomocą pakietów PySpark i Thunder Poznaj potencjał i wydajność Apache Spark!
Splunk Best Practices. Operational intelligent made simpler
Travis Marlette, Chris Ladd
This book will give you an edge over others through insights that will help you in day-to-day instances. When you're working with data from various sources in Splunk and performing analysis on this data, it can be a bit tricky. With this book, you will learn the best practices of working with Splunk.You'll learn about tools and techniques that will ease your life with Splunk, and will ultimately save you time. In some cases, it will adjust your thinking of what Splunk is, and what it can and cannot do.To start with, you'll get to know the best practices to get data into Splunk, analyze data, and package apps for distribution. Next, you'll discover the best practices in logging, operations, knowledge management, searching, and reporting. To finish off, we will teach you how to troubleshoot Splunk searches, as well as deployment, testing, and development with Splunk.
Splunk: Enterprise Operational Intelligence Delivered. Machine data made accessible
Paul R. Johnson, Betsy Page Sigman, Derek...
Splunk is an extremely powerful tool for searching, exploring, and visualizing data of all types. Splunk is becoming increasingly popular, as more and more businesses, both large and small, discover its ease and usefulness. Analysts, managers, students, and others can quickly learn how to use the data from their systems, networks, web traffic, and social media to make attractive and informative reports. This course will teach everything right from installing and configuring Splunk.The first module is for anyone who wants to manage data with Splunk. You’ll start with very basics of Splunk— installing Splunk— before then moving on to searching machine data with Splunk. You will gather data from different sources, isolate them by indexes, classify them into source types, and tag them with the essential fields.With more than 70 recipes on hand in the second module that demonstrate all of Splunk’s features, not only will you find quick solutions to common problems, but you’ll also learn a wide range of strategies and uncover new ideas that will make you rethink what operational intelligence means to you and your organization.Dive deep into Splunk to find the most efficient solution to your data problems in the third module. Create the robust Splunk solutions you need to make informed decisions in big data machine analytics. From visualizations to enterprise integration, this well-organized high level guide has everything you need for Splunk mastery.This learning path combines some of the best that Packt has to offer into one complete, curated package. It includes content from the following Packt products:• Splunk Essentials - Second Edition• Splunk Operational Intelligence Cookbook - Second Edition• Advanced Splunk
Josh Diakun, Jose E. Hernandez, Derek Mock,...
Splunk makes it easy for you to take control of your data, and with Splunk Operational Cookbook, you can be confident that you are taking advantage of the Big Data revolution and driving your business with the cutting edge of operational intelligence and business analytics. With more than 70 recipes that demonstrate all of Splunk’s features, not only will you find quick solutions to common problems, but you’ll also learn a wide range of strategies and uncover new ideas that will make you rethink what operational intelligence means to you and your organization.You’ll discover recipes on data processing, searching and reporting, dashboards, and visualizations to make data shareable, communicable, and most importantly meaningful. You’ll also find step-by-step demonstrations that walk you through building an operational intelligence application containing vital features essential to understanding data and to help you successfully integrate a data-driven way of thinking in your organization.Throughout the book, you’ll dive deeper into Splunk, explore data models and pivots to extend your intelligence capabilities, and perform advanced searching to explore your data in even more sophisticated ways. Splunk is changing the business landscape, so make sure you’re taking advantage of it.
SQL. Analiza danych za pomocą zapytań. Warsztaty praktyczne. Wydanie II
Matt Goldwasser, Upom Malik, Benjamin Johnston
Obecnie mamy dostęp do terabajtów danych. To nieprzebrane źródło cennych informacji, które mogą decydować o upadku albo o rozkwicie firmy. Aby jednak wydobyć z danych potrzebną wiedzę, trzeba się wykazać kompetencjami. Są to cenne umiejętności - profesjonalny analityk danych może przebierać w atrakcyjnych ofertach pracy. Spośród różnych technik analizy danych warto się przyjrzeć zastosowaniu zapytań SQL. SQL to język tworzony i rozwijany dla potrzeb pracy z bazami danych, jest więc szczególnie przydatnym narzędziem w przyborniku analityka danych. Ta książka jest znakomitym przewodnikiem dla początkującego analityka danych. Dzięki niej dowiesz się, jak skutecznie przesiewać i uzyskiwać informacje z surowych danych. Nauczysz się formułować hipotezy i generować opisowe statystyki, a także pisać złożone zapytania SQL, które pozwalają na zagregowanie danych z bazy SQL z danymi pochodzącymi z innych źródeł. Zobaczysz, jak pracować z danymi w różnych formatach, i nauczysz się analizy geoprzestrzennej i analizy tekstu. Poznasz też tajniki pozyskiwania informacji z wykorzystaniem takich metod jak profilowanie i automatyzacja. W książce: przygotowanie danych za pomocą zapytań SQL funkcje agregujące i funkcje okna w SQL bazy danych i Excel oraz kod w R i w Pythonie praca ze złożonymi typami danych optymalizacja zapytań SQL metodyczne rozwiązywanie problemów SQL: znakomite narzędzie w profesjonalnej analizie danych!
SQL. Ćwiczenia praktyczne. Wydanie II
Marcin Lis
Błyskawicznie opanuj sztukę posługiwania się bazami danych opartymi na SQL! Podstawy relacyjnych baz danych - czyli co warto wiedzieć na początek Praca z danymi - czyli umieszczanie ich w bazie, modyfikacja i usuwanie Ułatwianie sobie życia - czyli funkcje agregujące, podzapytania i transakcje Relacyjne bazy danych, oparte na języku SQL, to dziś niezwykle popularne i najczęściej używane struktury do przechowywania dużej ilości danych. Nie tylko ułatwiają segregowanie i szybkie uzyskiwanie potrzebnych informacji - umożliwiają też przeprowadzanie na danych rozmaitych złożonych operacji, oszczędzających użytkownikom ogromne ilości czasu. Pozwalają bez trudu dodawać nowe dane, zmieniać i usuwać te znajdujące się już w bazie oraz wyłuskiwać wszelkie wiadomości pod kątem specyficznych, szczegółowych kryteriów wyszukiwania. Wystarczy tylko poznać podstawowe zasady działania języka SQL. "SQL. Ćwiczenia praktyczne. Wydanie II " pomoże Ci opanować podstawy tego języka, a także wskaże, jak posługiwać się nim w konkretnych przypadkach. Znajdziesz tu wiedzę potrzebną do utworzenia bazy danych w jednym z kilku najpopularniejszych systemów bazodanowych, zaprojektowania tabel optymalnych dla treści, które chcesz w nich przechowywać, wprowadzania danych do bazy i modyfikowania ich. Zobaczysz także, co zrobić, by łatwo, szybko i precyzyjnie wyszukać interesujące Cię informacje, pobrać je i posortować. Dowiesz się, co to są funkcje agregujące, więzy integralności i podzapytania oraz jak korzystać z transakcji. Krótko mówiąc, znajdziesz tu wszystko, co musisz wiedzieć, by sprawnie i wygodnie korzystać ze swojej bazy danych. Podstawy relacyjnych baz danych Praca z tabelami Umieszczanie danych w bazie Pobieranie danych z tabel Złożone kryteria wyszukiwania Modyfikacja i usuwanie danych Złączenia Funkcje agregujące Podzapytania Więzy integralności Transakcje Instalacja i podstawowa konfiguracja baz Stwórz własną bazę danych i korzystaj z jej możliwości!
SQL. Ćwiczenia praktyczne. Wydanie III
Marcin Lis
Naucz się sprawnie używać bazy danych! Podstawy relacyjnych baz danych, czyli po co tworzy się bazy i czym jest język SQL Dane w bazie, czyli jak przechowywać informacje, modyfikować je lub usuwać Przetwarzanie danych, czyli jak szybko wyciągnąć z bazy wszystkie potrzebne dane Relacyjnych baz danych używa się w większości instytucji. Nie sposób dziś prowadzić jakiejkolwiek działalności komercyjnej bez bazy klientów, dostawców czy wykazu podatków. Często jednak efektywna obsługa takiej bazy wykracza poza kwalifikacje przeciętnego pracownika, który wykorzystuje zaledwie ułamek jej mocy. Ta książka może to zmienić! Znajdziesz w niej informacje, jak grupować określone dane, co ułatwi Ci wykonanie rzetelnej analizy działalności Twojej firmy. Dzięki temu przewodnikowi wykorzystasz w swojej pracy potencjał bazy danych i nauczysz się z nią współpracować. Książka ta, wydana w cenionej serii „Ćwiczenia Praktyczne”, pozwoli Ci szybko zapoznać się zarówno z podstawami działania relacyjnych baz danych, jak i z bardziej zaawansowanymi zagadnieniami, takimi jak funkcje agregujące czy transakcje. Znajdziesz tu wszystkie najważniejsze kwestie związane z językiem zapytań SQL i operowaniem danymi. Odkryjesz, jak grupować dane, do czego służą podzapytania i co to są więzy integralności. Podręcznik ten, przygotowany w formie bogatego zestawu praktycznych przykładów i konkretnych ćwiczeń, pomoże Ci opanować umiejętność poruszania się po bazie danych. Praca z tabelami i umieszczanie danych w bazie Pobieranie danych, ich modyfikacja i usuwanie Złączenia i funkcje agregujące Uzyskiwanie informacji statystycznych Grupowanie danych i podzapytania Perspektywy (widoki), transakcje i więzy integralności Optymalizacja podzapytań Instalacja i podstawowa konfiguracja baz Sprawdź możliwości Twojej bazy danych!
SQL dla analityków danych. Opanuj możliwości SQL-a, aby wydobywać informacje z danych. Wydanie III
Jun Shan, Matt Goldwasser, Upom Malik, Benjamin...
Język SQL zwykle służy do pracy z bazami danych, jednak można go używać również do wydajnego przetwarzania ich wielkich zbiorów. W tym celu trzeba dobrze poznać to narzędzie. Wysiłek włożony w zrozumienie SQL-a na pewno się opłaci - dzięki analizie danych można wydobywać z nich bezcenną wiedzę, która bezpośrednio przekłada się na zyski firmy. Ta książka stanowi świetne wprowadzenie do analizy danych. Dzięki niej nauczysz się korzystać z surowych danych, nawet jeśli nie masz odpowiedniego doświadczenia. Zaczniesz od formułowania hipotez i generowania statystyk opisowych, a następnie przystąpisz do pisania zapytań w języku SQL w celu agregowania, przeliczania i łączenia danych z różnych zbiorów. Zapoznasz się też z zaawansowanymi technikami, takimi jak analiza geoprzestrzenna i analiza tekstu. W książce omówiono również profilowanie i automatyzację, które umożliwiają szybsze i wydajniejsze pobieranie informacji. To wszystko pozwoli Ci na skuteczne korzystanie z SQL-a w codziennych scenariuszach biznesowych. Najciekawsze zagadnienia: gruntowne wprowadzenie do analityki danych przygotowywanie danych do analizy optymalizacja kwerend i złożone typy danych funkcje agregujące, funkcja okna i inne metody analizy danych w SQL jak odkrywać prawdę za pomocą SQL-a SQL: spójrz na dane okiem wyszkolonego analityka!
SQL dla analityków danych. Tworzenie zbiorów danych dla początkujących
Renée M. P. Teate
Język SQL zwykle służy do pracy z bazami danych. Poprawnie napisany kod SQL przetwarza z dużą szybkością potężne zbiory danych, dlatego stanowi wymarzone narzędzie dla analityków danych. Tymczasem wielu z nich zleca wykonywanie raportów z baz czy hurtowni danych innym osobom. Taki sposób pracy jest nieefektywny - o wiele lepszym rozwiązaniem jest opanowanie języka SQL i samodzielne projektowanie oraz wyodrębnianie potrzebnych zbiorów danych. Ten przystępny przewodnik jest przeznaczony dla analityków danych, którzy chcą dobrze poznać proces tworzenia analitycznego zbioru danych i samodzielnie pisać kod niezbędny do uzyskania zamierzonego wyniku. Przedstawiono w nim składnię języka SQL oraz zasady budowania szybko działających zapytań do dużych zbiorów danych. Dokładnie wyjaśniono reguły stosowania poszczególnych instrukcji SQL, korzystania z funkcji agregujących i okienkowych, a także techniki eksploracyjnej analizy danych oraz tworzenia zbiorów danych na potrzeby raportów analitycznych. Omówiono również trudniejsze zagadnienia, takie jak zaawansowane zapytania SQL czy tworzenie zbiorów danych na potrzeby uczenia maszynowego. W książce znalazły się też fachowe porady na temat wnioskowania na podstawie danych i liczne ćwiczenia ułatwiające naukę. Najciekawsze zagadnienia: składnia SQL i projektowanie efektywnych zapytań eksploracyjna analiza danych tworzenie zbiorów danych z istniejących baz danych projektowanie zbiorów danych na potrzeby uczenia maszynowego zaawansowane elementy języka SQL tworzenie tabel i widoków do przechowywania wyników zapytań SQL: tak przygotujesz swój zbiór danych do analizy!