Big data
Anindita Mahapatra
Delta helps you generate reliable insights at scale and simplifies architecture around data pipelines, allowing you to focus primarily on refining the use cases being worked on. This is especially important when you consider that existing architecture is frequently reused for new use cases.In this book, you’ll learn about the principles of distributed computing, data modeling techniques, and big data design patterns and templates that help solve end-to-end data flow problems for common scenarios and are reusable across use cases and industry verticals. You’ll also learn how to recover from errors and the best practices around handling structured, semi-structured, and unstructured data using Delta. After that, you’ll get to grips with features such as ACID transactions on big data, disciplined schema evolution, time travel to help rewind a dataset to a different time or version, and unified batch and streaming capabilities that will help you build agile and robust data products.By the end of this Delta book, you’ll be able to use Delta as the foundational block for creating analytics-ready data that fuels all AI/BI use cases.
Simulation for Data Science with R. Effective Data-driven Decision Making
Matthias Templ
Data Science with R aims to teach you how to begin performing data science tasks by taking advantage of Rs powerful ecosystem of packages. R being the most widely used programming language when used with data science can be a powerful combination to solve complexities involved with varied data sets in the real world.The book will provide a computational and methodological framework for statistical simulation to the users. Through this book, you will get in grips with the software environment R. After getting to know the background of popular methods in the area of computational statistics, you will see some applications in R to better understand the methods as well as gaining experience of working with real-world data and real-world problems. This book helps uncover the large-scale patterns in complex systems where interdependencies and variation are critical. An effective simulation is driven by data generating processes that accurately reflect real physical populations. You will learn how to plan and structure a simulation project to aid in the decision-making process as well as the presentation of results.By the end of this book, you reader will get in touch with the software environment R. After getting background on popular methods in the area, you will see applications in R to better understand the methods as well as to gain experience when working on real-world data and real-world problems.
Skazany na sukces. Kariera w Data Science
Jacqueline Nolis, Emily Robinson
Nauka o danych, zwana danologią, zyskuje na znaczeniu. Dane dla gospodarki są tym, czym dotąd były węgiel, stal i ropa naftowa. Umiejętność korzystania z wiedzy zawartej w danych decyduje o efektywności prowadzenia działalności gospodarczej i determinuje rozwój nowych modeli, rozwiązań i relacji gospodarczych. Już teraz specjaliści danolodzy są rozchwytywani na rynku pracy. Aby jednak w pełni i do końca wykorzystać pojawiające się możliwości, trzeba wiedzieć, w jaki sposób podejść do trudnego zagadnienia, jakim jest budowanie ścieżki kariery i podążanie nią w odpowiednim dla siebie tempie. To praktyczny przewodnik, dzięki któremu łatwiej zdobędziesz pierwszą pracę związaną z badaniem danych, szybciej staniesz się cenionym specjalistą i w miarę rozwoju zawodowego będziesz coraz trafniej wychwytywać pojawiające się możliwości awansu i zmiany pracy na atrakcyjniejszą. Dowiesz się, jak zdobyć podstawowe umiejętności i jak faktycznie wyglądają konkretne stanowiska pracy. Opisano tu również, jak pomyślnie przejść przez proces rekrutacji i zaaklimatyzować się w nowych warunkach. Nie zabrakło cennych wskazówek dotyczących awansowania na stanowiska kierownicze. Jako danolog prędko się przekonasz, że zawarta tutaj wiedza nietechniczna jest bardzo potrzebna do osiągnięcia sukcesu na polu badania danych. Dzięki tej książce dowiesz się, jak: tworzyć świetne portfolio projektów z zakresu badania danych wyszukiwać, oceniać i negocjować oferty z klasą zmieniać miejsca pracy wybierać i skutecznie realizować scenariusze kariery poradzili sobie inni wybitni analitycy danych! Danologia: nauka, pasja i sposób na życie!
Slaying Excel Dragons. A Beginner's Guide to Conquering Excel's Frustrations and Making Excel Fun
MrExcel's Holy Macro! Books, Mike Girvin
This comprehensive guide is designed to elevate your Excel skills from beginner to advanced. Starting with the fundamentals, you'll learn how to navigate Excel's interface, use essential keyboard shortcuts, and manage data efficiently. As you progress, you'll dive into complex features like PivotTables, dynamic ranges, and advanced formatting, gaining the ability to handle intricate data tasks with ease.The guide also covers powerful formulas and functions, including VLOOKUP, INDEX/MATCH, and logical tests. These tools will empower you to automate calculations, perform detailed analyses, and streamline your workflow. Additionally, you'll explore Excel’s data analysis features, such as sorting, filtering, and creating dynamic charts, enabling you to present your data clearly and effectively.By the end of this book, you'll have a deep understanding of Excel's capabilities, equipped with the skills to tackle any spreadsheet challenge. Whether you're preparing for advanced data analysis or seeking to optimize your day-to-day tasks, this guide provides the knowledge and practical experience to make Excel work for you.
Agus Kurniawan
Internet of Things (IoT) is a groundbreaking technology that involves connecting numerous physical devices to the Internet and controlling them. Creating basic IoT projects is common, but imagine building smart IoT projects that can extract data from physical devices, thereby making decisions by themselves.Our book overcomes the challenge of analyzing data from physical devices and accomplishes all that your imagination can dream up by teaching you how to build smart IoT projects. Basic statistics and various applied algorithms in data science and machine learning are introduced to accelerate your knowledge of how to integrate a decision system into a physical device.This book contains IoT projects such as building a smart temperature controller, creating your own vision machine project, building an autonomous mobile robot car, controlling IoT projects through voice commands, building IoT applications utilizing cloud technology and data science, and many more. We will also leverage a small yet powerful IoT chip, Raspberry Pi with Arduino, in order to integrate a smart decision-making system in the IoT projects.
Jojo Moolayil
With an increasing number of devices getting connected to the Internet, massive amounts of data are being generated that can be used for analysis. This book helps you to understand Internet of Things in depth and decision science, and solve business use cases. With IoT, the frequency and impact of the problem is huge. Addressing a problem with such a huge impact requires a very structured approach. The entire journey of addressing the problem by defining it, designing the solution, and executing it using decision science is articulated in this book through engaging and easy-to-understand business use cases. You will get a detailed understanding of IoT, decision science, and the art of solving a business problem in IoT through decision science. By the end of this book, you’ll have an understanding of the complex aspects of decision making in IoT and will be able to take that knowledge with you onto whatever project calls for it
Keith Belanger
Snowflake Cookbook, Second Edition is your guide to building modern enterprise data platforms in the Snowflake AI Data Cloud. Readers learn by doing standalone recipes that solve real tasks while also explaining when and why to use each pattern. This edition reflects Snowflake’s evolution into a unified platform for data, AI, and applications, emphasizing governance, intelligent design, and production grade operations. You’ll create AI-ready solutions, align security and access with roles and policies, and enable trusted sharing across domains. Recipes cover data loading, transformations, tasks and streams automation, secure staging, object tagging and masking, lineage and observability fundamentals, replication and failover, and techniques for resilience with cloning and Time Travel. You’ll also see how to connect to analytics and AI ecosystems to turn data into intelligence and action. Written by a veteran Data professional and multi-year Snowflake Data Superhero, this edition blends practical execution with architectural judgment. By the end, you’ll be ready to design governed, scalable, AI-enabled platforms that deliver reliable outcomes in the Snowflake AI Data Cloud.
John Gilbert
As businesses are undergoing a digital transformation to keep up with competition, it is now more important than ever for IT professionals to design systems to keep up with the rate of change while maintaining stability.This book takes you through the architectural patterns that power enterprise-grade software systems and the key architectural elements that enable change (such as events, autonomous services, and micro frontends), along with showing you how to implement and operate anti-fragile systems.First, you’ll divide up a system and define boundaries so that your teams can work autonomously and accelerate innovation. You’ll cover low-level event and data patterns that support the entire architecture, while getting up and running with the different autonomous service design patterns.Next, the book will focus on best practices for security, reliability, testability, observability, and performance. You’ll combine all that you've learned and build upon that foundation, exploring the methodologies of continuous experimentation, deployment, and delivery before delving into some final thoughts on how to start making progress.By the end of this book, you'll be able to architect your own event-driven, serverless systems that are ready to adapt and change so that you can deliver value at the pace needed by your business.
Ritesh Modi
Solidity is a contract-oriented language whose syntax is highly influenced by JavaScript, and is designed to compile code for the Ethereum Virtual Machine. Solidity Programming Essentials will be your guide to understanding Solidity programming to build smart contracts for Ethereum and blockchain from ground-up.We begin with a brief run-through of blockchain, Ethereum, and their most important concepts or components. You will learn how to install all the necessary tools to write, test, and debug Solidity contracts on Ethereum. Then, you will explore the layout of a Solidity source file and work with the different data types. The next set of recipes will help you work with operators, control structures, and data structures while building your smart contracts. We take you through function calls, return types, function modifers, and recipes in object-oriented programming with Solidity. Learn all you can on event logging and exception handling, as well as testing and debugging smart contracts.By the end of this book, you will be able to write, deploy, and test smart contracts in Ethereum. This book will bring forth the essence of writing contracts using Solidity and also help you develop Solidity skills in no time.
Spark. Błyskawiczna analiza danych. Wydanie II
Jules S. Damji, Brooke Wenig, Tathagata Das,...
Apache Spark jest oprogramowaniem open source, przeznaczonym do klastrowego przetwarzania danych dostarczanych w różnych formatach. Pozwala na uzyskanie niespotykanej wydajności, umożliwia też pracę w trybie wsadowym i strumieniowym. Framework ten jest również świetnie przygotowany do uruchamiania złożonych aplikacji, włączając w to algorytmy uczenia maszynowego czy analizy predykcyjnej. To wszystko sprawia, że Apache Spark stanowi znakomity wybór dla programistów zajmujących się big data, a także eksploracją i analizą danych. To książka przeznaczona dla inżynierów danych i programistów, którzy chcą za pomocą Sparka przeprowadzać skomplikowane analizy danych i korzystać z algorytmów uczenia maszynowego, nawet jeśli te dane pochodzą z różnych źródeł. Wyjaśniono tu, jak dzięki Apache Spark można odczytywać i ujednolicać duże zbiory informacji, aby powstawały niezawodne jeziora danych, w jaki sposób wykonuje się interaktywne zapytania SQL, a także jak tworzy się potoki przy użyciu MLlib i wdraża modele za pomocą biblioteki MLflow. Omówiono również współdziałanie aplikacji Sparka z jego rozproszonymi komponentami i tryby jej wdrażania w poszczególnych środowiskach. W książce: API strukturalne dla Pythona, SQL, Scali i Javy operacje Sparka i silnika SQL konfiguracje Sparka i interfejs Spark UI nawiązywanie połączeń ze źródłami danych: JSON, Parquet, CSV, Avro, ORC, Hive, S3 i Kafka operacje analityczne na danych wsadowych i strumieniowanych niezawodne potoki danych i potoki uczenia maszynowego Spark: twórz skalowalne i niezawodne aplikacje big data!
Rishi Yadav
If you are a data engineer, an application developer, or a data scientist who would like to leverage the power of Apache Spark to get better insights from big data, then this is the book for you.
Bikramaditya Singhal, Srinivas Duvvuri
This is the era of Big Data. The words ‘Big Data’ implies big innovation and enables a competitive advantage for businesses. Apache Spark was designed to perform Big Data analytics at scale, and so Spark is equipped with the necessary algorithms and supports multiple programming languages.Whether you are a technologist, a data scientist, or a beginner to Big Data analytics, this book will provide you with all the skills necessary to perform statistical data analysis, data visualization, predictive modeling, and build scalable data products or solutions using Python, Scala, and R.With ample case studies and real-world examples, Spark for Data Science will help you ensure the successful execution of your data science projects.
Spark. Rozproszone uczenie maszynowe na dużą skalę. Jak korzystać z MLlib, TensorFlow i PyTorch
Adi Polak
Jeśli chcesz dostosować swoją pracę do większych zbiorów danych i bardziej złożonych kodów, potrzebna Ci jest znajomość technik rozproszonego uczenia maszynowego. W tym celu warto poznać frameworki Apache Spark, PyTorch i TensorFlow, a także bibliotekę MLlib. Biegłość w posługiwaniu się tymi narzędziami przyda Ci się w całym cyklu życia oprogramowania ― nie tylko ułatwi współpracę, ale również tworzenie powtarzalnego kodu. Dzięki tej książce nauczysz się holistycznego podejścia, które zdecydowanie usprawni współpracę między zespołami. Najpierw zapoznasz się z podstawowymi informacjami o przepływach pracy związanych z uczeniem maszynowym przy użyciu Apache Spark i pakietu PySpark. Nauczysz się też zarządzać cyklem życia eksperymentów dla potrzeb uczenia maszynowego za pomocą biblioteki MLflow. Z kolejnych rozdziałów dowiesz się, jak od strony technicznej wygląda korzystanie z platformy uczenia maszynowego. W książce znajdziesz również opis wzorców wdrażania, wnioskowania i monitorowania modeli w środowisku produkcyjnym. Najciekawsze zagadnienia: cykl życia uczenia maszynowego i MLflow inżynieria cech i przetwarzanie wstępne za pomocą Sparka szkolenie modelu i budowa potoku budowa systemu danych z wykorzystaniem uczenia głębokiego praca TensorFlow w trybie rozproszonym skalowanie systemu i tworzenie jego wewnętrznej architektury Właśnie takiej książki społeczność Sparka wyczekuje od dekady! Andy Petrella, autor książki Fundamentals of Data Observability
Spark. Zaawansowana analiza danych
Sandy Ryza, Uri Laserson, Sean Owen, Josh...
Analiza ogromnych zbiorów danych nie musi być wolna! Apache Spark to darmowy, zaawansowany szkielet i silnik pozwalający na szybkie przetwarzanie oraz analizę ogromnych zbiorów danych. Prace nad tym projektem rozpoczęły się w 2009 roku, a już rok później Spark został udostępniony użytkownikom. Jeżeli potrzebujesz najwyższej wydajności w przetwarzaniu informacji, jeżeli chcesz uzyskiwać odpowiedź na trudne pytania niemalże w czasie rzeczywistym, Spark może być odpowiedzią na Twoje oczekiwania. Sięgnij po tę książkę i przekonaj się, czy tak jest w rzeczywistości. Autor porusza tu zaawansowane kwestie związane z analizą statystyczną danych, wykrywaniem anomalii oraz analizą obrazów. Jednak zanim przejdziesz do tych tematów, zapoznasz się z podstawami — wprowadzeniem do analizy danych za pomocą języka Scala oraz Apache Spark. Nauczysz się też przeprowadzać analizę semantyczną i zobaczysz, jak w praktyce przeprowadzić analizę sieci współwystępowań za pomocą biblioteki GraphX. Na koniec dowiesz się, jak przetwarzać dane geoprzestrzenne i genomiczne, a także oszacujesz ryzyko metodą symulacji Monte Carlo. Książka ta pozwoli Ci na wykorzystanie potencjału Apache Spark i zaprzęgnięcie go do najtrudniejszych zadań! Przykłady prezetnowane w książce obejmują: Rekomendowanie muzyki i dane Audioscrobbler Prognozowanie zalesienia za pomocą drzewa decyzyjnego Wykrywanie anomalii w ruchu sieciowym metodą grupowania według k-średnich Wikipedia i ukryta analiza semantyczna Analiza sieci współwystępowań za pomocą biblioteki GraphX Geoprzestrzenna i temporalna analiza tras nowojorskich taksówek Szacowanie ryzyka finansowego metodą symulacji Monte Carlo Analiza danych genomicznych i projekt BDG Analiza danych neuroobrazowych za pomocą pakietów PySpark i Thunder Poznaj potencjał i wydajność Apache Spark!
Spatial Analytics with ArcGIS. Build powerful insights with spatial analytics
Eric Pimpler
Spatial statistics has the potential to provide insight that is not otherwise available through traditional GIS tools. This book is designed to introduce you to the use of spatial statistics so you can solve complex geographic analysis.The book begins by introducing you to the many spatial statistics tools available in ArcGIS. You will learn how to analyze patterns, map clusters, and model spatial relationships with these tools. Further on, you will explore how to extend the spatial statistics tools currently available in ArcGIS, and use the R programming language to create custom tools in ArcGIS through the ArcGIS Bridge using real-world examples. At the end of the book, you will be presented with two exciting case studies where you will be able to practically apply all your learning to analyze and gain insights into real estate data.
J-P Contreras, Erickson Delgado, Betsy Page Sigman
Splunk is a search, reporting, and analytics software platform for machine data, which has an ever-growing market adoption rate. More organizations than ever are adopting Splunk to make informed decisions in areas such as IT operations, information security, and the Internet of Things.The first two chapters of the book will get you started with a simple Splunkinstallation and set up of a sample machine data generator, called Eventgen.After this, you will learn to create various reports, dashboards, and alerts. You willalso explore Splunk's Pivot functionality to model data for business users. Youwill then have the opportunity to test-drive Splunk's powerful HTTP Event Collector. After covering the core Splunk functionality, you'll be provided with some real-world best practices for using Splunk, and information on how to build upon what you've learned in this book.Throughout the book, there will be additional comments and best practicerecommendations from a member of the SplunkTrust Community, calledTips from the Fez.