Potoki danych. Leksykon kieszonkowy. Przenoszenie i przetwarzanie danych na potrzeby ich analizy

James Densmore

Poprawnie zaprojektowane i wdrożone potoki danych mają kluczowe znaczenie dla pomyślnej analizy danych, a także w trakcie uczenia maszynowego. Pozyskanie ogromnych ilości danych z różnych źródeł najczęściej nie stanowi problemu. Nieco trudniejsze jest zaprojektowanie procesu ich przetwarzania w celu dostarczenia kontekstu w taki sposób, aby efektywnie korzystać z posiadanych danych w codziennej pracy organizacji i podejmować dzięki nim rozsądne decyzje. Oto zwięzły przewodnik przeznaczony dla inżynierów danych, którzy chcą poznać zasady implementacji potoków danych. Wyjaśnia najważniejsze pojęcia związane z potokami danych, opisuje zasady ich tworzenia i implementacji, prezentuje także najlepsze praktyki stosowane przez liderów w branży analizy danych. Dzięki książce zrozumiesz, w jaki sposób potoki danych działają na nowoczesnym stosie danych, poznasz też typowe zagadnienia, które trzeba przemyśleć przed podjęciem decyzji dotyczących implementacji. Dowiesz się, jakie są zalety samodzielnego opracowania rozwiązania, a jakie - zakupu gotowego produktu. Poznasz również podstawowe koncepcje, które mają zastosowanie dla frameworków typu open source, produktów komercyjnych i samodzielnie opracowywanych rozwiązań. Dowiedz się: czym jest potok danych i na czym polega jego działanie jak się odbywa przenoszenie i przetwarzanie danych w nowoczesnej infrastrukturze jakie narzędzia są szczególnie przydatne do tworzenia potoków danych jak używać potoków danych do analizy i tworzenia raportów jakie są najważniejsze aspekty obsługi potoków, ich testowania i rozwiązywania problemów Poznaj najlepsze praktyki projektowania i implementacji potoków danych!

Power Query w Excelu i Power BI. Zbieranie i przekształcanie danych

Gil Raviv

Czy praca na danych kojarzy Ci się z frustrującym ręcznym wklejaniem i oczyszczaniem danych w Excelu? A może tracisz mnóstwo energii na importowanie nieuporządkowanych danych pochodzących z różnych źródeł? Być może podejrzewasz, że Twoje arkusze kryją mnóstwo wartościowych informacji, ale nie wiesz, w jaki sposób je wydobyć i ile godzin musisz na to poświęcić? A może spędzasz sporo czasu na tworzeniu skomplikowanych raportów w Power BI lub programowaniu baz danych SQL Server? Dzięki wiedzy zawartej w tej książce wykonasz te zadania prościej i szybciej, a efekty będą o wiele bardziej niezawodne! Ten praktyczny przewodnik po narzędziu Power Query nauczy Cię efektywnie przetwarzać dane w Excelu: importować, oczyszczać, przekształcać i wydobywać potrzebne informacje. Dowiesz się, jak sprawnie wykonywać typowe zadania i prace analityczne, jak zwiększyć swoją skuteczność dzięki opanowaniu podstaw języka M oraz jak zautomatyzować proces przygotowywania danych do przetwarzania. Zapoznasz się z możliwościami Microsoft Cognitive Services oraz konektora Power Query Web, a także z wykorzystaniem sztucznej inteligencji do rozpoznawania treści tekstu. Nabyte umiejętności będziesz mógł przetestować w realistycznym projekcie, któremu poświęcono ostatni rozdział! W książce między innymi: solidne podstawy pracy z narzędziem Power Query automatyzacja operacji na danych proste i zaawansowane techniki dekompozycji tabel tworzenie procedur w języku M pozyskiwanie informacji z danych tekstowych i sieci społecznościowych Power Query i Power BI: sprostasz wyzwaniu przetwarzania danych!

Poznaj Tableau 2022. Wizualizacja danych, interaktywna analiza danych i umiejętność data storytellingu. Wydanie V

Joshua N. Milligan

Dane stały się paliwem rozwoju cywilizacji. Wykorzystanie ich potencjału jest jednak trudne: problemem okazuje się wyciąganie z nich informacji i wniosków, aby można było na ich podstawie podejmować trafne decyzje. Jednym z narzędzi ułatwiających tę pracę jest Tableau - program do analityki danych, który umożliwia ich zrozumienie, interpretację i prowadzenie na nich efektywnych działań. Dzięki tej książce płynnie rozpoczniesz pracę z Tableau 2022 i nauczysz się wizualizacji danych. Dowiesz się, jak je analizować i przedstawiać w formie graficznej, a także jak opowiadać oparte na nich historie. W tym wydaniu ujęto najnowsze funkcje programu, między innymi rozszerzenia pulpitów nawigacyjnych, Explain Data i integrację z CRM Analytics (Einstein Analytics), służącym do modelowania predyktywnego w Tableau. Pokazano również, jak używać tabel i obliczeń na różnych poziomach szczegółowości i stosować wizualną analitykę statystyczną. Następnie zademonstrowano techniki łączenia różnych źródeł danych z funkcjonalnościami modeli danych Tableau wraz z mapami i wizualizacjami geoprzestrzennymi. Z tego przewodnika dowiesz się też, jak korzystać z funkcji Tableau Prep Builder, by skutecznie oczyścić i zorganizować dane. Dzięki książce nauczysz się: tworzyć zachwycające wizualizacje złożonych danych budować interaktywne pulpity nawigacyjne korzystać z obliczeń w celu rozwiązywania problemów i uzupełniania analiz wzbogacać możliwości Tableau poprzez rozszerzenia, skrypty i CRM Analytics oczyszczać i organizować dane w Tableau tworzyć angażujące historie oparte na danych Przekonaj się, co Tableau wyczaruje z Twoich danych!

Practical Business Intelligence. Optimize Business Intelligence for Efficient Data Analysis

Ahmed Sherif

Business Intelligence (BI) is at the crux of revolutionizing enterprise. Everyone wants to minimize losses and maximize profits. Thanks to Big Data and improved methodologies to analyze data, Data Analysts and Data Scientists are increasingly using data to make informed decisions. Just knowing how to analyze data is not enough, you need to start thinking how to use data as a business asset and then perform the right analysis to build an insightful BI solution. Efficient BI strives to achieve the automation of data for ease of reporting and analysis. Through this book, you will develop the ability to think along the right lines and use more than one tool to perform analysis depending on the needs of your business. We start off by preparing you for data analytics. We then move on to teach you a range of techniques to fetch important information from various databases, which can be used to optimize your business.The book aims to provide a full end-to-end solution for an environment setup that can help you make informed business decisions and deliver efficient and automated BI solutions to any company.It is a complete guide for implementing Business intelligence with the help of the most powerful tools like D3.js, R, Tableau, Qlikview and Python that are available on the market.

Practical Data Analysis Cookbook. Over 60 practical recipes on data exploration and analysis

Tomasz Drabas

Data analysis is the process of systematically applying statistical and logical techniques to describe and illustrate, condense and recap, and evaluate data. Its importance has been most visible in the sector of information and communication technologies. It is an employee asset in almost all economy sectors.This book provides a rich set of independent recipes that dive into the world of data analytics and modeling using a variety of approaches, tools, and algorithms. You will learn the basics of data handling and modeling, and will build your skills gradually toward more advanced topics such as simulations, raw text processing, social interactions analysis, and more.First, you will learn some easy-to-follow practical techniques on how to read, write, clean, reformat, explore, and understand your data—arguably the most time-consuming (and the most important) tasks for any data scientist. In the second section, different independent recipes delve into intermediate topics such as classification, clustering, predicting, and more. With the help of these easy-to-follow recipes, you will also learn techniques that can easily be expanded to solve other real-life problems such as building recommendation engines or predictive models. In the third section, you will explore more advanced topics: from the field of graph theory through natural language processing, discrete choice modeling to simulations. You will also get to expand your knowledge on identifying fraud origin with the help of a graph, scrape Internet websites, and classify movies based on their reviews.By the end of this book, you will be able to efficiently use the vast array of tools that the Python environment has to offer.

Practical Guide to Azure Cognitive Services. Leverage the power of Azure OpenAI to optimize operations, reduce costs, and deliver cutting-edge AI solutions

Chris Seferlis, Christopher Nellis, Andy Roberts

Azure Cognitive Services and OpenAI are a set of pre-built artificial intelligence (AI) solution APIs that can be leveraged from existing applications, allowing customers to take advantage of Microsoft’s award-winning Vision, Speech, Text, Decision, and GPT-4 AI capabilities.With Practical Guide to Azure Cognitive Services, you’ll work through industry-specific examples of implementations to get a head-start in your production journey. You’ll begin with an overview of the categorization of Azure Cognitive Services and the benefits of embracing AI solutions for practical business applications. After that, you’ll explore the benefits of using Azure Cognitive Services to optimize efficiency and improve predictive capabilities. Then, you’ll learn how to leverage Vision capabilities for quality control, Form Recognizer to streamline supply chain nuances, language understanding to improve customer service, and Cognitive Search for next-generation knowledge-mining solutions.By the end of this book, you’ll be able to implement various Cognitive Services solutions that will help you enhance efficiency, reduce costs, and improve the customer experience at your organization. You’ll also be well equipped to automate mundane tasks by reaping the full potential of OpenAI.

Practical MongoDB Aggregations. The official guide to developing optimal aggregation pipelines with MongoDB 7.0

Paul Done, Asya Kamsky

Officially endorsed by MongoDB, Inc., Practical MongoDB Aggregations helps you unlock the full potential of the MongoDB aggregation framework, including the latest features of MongoDB 7.0. This book provides practical, easy-to-digest principles and approaches for increasing your effectiveness in developing aggregation pipelines, supported by examples for building pipelines to solve complex data manipulation and analytical tasks.This book is customized for developers, architects, data analysts, data engineers, and data scientists with some familiarity with the aggregation framework. It begins by explaining the framework's architecture and then shows you how to build pipelines optimized for productivity and scale.Given the critical role arrays play in MongoDB's document model, the book delves into best practices for optimally manipulating arrays. The latter part of the book equips you with examples to solve common data processing challenges so you can apply the lessons you've learned to practical situations. By the end of this MongoDB book, you’ll have learned how to utilize the MongoDB aggregation framework to streamline your data analysis and manipulation processes effectively.

Principles of Data Science. A beginner's guide to essential math and coding skills for data fluency and machine learning - Third Edition

Sinan Ozdemir

Principles of Data Science bridges mathematics, programming, and business analysis, empowering you to confidently pose and address complex data questions and construct effective machine learning pipelines. This book will equip you with the tools to transform abstract concepts and raw statistics into actionable insights.Starting with cleaning and preparation, you’ll explore effective data mining strategies and techniques before moving on to building a holistic picture of how every piece of the data science puzzle fits together. Throughout the book, you’ll discover statistical models with which you can control and navigate even the densest or the sparsest of datasets and learn how to create powerful visualizations that communicate the stories hidden in your data.With a focus on application, this edition covers advanced transfer learning and pre-trained models for NLP and vision tasks. You’ll get to grips with advanced techniques for mitigating algorithmic bias in data as well as models and addressing model and data drift. Finally, you’ll explore medium-level data governance, including data provenance, privacy, and deletion request handling.By the end of this data science book, you'll have learned the fundamentals of computational mathematics and statistics, all while navigating the intricacies of modern ML and large pre-trained models like GPT and BERT.

Principles of Data Science. Mathematical techniques and theory to succeed in data-driven industries

Sinan Ozdemir

Need to turn your skills at programming into effective data science skills? Principles of Data Science is created to help you join the dots between mathematics, programming, and business analysis. With this book, you’ll feel confident about asking—and answering—complex and sophisticated questions of your data to move from abstract and raw statistics to actionable ideas.With a unique approach that bridges the gap between mathematics and computer science, this books takes you through the entire data science pipeline. Beginning with cleaning and preparing data, and effective data mining strategies and techniques, you’ll move on to build a comprehensive picture of how every piece of the data science puzzle fits together. Learn the fundamentals of computational mathematics and statistics, as well as some pseudocode being used today by data scientists and analysts. You’ll get to grips with machine learning, discover the statistical models that help you take control and navigate even the densest datasets, and find out how to create powerful visualizations that communicate what your data means.

Principles of Data Science. Understand, analyze, and predict data using Machine Learning concepts and tools - Second Edition

Sinan Ozdemir, Sunil Kakade, Marco Tibaldeschi

Need to turn programming skills into effective data science skills? This book helps you connect mathematics, programming, and business analysis. You’ll feel confident asking—and answering—complex, sophisticated questions of your data, making abstract and raw statistics into actionable ideas.Going through the data science pipeline, you'll clean and prepare data and learn effective data mining strategies and techniques to gain a comprehensive view of how the data science puzzle fits together. You’ll learn fundamentals of computational mathematics and statistics and pseudo-code used by data scientists and analysts. You’ll learn machine learning, discovering statistical models that help control and navigate even the densest datasets, and learn powerful visualizations that communicate what your data means.

Production-Ready Applied Deep Learning. Learn how to construct and deploy complex models in PyTorch and TensorFlow deep learning frameworks

Tomasz Palczewski, Jaejun (Brandon) Lee, Lenin Mookiah

Machine learning engineers, deep learning specialists, and data engineers encounter various problems when moving deep learning models to a production environment. The main objective of this book is to close the gap between theory and applications by providing a thorough explanation of how to transform various models for deployment and efficiently distribute them with a full understanding of the alternatives.First, you will learn how to construct complex deep learning models in PyTorch and TensorFlow. Next, you will acquire the knowledge you need to transform your models from one framework to the other and learn how to tailor them for specific requirements that deployment environments introduce. The book also provides concrete implementations and associated methodologies that will help you apply the knowledge you gain right away. You will get hands-on experience with commonly used deep learning frameworks and popular cloud services designed for data analytics at scale. Additionally, you will get to grips with the authors’ collective knowledge of deploying hundreds of AI-based services at a large scale.By the end of this book, you will have understood how to convert a model developed for proof of concept into a production-ready application optimized for a particular production setting.

Projektowanie baz danych dla każdego. Przewodnik krok po kroku

Michael J. Hernandez

Praktyczny przewodnik dla projektantów baz danych! Dzisiejszy świat opiera się na bazach danych. Są one sercem każdego przedsięwzięcia, począwszy od działalności banku, a na zakupach internetowych skończywszy. Ich projektowanie wymaga nie lada kunsztu, a drobny błąd może doprowadzić do nieoczekiwanych konsekwencji. Dlatego od projektantów baz danych wymaga się ogromnej wiedzy i dokładności, a doświadczenie w tej dziedzinie zdobywa się latami. Dzięki tej książce będziesz w stanie zgłębić tajniki budowy baz danych, podane w przejrzysty, przystępny i rozsądny sposób. W trakcie lektury poznasz rodzaje baz, ich dostępne modele oraz cel ich projektowania. Kolejne rozdziały dotyczą procesu projektowania nowej bazy oraz analizowania baz istniejących. Ponadto dowiesz się z nich, jak istotne jest właściwe określenie kluczy i relacji oraz nałożenie więzów integralności. Szczególną uwagę powinieneś zwrócić na rozdział poświęcony najczęściej popełnianym błędom - jego dokładna lektura pozwoli Ci uniknąć wielu problemów. Książka ta jest obowiązkową lekturą dla wszystkich osób mających styczność z bazami danych w codziennej pracy. Dzięki tej książce: poznasz rodzaje baz danych zorganizujesz proces projektowania bazy nauczysz się analizować strukturę istniejącej bazy unikniesz pułapek poznasz tajniki baz danych Wiedza dotycząca baz danych w pigułce!

Projektowanie baz danych dla każdego. Przewodnik krok po kroku. Wydanie IV

Michael J. Hernandez

Mimo upływu lat relacyjne bazy danych wciąż mają się świetnie! Z każdym rokiem stają się coraz doskonalsze i radzą sobie z coraz większymi zbiorami danych. Wciąż jednak podstawą dobrej aplikacji bazodanowej jest dobry projekt samej bazy. Wielu osobom projektowanie poprawnych struktur bazodanowych wydaje się czymś z pogranicza wyższej matematyki i czarnej magii. Tymczasem zdobycie tej umiejętności jest możliwe bez lat studiowania skomplikowanych teorii matematycznych. Wystarczy przyswoić kluczowe podstawy i nauczyć się korzystać z kilku zdroworozsądkowych koncepcji i teorii. Ta książka jest rocznicowym, przejrzanym i zaktualizowanym wydaniem kultowego podręcznika do samodzielnej nauki projektowania relacyjnych baz danych. Zawarte w nim informacje można wykorzystywać niezależnie od zastosowanego oprogramowania. Przedstawiono tu, jak projektować nowoczesne bazy danych, które mają poprawną strukturę, są niezawodne i ułatwiają wprowadzanie zmian. Opisano wszystkie etapy projektowania: od planowania po definiowanie tabel, pól, kluczy, relacji między tabelami, reguł biznesowych i widoków. Dodatkowo znajdziemy tu praktyczne techniki zwiększania integralności danych, omówienie często popełnianych błędów i wskazówki, kiedy warto łamać zasady. Treść przewodnika wzbogacają pytania kontrolne i rysunki, które bardzo pomagają w jej skutecznym opanowaniu. W książce: typy baz danych, modele i cele projektowe tworzenie tabel i relacji, specyfikacje pól i widoki poziomy integralności danych tworzenie reguł biznesowych perspektywy relacyjnych baz danych Nie ma dobrej bazy danych bez dobrego projektu!

Przewodnik po MongoDB. Wydajna i skalowalna baza danych. Wydanie III

Shannon Bradshaw, Eoin Brazil, Kristina Chodorow

MongoDB jest wieloplatformowym, nierelacyjnym systemem do obsługi baz danych, napisanym w języku C++. Nie przypomina ściśle ustrukturyzowanych relacyjnych baz danych, zamiast tego korzysta z dokumentów w formacie BSON. Ułatwia to bardziej naturalne przetwarzanie informacji w aplikacjach, oczywiście przy zachowaniu możliwości tworzenia hierarchii oraz indeksowania. W ten sposób cały system zyskuje na wydajności, co jest szczególnie istotne przy przetwarzaniu bardzo dużych zbiorów danych. MongoDB umożliwia stosowanie elastycznych modeli danych, uzyskiwanie wysokiego poziomu dostępności i poziome skalowanie. Ten praktyczny przewodnik jest przeznaczony dla użytkowników bazy MongoDB w wersji 4.2. W przystępny i konkretny sposób opisuje zalety stosowania dokumentowych baz danych, równocześnie wskazuje zaawansowane metody konfiguracji systemu oraz możliwe zastosowania w różnych projektach. Książka zainteresuje zarówno użytkowników i administratorów MongoDB, jak i programistów tworzących złożone aplikacje. Przedstawia kwestie tworzenia zapytań, indeksów, agregacji, transakcji, zbiorów replik, zarządzania systemem, shardingu i administrowania danymi, trwałości danych, monitorowania systemu oraz jego zabezpieczenia. Znalazło się tu także wprowadzenie do pracy z MongoDB, omówiono też zasady pracy z klastrem shardów oraz administrowania aplikacją i serwerem bazy MongoDB. W książce między innymi: ogólne zasady pracy z MongoDB operacje zapisu i wyszukiwania oraz tworzenie złożonych zapytań indeksy w kolekcjach, agregowanie danych i transakcje lokalny zbiór replik i korzystanie z replikacji konfiguracja elementów klastra monitorowanie systemu, kopie bezpieczeństwa i odtwarzanie bazy MongoDB MongoDB - przekonaj się na własnym systemie!

Python Data Analysis Cookbook. Clean, scrape, analyze, and visualize data with the power of Python!

Ivan Idris

Data analysis is a rapidly evolving field and Python is a multi-paradigm programming language suitable for object-oriented application development and functional design patterns. As Python offers a range of tools and libraries for all purposes, it has slowly evolved as the primary language for data science, including topics on: data analysis, visualization, and machine learning.Python Data Analysis Cookbook focuses on reproducibility and creating production-ready systems. You will start with recipes that set the foundation for data analysis with libraries such as matplotlib, NumPy, and pandas. You will learn to create visualizations by choosing color maps and palettes then dive into statistical data analysis using distribution algorithms and correlations. You’ll then help you find your way around different data and numerical problems, get to grips with Spark and HDFS, and then set up migration scripts for web mining.In this book, you will dive deeper into recipes on spectral analysis, smoothing, and bootstrapping methods. Moving on, you will learn to rank stocks and check market efficiency, then work with metrics and clusters. You will achieve parallelism to improve system performance by using multiple threads and speeding up your code.By the end of the book, you will be capable of handling various data analysis techniques in Python and devising solutions for problem scenarios.

Python: Data Analytics and Visualization. Perform data processing and analysis with the help of python libraries, gain practical insights into predictive modeling and generate effective results in a variety of visually appealing charts using the plotting packages in Python

Martin Czygan, Phuong Vo.T.H, Ashish Kumar, Kirthi Raman

You will start the course with an introduction to the principles of data analysis and supported libraries, along with NumPy basics for statistics and data processing. Next, you will overview the Pandas package and use its powerful features to solve data-processing problems. Moving on, you will get a brief overview of the Matplotlib API .Next, you will learn to manipulate time and data structures, and load and store data in a file or database using Python packages. You will learn how to apply powerful packages in Python to process raw data into pure and helpful data using examples. You will also get a brief overview of machine learning algorithms, that is, applying data analysis results to make decisions or building helpful products such as recommendations and predictions using Scikit-learn. After this, you will move on to a data analytics specialization—predictive analytics. Social media and IOT have resulted in an avalanche of data. You will get started with predictive analytics using Python. You will see how to create predictive models from data. You will get balanced information on statistical and mathematical concepts, and implement them in Python using libraries such as Pandas, scikit-learn, and NumPy. You’ll learn more about the best predictive modeling algorithms such as Linear Regression, Decision Tree, and Logistic Regression. Finally, you will master best practices in predictive modeling.After this, you will get all the practical guidance you need to help you on the journey to effective data visualization. Starting with a chapter on data frameworks, which explains the transformation of data into information and eventually knowledge, this path subsequently cover the complete visualization process using the most popular Python libraries with working examplesThis Learning Path combines some of the best that Packt has to offer in one complete, curated package. It includes content from the following Packt products:? Getting Started with Python Data Analysis, Phuong Vo.T.H &Martin Czygan•Learning Predictive Analytics with Python, Ashish Kumar•Mastering Python Data Visualization, Kirthi Raman