Big data
Inżynieria danych na platformie AWS. Jak tworzyć kompletne potoki uczenia maszynowego
Chris Fregly, Antje Barth
Platforma Amazon Web Services jest uważana za największą i najbardziej dojrzałą chmurę obliczeniową. Zapewnia bogaty zestaw specjalistycznych narzędzi ułatwiających realizację projektów z zakresu inżynierii danych i uczenia maszynowego. W ten sposób inżynierowie danych, architekci i menedżerowie mogą szybko zacząć używać danych do podejmowania kluczowych decyzji biznesowych. Uzyskanie optymalnej efektywności pracy takich projektów wymaga jednak dobrego rozeznania w możliwościach poszczególnych narzędzi, usług i bibliotek. Dzięki temu praktycznemu przewodnikowi szybko nauczysz się tworzyć i uruchamiać procesy w chmurze, a następnie integrować wyniki z aplikacjami. Zapoznasz się ze scenariuszami stosowania technik sztucznej inteligencji: przetwarzania języka naturalnego, rozpoznawania obrazów, wykrywania oszustw, wyszukiwania kognitywnego czy wykrywania anomalii w czasie rzeczywistym. Ponadto dowiesz się, jak łączyć cykle rozwoju modeli z pobieraniem i analizą danych w powtarzalnych potokach MLOps. W książce znajdziesz też zbiór technik zabezpieczania projektów i procesów z obszaru inżynierii danych, takich jak stosowanie usługi IAM, uwierzytelnianie, autoryzacja, izolacja sieci, szyfrowanie danych w spoczynku czy postkwantowe szyfrowanie sieci dla danych w tranzycie. Najciekawsze zagadnienia: narzędzia AWS związane ze sztuczną inteligencją i z uczeniem maszynowym kompletny cykl rozwoju modelu przetwarzania języka naturalnego powtarzalne potoki MLOps uczenie maszynowe w czasie rzeczywistym wykrywanie anomalii i analiza strumieni danych zabezpieczanie projektów i procesów z obszaru inżynierii danych AWS i inżynieria danych: tak zwiększysz wydajność i obniżysz koszty! Implementowanie solidnego kompletnego procesu uczenia maszynowego to żmudne zadanie, dodatkowo komplikowane przez szeroki zakres dostępnych narzędzi i technologii. Autorzy wykonali świetną robotę, a jej efekty pomogą zarówno nowicjuszom, jak i doświadczonym praktykom realizować to zadanie z wykorzystaniem możliwości, jakie dają usługi AWS Brent Rabowsky, danolog w firmie Amazon Web Services
Inżynieria danych w praktyce. Kluczowe koncepcje i najlepsze technologie
Joe Reis, Matt Housley
Ze względu na gwałtowny rozwój inżynierii danych, jaki nastąpił w ciągu ostatniej dekady, wielu inżynierów oprogramowania, badaczy i analityków danych zaczęło odczuwać potrzebę kompleksowego spojrzenia na tę praktykę. Dzięki tej praktycznej książce zawierającej opis najlepszych technologii dostępnych w ramach frameworka cyklu życia inżynierii danych, dowiesz się, jak planować i budować systemy, które mają zaspokoić potrzeby Twojej organizacji i klientów. Autorzy, Joe Reis i Matt Housley, przeprowadzą Cię przez cykl życia inżynierii danych i pokażą, jak połączyć różne technologie chmurowe, aby spełnić potrzeby konsumentów danych w dolnej części strumienia przetwarzania. Dzięki lekturze tej książki dowiesz się, jak zastosować koncepcje generowania, pozyskiwania, orkiestracji, przekształcania, przechowywania i zarządzania danymi - kluczowe w każdym środowisku danych, niezależnie od wykorzystywanej technologii. Dzięki książce: Uzyskasz zwięzły przegląd całego środowiska inżynierii danych. Nauczysz się oceniać problemy inżynierii danych i stosować kompleksowe frameworki najlepszych praktyk. Dowiesz się jak przebić się przez szum marketingowy i wybrać odpowiednie technologie, architekturę danych i procesy? Nauczysz się wykorzystywać cykl życia inżynierii danych do zaprojektowania i zbudowania solidnej architektury. Poznasz mechanizmy zarządzania danymi i bezpieczeństwa w całym cyklu życia inżynierii danych. "Świat danych ewoluuje już od jakiegoś czasu. Najpierw byli projektanci. Następnie administratorzy baz danych. Potem CIO. Następnie architekci danych. Ta książka sygnalizuje kolejny krok w ewolucji i dojrzałości branży. Jest to lektura obowiązkowa dla każdego, kto uczciwie podchodzi do swojego zawodu i kariery". Bill Inmon, twórca hurtowni danych "Inżynieria danych w praktyce" to świetne wprowadzenie do branży przenoszenia, przetwarzania i obsługi danych. Gorąco polecam ją każdemu, kto chce być na bieżąco z inżynierią danych lub analizą oraz wszystkim osobom zajmującym się danymi, którzy chcą uzupełnić luki w swojej wiedzy". Jordan Tigani, założyciel i dyrektor generalny firmy MotherDuck oraz inżynier-założyciel i współtwórca firmy BigQuery
Cyrille Rossant
Intended to anyone interested in numerical computing and data science: students, researchers, teachers, engineers, analysts, hobbyists... Basic knowledge of Python/NumPy is recommended. Some skills in mathematics will help you understand the theory behind the computational methods.
Cyrille Rossant
Python is one of the leading open source platforms for data science and numerical computing. IPython and the associated Jupyter Notebook offer efficient interfaces to Python for data analysis and interactive visualization, and they constitute an ideal gateway to the platform.IPython Interactive Computing and Visualization Cookbook, Second Edition contains many ready-to-use, focused recipes for high-performance scientific computing and data analysis, from the latest IPython/Jupyter features to the most advanced tricks, to help you write better and faster code. You will apply these state-of-the-art methods to various real-world examples, illustrating topics in applied mathematics, scientific modeling, and machine learning.The first part of the book covers programming techniques: code quality and reproducibility, code optimization, high-performance computing through just-in-time compilation, parallel computing, and graphics card programming. The second part tackles data science, statistics, machine learning, signal and image processing, dynamical systems, and pure and applied mathematics.
Jak analizować dane z biblioteką Pandas. Praktyczne wprowadzenie. Wydanie II
Daniel Y. Chen
Wprawny analityk potrafi się posługiwać zbiorami danych o wysokiej dynamice i różnorodności. Działanie to ułatwia biblioteka open source Pandas, która pozwala, przy użyciu języka Python, zrealizować niemal każde zadanie wymagające analizy danych. Pandas może pomóc w zapewnieniu wiarygodności danych, wizualizowaniu ich pod kątem efektywnego podejmowania decyzji i analizowaniu wielu zbiorów danych. Oto drugie, zaktualizowane i uzupełnione wydanie przewodnika po bibliotece Pandas. Dzięki tej przystępnej książce nauczysz się w pełni korzystać z możliwości oferowanych przez bibliotekę, nawet jeśli dopiero zaczynasz przygodę z analizą danych w Pythonie. Naukę rozpoczniesz z użyciem rzeczywistego zbioru danych, aby wkrótce rozwiązywać złożone problemy danologii, takie jak obsługa brakujących danych, stosowanie regularyzacji czy też używanie metod nienadzorowanego uczenia maszynowego do odnajdywania podstawowej struktury w zbiorze danych. Pracę z poszczególnymi zagadnieniami ułatwia to, że zostały one zilustrowane prostymi, ale praktycznymi przykładami. W książce: importowanie i eksportowanie danych, przygotowywanie ich zbiorów tworzenie wykresów za pomocą bibliotek matplotlib, seaborn i Pandas konwersja typów danych skalowanie operacji przetwarzania danych zaawansowane możliwości biblioteki Pandas powiązane z datami i czasem dopasowywanie modeli liniowych przy użyciu bibliotek statsmodels i scikit-learn Analizuj zbiory danych i odkrywaj ukrytą w nich wiedzę!
Jak projektować systemy uczenia maszynowego. Iteracyjne tworzenie aplikacji gotowych do pracy
Chip Huyen
Systemy uczenia maszynowego (ML) charakteryzują się złożonością i unikatowością. Zmiana w jednym z wielu komponentów może istotnie wpłynąć na całość. Zastosowane w modelach dane diametralnie różnią się od siebie w poszczególnych przypadkach użycia. To wszystko sprawia, że bardzo trudno jest stworzyć taki system, jeśli każdy komponent zostaje zaprojektowany oddzielnie. Aby zbudować aplikację korzystającą z ML i nadającą się do wdrożenia w środowisku produkcyjnym, konieczne jest podejmowanie decyzji projektowych z uwzględnieniem cech systemu jako całości. To książka przeznaczona dla inżynierów, którzy chcą stosować systemy uczenia maszynowego do rozwiązywania rzeczywistych problemów biznesowych. Zaprezentowano w niej systemy ML używane w szybko rozwijających się startupach, a także przedstawiono holistyczne podejście do ich projektowania ― z uwzględnieniem różnych komponentów systemu i celów osób zaangażowanych w proces. Dużo uwagi poświęcono analizie decyzji projektowych, dotyczących między innymi sposobu tworzenia i przetwarzania danych treningowych, wyboru wskaźników, częstotliwości ponownego treningu modelu czy techniki monitorowania pracy aplikacji. Zaprezentowana tu koncepcja iteracyjna natomiast pozwala na uzyskanie pewności, że podejmowane decyzje są optymalne z punktu widzenia pracy całości systemu. Co ważne, poszczególne zagadnienia zostały zilustrowane rzeczywistymi studiami przypadków. W książce między innymi: wybór wskaźników właściwych dla danego problemu biznesowego automatyzacja ciągłego rozwoju, ewaluacji, wdrażania i aktualizacji modeli szybkie wykrywanie i rozwiązywanie problemów podczas wdrożenia produkcyjnego tworzenie wszechstronnej platformy ML odpowiedzialne tworzenie systemów ML Wdrażaj i skaluj modele tak, aby uzyskiwać najlepsze wyniki!
Jak sztuczna inteligencja zmieni twoje życie
Marek Tłuczek
Poznaj podstawy i zastosowania sztucznej inteligencji Odkryj niesamowity świat AI Dowiedz się, jak powstała Zrozum, dokąd zmierza Sztuczna inteligencja staje się powoli nieodzownym składnikiem naszego życia. Przeszła długą drogę od modnego hasła pojawiającego się głównie w specjalistycznych publikacjach do technologii mającej realny wpływ na naszą codzienność. Z każdym dniem lepiej radzi sobie z coraz bardziej zaawansowanymi zadaniami, już nie tylko wygrywając mecze z arcymistrzami szachowymi, lecz również analizując ogromne zbiory danych, tłumacząc teksty, prowadząc samochody, rozpoznając ludzką mowę, przetwarzając obrazy, a nawet komponując muzykę i tworząc dzieła malarskie. Aby dogłębnie poznać szczegóły techniczne stojące za AI, trzeba dysponować pewną wiedzą informatyczną i sprawnie posługiwać się odpowiednim aparatem matematycznym. Na szczęście aby wkroczyć w świat sztucznej inteligencji i dowiedzieć się, co można dzięki niej zyskać, nie jest niezbędna żadna magia, wystarczy właściwy przewodnik! Jeśli chcesz to zrobić, dobrze trafiłeś! Ta publikacja pokaże Ci najciekawsze zastosowania AI i pomoże zrozumieć sposób działania tej technologii, a także spróbuje odpowiedzieć na pytanie, kiedy przekroczy ograniczenia swoich twórców. Być może zamierzasz zostać specjalistą od sztucznej inteligencji lub po prostu chcesz poznać podstawy tego zagadnienia. Jeśli tak, zrób pierwszy krok w tym kierunku! Historia sztucznej inteligencji Porównanie AI i ludzkiego mózgu Prawdopodobne scenariusze rozwoju AI Wykorzystanie AI w grach logicznych Rozpoznawanie mowy, języka pisanego i obrazu Medyczne zastosowania sztucznej inteligencji Wykorzystanie AI w autonomicznym transporcie Zagrożenia związane ze sztuczną inteligencją Nie czekaj! Już dziś poznaj technologię przyszłości! O książce i Autorze w mediach: Faktyczny Dom Kultury: Jak sztuczna inteligencja zmieni Twoje życie? Rozmowa Marka Tłuczka z Kamilem Bałukiem Radio Nowy Świat: Wywiad z autorem - prowadząca Katarzyna Kasia
Java Data Analysis. Data mining, big data analysis, NoSQL, and data visualization
John R. Hubbard
Data analysis is a process of inspecting, cleansing, transforming, and modeling data with the aim of discovering useful information. Java is one of the most popular languages to perform your data analysis tasks.This book will help you learn the tools and techniques in Java to conduct data analysis without any hassle. After getting a quick overview of what data science is and the steps involved in the process, you’ll learn the statistical data analysis techniques and implement them using the popular Java APIs and libraries. Through practical examples, you will also learn the machine learning concepts such as classification and regression. In the process, you’ll familiarize yourself with tools such as Rapidminer and WEKA and see how these Java-based tools can be used effectively for analysis. You will also learn how to analyze text and other types of multimedia. Learn to work with relational, NoSQL, and time-series data. This book will also show you how you can utilize different Java-based libraries to create insightful and easy to understand plots and graphs.By the end of this book, you will have a solid understanding of the various data analysis techniques, and how to implement them using Java.
Java Data Science Cookbook. Explore the power of MLlib, DL4j, Weka, and more
Rushdi Shams
If you are looking to build data sciencemodels that are good for production,Java has come to the rescue. With the aidof strong libraries such as MLlib, Weka,DL4j, and more, you can efficientlyperform all the data science tasks youneed to.This unique book provides modernrecipes to solve your common andnot-so-common data science-relatedproblems. We start with recipes to helpyou obtain, clean, index, and search data.Then you will learn a variety of techniquesto analyze, learn from, and retrieveinformation from data. You will alsounderstand how to handle big data, learndeeply from data, and visualize data.Finally, you will work through uniquerecipes that solve your problems whiletaking data science to production, writingdistributed data science applications,and much more - things that will come inhandy at work.
Java: Data Science Made Easy. Data collection, processing, analysis, and more
Richard M. Reese, Jennifer L. Reese, Alexey...
Data science is concerned with extracting knowledge and insights from a wide variety of data sources to analyse patterns or predict future behaviour. It draws from a wide array of disciplines including statistics, computer science, mathematics, machine learning, and data mining. In this course, we cover the basic as well as advanced data science concepts and how they are implemented using the popular Java tools and libraries.The course starts with an introduction of data science, followed by the basic data science tasks of data collection, data cleaning, data analysis, and data visualization. This is followed by a discussion of statistical techniques and more advanced topics including machine learning, neural networks, and deep learning. You will examine the major categories of data analysis including text, visual, and audio data, followed by a discussion of resources that support parallel implementation. Throughout this course, the chapters will illustrate a challenging data science problem, and then go on to present a comprehensive, Java-based solution to tackle that problem. You will cover a wide range of topics – from classification and regression, to dimensionality reduction and clustering, deep learning and working with Big Data. Finally, you will see the different ways to deploy the model and evaluate it in production settings.By the end of this course, you will be up and running with various facets of data science using Java, in no time at all.This course contains premium content from two of our recently published popular titles:- Java for Data Science- Mastering Java for Data Science
Rahul Raj
Java is one of the most widely used programming languages in the world. With this book, you will see how to perform deep learning using Deeplearning4j (DL4J) – the most popular Java library for training neural networks efficiently.This book starts by showing you how to install and configure Java and DL4J on your system. You will then gain insights into deep learning basics and use your knowledge to create a deep neural network for binary classification from scratch. As you progress, you will discover how to build a convolutional neural network (CNN) in DL4J, and understand how to construct numeric vectors from text. This deep learning book will also guide you through performing anomaly detection on unsupervised data and help you set up neural networks in distributed systems effectively. In addition to this, you will learn how to import models from Keras and change the configuration in a pre-trained DL4J model. Finally, you will explore benchmarking in DL4J and optimize neural networks for optimal results.By the end of this book, you will have a clear understanding of how you can use DL4J to build robust deep learning applications in Java.
Rahul Raj
Java is one of the most widely used programming languages in the world. With this book, you will see how to perform deep learning using Deeplearning4j (DL4J) – the most popular Java library for training neural networks efficiently.This book starts by showing you how to install and configure Java and DL4J on your system. You will then gain insights into deep learning basics and use your knowledge to create a deep neural network for binary classification from scratch. As you progress, you will discover how to build a convolutional neural network (CNN) in DL4J, and understand how to construct numeric vectors from text. This deep learning book will also guide you through performing anomaly detection on unsupervised data and help you set up neural networks in distributed systems effectively. In addition to this, you will learn how to import models from Keras and change the configuration in a pre-trained DL4J model. Finally, you will explore benchmarking in DL4J and optimize neural networks for optimal results.By the end of this book, you will have a clear understanding of how you can use DL4J to build robust deep learning applications in Java.
Md. Rezaul Karim
Java is one of the most widely used programming languages. With the rise of deep learning, it has become a popular choice of tool among data scientists and machine learning experts.Java Deep Learning Projects starts with an overview of deep learning concepts and then delves into advanced projects. You will see how to build several projects using different deep neural network architectures such as multilayer perceptrons, Deep Belief Networks, CNN, LSTM, and Factorization Machines.You will get acquainted with popular deep and machine learning libraries for Java such as Deeplearning4j, Spark ML, and RankSys and you’ll be able to use their features to build and deploy projects on distributed computing environments.You will then explore advanced domains such as transfer learning and deep reinforcement learning using the Java ecosystem, covering various real-world domains such as healthcare, NLP, image classification, and multimedia analytics with an easy-to-follow approach. Expert reviews and tips will follow every project to give you insights and hacks.By the end of this book, you will have stepped up your expertise when it comes to deep learning in Java, taking it beyond theory and be able to build your own advanced deep learning systems.
Richard M. Reese , Shilpi Saxena, Jennifer...
para 1: Get the lowdown on Java and explore big data analytics with Java for Data Science. Packed with examples and data science principles, this book uncovers the techniques & Java tools supporting data science and machine learning. Para 2: The stability and power of Java combines with key data science concepts for effective exploration of data. By working with Java APIs and techniques, this data science book allows you to build applications and use analysis techniques centred on machine learning. Para 3: Java for Data Science gives you the understanding you need to examine the techniques and Java tools supporting big data analytics. These Java-based approaches allow you to tackle data mining and statistical analysis in detail. Deep learning and Java data mining are also featured, so you can explore and analyse data effectively, and build intelligent applications using machine learning. para 4: What?s Inside ? Understand data science principles with Java support ? Discover machine learning and deep learning essentials ? Explore data science problems with Java-based solutions
Język R i analiza danych w praktyce. Wydanie II
Nina Zumel, John Mount
Analiza danych albo nauka o danych jest interdyscyplinarną dziedziną, dzięki której hipotezy i dane przekształca się w zrozumiałe przewidywania. Predykcyjna analiza danych przynosi wymierne korzyści w wielu dziedzinach, od polityki począwszy, a na udzielaniu kredytów skończywszy. Osobą odpowiedzialną za tę magię jest analityk danych - człowiek, który zbiera i przygotowuje dane, wybiera technikę modelowania, pisze kod, weryfikuje wyniki swojej pracy, wreszcie komunikuje je interesariuszom. Jak widać, profesja analityka danych jest wyjątkowo atrakcyjna i wyjątkowo wymagająca. Aby określić umiejętności praktyczne wymagane w zawodzie analityka danych, najlepiej prześledzić realizacje konkretnych projektów z wykorzystaniem rzeczywistych danych. Ta książka jest samouczkiem prezentującym praktyczne aspekty dziesiątek technik, które wykorzystują profesjonalni analitycy danych. Główny nacisk autorzy położyli na zadania: ich zaplanowanie, przygotowanie, realizację i prezentację wyników. Dzięki praktycznemu podejściu z tej pozycji skorzystają zarówno analitycy biznesowi, jak i badacze danych. Pokazano tu, w jakich przypadkach i w jaki sposób należy stosować techniki statystyczne oraz metody uczenia maszynowego. W każdym rozdziale omówiono nowe narzędzia w kontekście rzeczywistych, praktycznych projektów. W rezultacie powstał potężny zbiór przydatnych ćwiczeń napisanych w języku R, opatrzonych wartościowymi wskazówkami, komentarzami i podpowiedziami. W książce między innymi: zasady zarządzania procesem analizy danych zadania analityka danych przekształcanie danych w celu przygotowania ich do analizy techniki statystyczne i metody uczenia maszynowego w języku R zaawansowane metody modelowania tajniki skutecznego prezentowania wyników analiz R: jesteś gotów na właściwe wyniki analizy danych?
Język R. Kompletny zestaw narzędzi dla analityków danych
Hadley Wickham, Garrett Grolemund
Analiza danych jest stosunkowo młodą, interdyscyplinarną dziedziną, której celem jest wydobycie i wykorzystanie wiedzy ukrytej w surowych danych pozyskanych z różnych źródeł. Można w ten sposób zrozumieć istotę zjawisk, przewidzieć wystąpienie zdarzeń czy pozyskać informacje niedostępne w inny sposób. W wielu przypadkach wnioski wyciągnięte z analizy danych okazują się bezcenne, co doceniają profesjonaliści z licznych branż. Przygotowanie danych, przeanalizowanie ich i odpowiednie przedstawienie płynącej z nich wiedzy bywa sporym wyzwaniem, jednak dzięki takim narzędziom jak język R i związane z nim pakiety zadanie to staje się znacząco prostsze. Niniejsza książka jest przystępnie napisanym przewodnikiem po języku R i narzędziach służących do analizy danych. Zawarto tu wyczerpujące wprowadzenie do języka R, programu RStudio i tidyverse. Zaprezentowano zestaw pakietów R, które znacznie poprawiają komfort pracy podczas analizy danych. Wyjaśniono znaczenie poszczególnych etapów analizy danych: ich importowania, oczyszczania, przekształcania, modelowania, wizualizowania, a także skutecznego komunikowania wiedzy płynącej z danych. Mimo że książka dotyczy narzędzi programistycznych, skorzystają z niej nie tylko programiści. Doceni ją każdy, kto chce zyskać solidne podstawy przygotowania i analizy danych. Najważniejsze zagadnienia: przekształcanie zbiorów danych techniki analizy danych w języku R eksplorowanie danych, formułowanie i testowanie hipotez integracja opisów, kodu i wyników badań w języku R Markdown graficzna prezentacja danych z wykorzystaniem ggplot2 R — wszystko, czego potrzebujesz w profesjonalnej analizie danych!
Język R. Receptury. Analiza danych, statystyka i przetwarzanie grafiki. Wydanie II
JD Long, Paul Teetor
Język R jest potężnym narzędziem używanym w statystyce, przetwarzaniu grafiki i programowaniu statystycznym; stanowi konkurencję dla komercyjnych systemów do obliczeń tego rodzaju. Zawiera wszystkie narzędzia, których potrzebują statystycy. Równocześnie jest to specyficzny język, przez co jego użytkowanie może sprawiać problemy. Zarówno proste, jak i złożone zadania są łatwe do wykonania, jeśli tylko wiadomo, w jaki sposób je zrobić. Jeżeli jednak trzeba stopniowo dochodzić do właściwego rozwiązania, może to kosztować sporo cierpliwości i zniechęcać. Oto zbiór 275 receptur instruktażowych, z których każda pomaga w rozwiązaniu konkretnego problemu. Wszystkie zostały starannie przetestowane i wielokrotnie dowodziły swojej przydatności. Każda z omawianych receptur została poprzedzona krótkim wprowadzeniem i omówieniem zastosowanych mechanizmów działania. Nie jest to klasyczny podręcznik programowania, jednak z pewnością przyśpieszy naukę praktycznego wykorzystania możliwości R. Jeśli masz już pewne doświadczenie z tym językiem, odświeżysz swoją wiedzę i uzyskasz szerszą perspektywę. Wśród receptur znajdziesz obejmujące szeroki zakres zadania - od podstawowych operacji na danych wejściowych i wyjściowych, poprzez statystykę ogólną, aż po grafikę i regresję liniową. Dowiesz się również, jak wykorzystać język R do wizualizacji danych za pomocą ciekawych wykresów graficznych. W tej książce między innymi: przygotowywanie danych wejściowych i upraszczanie danych wyjściowych macierze, listy, wektory czynnikowe, ramki danych testy statystyczne, przedziały ufności, prawdopodobieństwa modele statystyczne z wykorzystaniem regresji liniowej i analizy wariancji stosowanie zaawansowanych technik statystycznych R: błyskawicznie osiągniesz znakomite wyniki!