Big data
Algorytmy uczenia maszynowego. Zaawansowane techniki implementacji
Giuseppe Bonaccorso
Imponujący rozwój standardowych algorytmów przy ciągłej obniżce cen sprzętu i udostępnianiu coraz to szybszych komponentów przyczynił się do zrewolucjonizowania wielu gałęzi przemysłu. Obecnie uczenie maszynowe pozwala automatyzować procesy, które do niedawna musiały być zarządzane przez człowieka. Zadania, które jeszcze dekadę temu stanowiły nieprzekraczalną przeszkodę, dziś są wykonywane przez zwykły komputer osobisty. W efekcie dzięki technologii oraz dostępnym wysokopoziomowym otwartym platformom każdy, kto zainteresuje się uczeniem maszynowym, może projektować i wdrażać niezwykle potężne modele. Celem tej książki jest przybliżenie profesjonalistom tajników złożonych algorytmów uczenia maszynowego i zasad ich stosowania w praktyce. Poza praktycznymi informacjami dotyczącymi działania algorytmów i ich wdrożeń znalazły się tu również niezbędne podstawy teoretyczne. Opisano klasyczne modele uczenia nadzorowanego, nienadzorowanego i półnadzorowanego. Wskazano, w jakich sytuacjach okazują się one najbardziej przydatne. Zaprezentowano techniki wydobywania danych za pomocą modeli bayesowskich, algorytmu MCMC, a także dzięki stosowaniu ukrytych modeli Markowa. Omówiono zestaw przydatnych do uczenia maszynowego narzędzi, takich jak biblioteki: scikit-learn, Keras i TensorFlow. Najciekawsze zagadnienia: najważniejsze koncepcje teoretyczne uczenia maszynowego modelowanie probabilistyczne i uczenie hebbowskie zaawansowane koncepcje modeli neuronowych modele generatywne, takie jak splotowe sieci GAN i sieci Wassersteina głębokie sieci przekonań zaawansowane algorytmy: TD(tylda), aktor-krytyk, SARSA i Q-uczenie Uczenie maszynowe - już dziś zaimplementuj rozwiązania przyszłości!
Alberto Guisande
Alteryx allows you to create data manipulation and analytic workflows with a simple, easy-to-use, code-free UI, and perform fast-executing workflows, offering multiple ways to achieve the same results. The Alteryx Designer Cookbook is a comprehensive guide to maximizing your Alteryx skills and determining the best ways to perform data operationsThis book's recipes will guide you through an analyst's complete journey, covering all aspects of the data life cycle. The first set of chapters will teach you how to read data from various sources to obtain reports and pass it through the required adjustment operations for analysis. After an explanation of the Alteryx platform components with a particular focus on Alteryx Designer, you’ll be taken on a tour of what and how you can accomplish by using this tool. Along the way, you’ll learn best practices and design patterns. The book also covers real-world examples to help you apply your understanding of the features in Alteryx to practical scenariosBy the end of this book, you’ll have enhanced your proficiency with Alteryx Designer and an improved ability to execute tasks within the tool efficiently
Amazon Redshift Cookbook. Recipes for building modern data warehousing solutions
Shruti Worlikar, Thiyagarajan Arumugam, Harshida Patel
Amazon Redshift is a fully managed, petabyte-scale AWS cloud data warehousing service. It enables you to build new data warehouse workloads on AWS and migrate on-premises traditional data warehousing platforms to Redshift.This book on Amazon Redshift starts by focusing on Redshift architecture, showing you how to perform database administration tasks on Redshift. You'll then learn how to optimize your data warehouse to quickly execute complex analytic queries against very large datasets. Because of the massive amount of data involved in data warehousing, designing your database for analytical processing lets you take full advantage of Redshift's columnar architecture and managed services. As you advance, you’ll discover how to deploy fully automated and highly scalable extract, transform, and load (ETL) processes, which help minimize the operational efforts that you have to invest in managing regular ETL pipelines and ensure the timely and accurate refreshing of your data warehouse. Finally, you'll gain a clear understanding of Redshift use cases, data ingestion, data management, security, and scaling so that you can build a scalable data warehouse platform.By the end of this Redshift book, you'll be able to implement a Redshift-based data analytics solution and have understood the best practice solutions to commonly faced problems.
Analityk danych. Przewodnik po data science, statystyce i uczeniu maszynowym
Alex J. Gutman, Jordan Goldmeier
Musisz spojrzeć prawdzie w oczy: epoka danych to nie tylko imponujące możliwości, ale również obietnice bez pokrycia. Firmy wdrażają rozwiązania, które mają je wyręczać w podejmowaniu decyzji. Menedżerowie zatrudniają analityków, którzy nimi nie są. Specjaliści w dziedzinie data science są zatrudniani w organizacjach, które nie są na nich gotowe. Dyrektorzy wysłuchują technicznego żargonu i udają, że go rozumieją. Efekt? Pieniądze idą w błoto. Oto praktyczny przewodnik po nauce o danych w miejscu pracy. Dowiesz się stąd wszystkiego, co ważne na początku Twojej drogi jako danologa: od osobowości, z którymi przyjdzie Ci pracować, przez detale analizy danych, po matematykę stojącą za algorytmami i uczeniem maszynowym. Nauczysz się myśleć krytycznie o danych i otrzymanych wynikach, będziesz też inteligentnie o tym mówić. Jednym zdaniem: zrozumiesz dane i związane z nimi wyzwania na głębszym, profesjonalnym poziomie. To książka dla każdego, kto chce przestawić firmę na tory data science. Eric Weber, kierownik ds. eksperymentów i badań metrycznych, Yelp Naucz się: myśleć statystycznie i rozumieć rolę zmienności w podejmowaniu decyzji zadawać właściwe pytania na temat statystyk i wyników analiz sensownie korzystać z rozwiązań uczenia maszynowego i sztucznej inteligencji unikać typowych błędów podczas pracy z danymi i ich interpretowania Data science? Odsiejesz piasek od złota!
Tobias Zwingman
Wykorzystaj analizy biznesowe i sztuczną inteligencję, aby napędzać rozwój przedsiębiorstwa, podnosić wydajność i ulepszać podejmowanie decyzji biznesowych. Dzięki tej praktycznej książce z rzeczywistymi przykładami wykorzystującymi Power BI można poznać najbardziej odpowiednie przypadki użycia AI w rozwiązaniach BI, w tym ulepszone prognozowanie, zautomatyzowaną klasyfikację i zalecenia wspomagane przez AI. Ponadto nauczysz się, jak wydobywać spostrzeżenia z niestrukturalnych źródeł danych, takich jak dokumenty tekstowe lub pliki obrazów. Tobias Zwingmann pomaga profesjonalistom BI, analitykom biznesowym i specjalistom od danych rozpoznać obszary, w których sztuczna inteligencja ma szczególnie istotny wpływ. Dowiedz się, jak wykorzystać popularne platformy AI jako usługi oraz AutoML, aby tworzyć dowody koncepcji klasy korporacyjnej bez pomocy inżynierów oprogramowania lub danetyków. - Wykorzystaj AI, aby napędzać wpływ na biznes w środowiskach BI - Używaj AutoML do automatycznego klasyfikowania i lepszego prognozowania - Wdrażaj usługi rekomendacji jako pomoc w podejmowaniu decyzji - Wydobywaj spostrzeżenia z wielkoskalowych danych tekstowych za pomocą przetwarzania języka naturalnego - Wyodrębniaj informacje z dokumentów i obrazów, wykorzystując widzenie komputerowe - Buduj interaktywne interfejsy użytkownika dla tablic kontrolnych wspomaganych przez AI - Implementuj kompletne studia przypadków w celu budowania tablic analitycznych zasilanych przez AI "Po 15 latach spędzonych w świecie danych książka ta wywróciła do góry nogami mój ogląd klasycznego rozwiązania BI. Jest doskonale zaprojektowana i skonstruowana. Szkoda, że nie miałem takiej książki dużo wcześniej." -Kai Aschenbach Szef działu narzędzi BI, HDI Global SE "Analityka biznesowa wspomagana sztuczną inteligencją to książka niezbędna dla każdego, kto chce zrozumieć, jak można usprawnić analizy biznesowe za pomocą AI." -Ram Kumar Główny specjalista d/s danych i analityki, Cigna Tobias Zwingmann jest doświadczonym danetykiem z solidnymi podstawami biznesowymi. Jest współtwórcą niemieckiego startupu RAPYD.AI, którego misją jest pomoc w adaptowaniu uczenia maszynowego i sztucznej inteligencji przez firmy z szybszym uzyskiwaniem korzyści biznesowych.
Analityka rozszerzona. Automatyzacja i sztuczna inteligencja w podejmowaniu decyzji
Willi Weber, Tobias Zwingmann
Niepowodzenia biznesowe można różnie tłumaczyć, jeśli jednak od szukania wymówek wolisz zapewnić sukces swojej firmie, przemyśl sposób, w jaki korzystasz z analizy danych. Poprzez rozszerzenie możliwości i poprawę jakości analiz otworzysz sobie drzwi do podejmowania najbardziej racjonalnych decyzji - decyzji opartych na wnioskach. W tej książce znajdziesz przejrzystą, praktyczną i kompletną ścieżkę, która doprowadzi Twoją firmę do analitycznej doskonałości! Dzięki lekturze zdobędziesz wiedzę potrzebną do skutecznego wykorzystywania informacji w realizacji celów biznesowych. Jeśli dostrzegasz ograniczenia tradycyjnych metod interpretacji danych, docenisz opisaną tu dynamiczną i realistyczną strategię zwiększania możliwości analitycznych. Dowiesz się, jak wprowadzić inteligentną automatyzację i nowoczesną sztuczną inteligencję, co umożliwi podejmowanie lepszych decyzji w Twoim zespole. Najważniejsze zagadnienia: rozszerzona analityka, jej zalety i potencjalne ograniczenia najlepsze praktyki w dziedzinie implementacji rozszerzonej analityki w firmie role analityczne, przepływy pracy, potrzebne narzędzia i umiejętności korzystanie z danych, a także budowanie zaufania i dostępności analiza przypadków posłużenia się rozszerzoną analityką jako czynnikiem wspierającym Oto drogowskaz dla organizacji, która chce bazować na danych w erze sztucznej inteligencji! Donald Farmer, właściciel firmy TreeHive Strategy
Analiza danych behawioralnych przy użyciu języków R i Python
Florent Buisson
Wykorzystanie danych zorientowanych na użytkownika w celu uzyskania realnych wyników biznesowych Dzięki tej książce Czytelnik będzie mógł wykorzystać w swojej firmie pełną moc danych behawioralnych używając w tym celu wyspecjalizowanych narzędzi. Algorytmy często stosowane w danologii, a także programy służące do analizy predykcyjnej traktują jak zwykłe informacje dane behawioralne wygenerowane przez użytkowników, takie jak kliknięcia na stronie internetowej czy zakupy w supermarkecie. Ten praktyczny przewodnik zawiera opisy skutecznych metod, zaprojektowanych specjalnie w celu przeprowadzania analiz danych behawioralnych. Zaawansowana architektura umożliwiająca wykonywanie eksperymentów pomaga w pełni wykorzystać testy A/B. Diagramy przyczynowe pozwalają poznać przyczyny zachowań nawet w przypadku, gdy nie można przeprowadzać eksperymentów. Ta praktyczna książka, napisana przystępnym stylem i przeznaczona dla osób zajmujących się danymi, analityków biznesowych oraz behawiorystów, zawiera kompletne przykłady, a także ćwiczenia wykorzystujące języki R i Python, pozwalające od razu uzyskać lepszy wgląd w dane. Zagadnienia przeanalizowane w książce: - Poznanie specyfiki danych behawioralnych. - Przedstawienie różnic pomiędzy pomiarami a prognozami. - Wyjaśnienie, jak można oczyścić i przygotować dane behawioralne. - Zaprojektowanie i przeanalizowanie eksperymentów umożliwiających podejmowanie optymalnych decyzji biznesowych. - Wykorzystanie danych behawioralnych w celu zrozumienia i określenia przyczyny oraz skutku. - Zaprezentowanie kompleksowej metody pozwalającej na uzyskanie przejrzystego podziału klientów na grupy. "Ta książka jest wyjątkowa, ponieważ rozpoczyna się od przedstawienia pytań i problemów, a także wykorzystuje w postaci prawdziwych narzędzi odpowiednie techniki i języki programowania. Dzięki temu Czytelnicy poznają, jak można rozwiązywać niezwykle ważne i trudne zagadnienia. Czas poświęcony na jej przeczytanie będzie czystą inwestycją." -Eric Weber Kierownik Działu Eksperymentów, Yelp Florent Buisson jest ekonomistą behawioralnym z 10-letnim doświadczeniem związanych z biznesem, analityką i naukami behawioralnymi. W firmie ubezpieczeniowej Allstate założył zespół specjalizujący się w naukach behawioralnych i pełnił funkcję jego szefa przez cztery lata. Publikował artykuły naukowe w czasopismach takich jak recenzowany Journal of Real Estate Research. Posiada tytuł magistra ekonometrii oraz doktorat z ekonomii behawioralnej, uzyskany na uniwersytecie Sorbona w Paryżu.
Analiza danych w biznesie. Sztuka podejmowania skutecznych decyzji
Foster Provost, Tom Fawcett
Wyciągaj trafne wnioski! Posiadanie zbiorów danych to połowa sukcesu. Druga połowa to umiejętność ich skutecznej analizy i wyciągania wniosków! Dopiero na tej podstawie będziesz w stanie właściwie ocenić kondycję Twojej firmy oraz podjąć słuszne decyzje. Wiedza zawarta w tej książce może zadecydować o sukcesie biznesowym lub porażce. Nie ryzykuj i sięgnij po to doskonałe źródło wiedzy, poświęcone nauce o danych. To unikalny podręcznik, który pomoże Ci sprawnie opanować nawet najtrudniejsze zagadnienia związane z analizą danych. Dowiedz się, jak zbudowany jest proces eksploracji danych, z jakich narzędzi możesz skorzystać oraz jak stworzyć model predykcyjny i dopasować go do danych. W kolejnych rozdziałach przeczytasz o tym, czym grozi nadmierne dopasowanie modelu i jak go unikać oraz jak wyciągać wnioski metodą najbliższych sąsiadów. Na koniec zaznajomisz się z możliwościami wizualizacji skuteczności modelu oraz odkryjesz związek pomiędzy nauką o danych a strategią biznesową. To obowiązkowa lektura dla wszystkich osób chcących podejmować świadome decyzje na podstawie posiadanych danych! Dzięki tej książce: poznasz model predykcyjny dowiesz się, jak dopasować model do danych zwizualizujesz skuteczność zbudowanego modelu zwiększysz swoje szanse na osiągnięcie sukcesu biznesowego! Przeanalizuj posiadane dane i podejmij trafne decyzje!
Analiza i prezentacja danych w Microsoft Excel. Vademecum Walkenbacha
Michael Alexander, John Walkenbach
Wykorzystaj możliwości Excela w zarządzaniu! Co to są pulpity menedżerskie? Jak efektownie zaprezentować najważniejsze informacje? Jak zautomatyzować tworzenie raportów? Excel to niezastąpione narzędzie, jeżeli musisz przetworzyć setki, tysiące, a nawet miliony danych. Od wielu lat obecny na rynku, program ten dzięki intuicyjnemu interfejsowi użytkownika, ogromnym możliwościom oraz rozsądnej cenie zdobył popularność w zasadzie w każdym środowisku - począwszy od akademickiego, a skończywszy na menedżerach i prezesach. Ta książka przeznaczona jest dla tej drugiej grupy. Ciągły napływ nowych informacji w świecie biznesu sprawia, że są one trudne do ogarnięcia. Z pomocą przychodzą pulpity menedżerskie! Dzięki tej książce dowiesz się, jak je stworzyć oraz wyłuskać najistotniejsze informacje z morza danych. W trakcie lektury nauczysz się analizować i przedstawiać w użytecznej formie dostępne dane, korzystać z metod szybkiej prezentacji oraz automatyzować procesy raportowania i tworzyć przyciągające wzrok prezentacje. Ponadto biegle opanujesz korzystanie z tabel i wykresów przestawnych oraz tworzenie zaawansowanych komponentów do prezentacji tendencji czy oceny efektywności realizacji celów. Jest to idealna książka dla każdego menedżera tonącego w gąszczu danych! Definicja pulpitów menedżerskich Określanie wymagań użytkowników Zasady projektowania pulpitów menedżerskich Projektowanie modelu danych Wykresy w programie Microsoft Excel Wykorzystanie tabel przestawnych Tworzenie wykresów przestawnych Wykresy przebiegu w czasie Inne techniki wizualizacji danych Tworzenie komponentów do prezentacji tendencji i grupowania danych Prezentacja efektywności realizacji celów Wykorzystanie makr w raportach Dodawanie interaktywnych kontrolek do pulpitu menedżerskiego Importowanie danych z Microsoft Access Metody bezpiecznego współdzielenia danych Uporządkuj i efektownie zaprezentuj najważniejsze informacje!
Analiza i prezentacja danych w Microsoft Excel. Vademecum Walkenbacha. Wydanie II
John Walkenbach, Michael Alexander
Wykorzystaj możliwości Excela w zarządzaniu! Jeżeli masz przed sobą setki, a może tysiące lub miliony danych, z których chcesz wyciągnąć celne wnioski, potrzebujesz narzędzia, które pomoże Ci to ogarnąć. Mowa oczywiście o Excelu. Nieważne, kim jesteś - studentem, księgowym, menedżerem czy prezesem - na 100% docenisz drzemiący w nim potencjał! Dzięki tej książce dowiesz się, jak wyłuskać najistotniejsze informacje z morza danych. W trakcie lektury nauczysz się błyskawicznie przygotowywać raporty oraz prezentacje. Przekonasz się, że tabele przestawne wcale nie muszą być takie straszne, oraz zobaczysz najlepsze techniki prezentacji tendencji czy oceny efektywności w realizacji celów. Kolejne wydanie książki zostało zaktualizowane, ulepszone i rozszerzone o mnóstwo nowych, przydatnych wiadomości. Dowiesz się, jak importować dane z bazy SQL Server oraz jak wykorzystać możliwości dodatku Power View. Książka ta jest idealną pozycją dla tonących w gąszczu danych! Dzięki tej książce: poznasz narzędzia Excela w zakresie analizy i prezentacji danych opanujesz najlepsze techniki projektowania tabel przygotujesz czytelne raporty wykorzystasz w pełni możliwości Excela Uratuj się z morza danych!
Analiza marketingowa. Praktyczne techniki z wykorzystaniem analizy danych i narzędzi Excela
Wayne L. Winston
Specjaliści w dziedzinie marketingu coraz częściej sięgają po wyrafinowane metody analizy. Obecnie firmy są zalewane ogromną ilością danych - skorzystanie z płynącej z nich wiedzy jest znakomitą szansą na poprawę kondycji przedsiębiorstwa. W tym celu trzeba dane zebrać, przetworzyć i poddać analizie. Potrzebne więc są narzędzia, najlepiej proste w użytkowaniu i powszechnie znane. Takim właśnie narzędziem jest arkusz kalkulacyjny MS Excel - potężna i wszechstronna aplikacja, dzięki której nawet bez specjalistycznej wiedzy można wykonać profesjonalną analizę marketingową i zdobyć mnóstwo przydatnych informacji. Ta książka powstała na bazie autorskiego kursu analizy marketingowej dla słuchaczy studiów MBA. Pokazuje, jak wykorzystywać Excela do modelowania danych i pozyskiwania wiedzy niezbędnej do kreowania skutecznego marketingu w firmie. Niemal wszystkie pojęcia wyjaśniono na przykładach, a sposób wykonania ćwiczeń pokazano krok po kroku. Do książki dołączono pliki z danymi i rozwiązaniami zadań. Dowiesz się, jak przetwarzać dane za pomocą wykresów, wyznaczać krzywe popytu, prowadzić analizę skupień w segmentach rynku oraz tworzyć indywidualne modele danych i prognozować wpływ akcji marketingowych na wzrost sprzedaży. Oznacza to, że aby zdobyć umiejętności analizy marketingowej, potrzebujesz tylko tego podręcznika i Excela! W tej książce między innymi: analiza danych marketingowych opracowywanie strategii najbardziej zyskownych wycen wykorzystywanie narzędzi prognostycznych analiza łączona i analiza wyborów dyskretnych pomiar skuteczności wydatków na reklamę analiza danych z mediów społecznościowych Wyrafinowane analizy biznesowe? Potrzebujesz tylko Excela!
Enrique López Manas, Diego Grancini
Performant applications are one of the key drivers of success in the mobile world. Users may abandon an app if it runs slowly. Learning how to build applications that balance speed and performance with functionality and UX can be a challenge; however, it's now more important than ever to get that balance right.Android High Performance will start you thinking about how to wring the most from any hardware your app is installed on, so you can increase your reach and engagement. The book begins by providing an introduction to state–of-the-art Android techniques and the importance of performance in an Android application. Then, we will explain the Android SDK tools regularly used to debug and profile Android applications. We will also learn about some advanced topics such as building layouts, multithreading, networking, and security. Battery life is one of the biggest bottlenecks in applications; and this book will show typical examples of code that exhausts battery life, how to prevent this, and how to measure battery consumption from an application in every kind of situation to ensure your apps don’t drain more than they should.This book explains techniques for building optimized and efficient systems that do not drain the battery, cause memory leaks, or slow down with time.
Mercury Learning and Information, Oswald Campesato
As part of the best-selling *Pocket Primer* series, this book introduces readers to basic machine learning concepts and integrates them into Angular applications. It offers a fast-paced introduction to essential machine learning features and an overview of popular classifiers. Covering Angular functionality, basic machine learning concepts, and key classification algorithms, the book includes numerous code samples and figures. Topics such as TensorFlow and Keras are also explored.The book begins with a quick introduction to Angular, followed by UI controls, user input, and forms and services. As you progress, you will delve into machine learning, working with classifiers, and integrating TensorFlow.js with Angular. These foundational topics ensure a comprehensive grasp of both Angular and machine learning principles, equipping you with practical skills for developing sophisticated applications.Understanding these concepts is crucial for enhancing Angular projects with machine learning capabilities. This book transitions you from a novice to a proficient developer, equipped with the knowledge and tools needed to create advanced applications. Companion files with source code and color figures enhance the learning experience, making this book an invaluable resource for integrating machine learning with Angular.
Apache Hadoop 3 Quick Start Guide. Learn about big data processing and analytics
Hrishikesh Vijay Karambelkar
Apache Hadoop is a widely used distributed data platform. It enables large datasets to be efficiently processed instead of using one large computer to store and process the data. This book will get you started with the Hadoop ecosystem, and introduce you to the main technical topics, including MapReduce, YARN, and HDFS.The book begins with an overview of big data and Apache Hadoop. Then, you will set up a pseudo Hadoop development environment and a multi-node enterprise Hadoop cluster. You will see how the parallel programming paradigm, such as MapReduce, can solve many complex data processing problems.The book also covers the important aspects of the big data software development lifecycle, including quality assurance and control, performance, administration, and monitoring. You will then learn about the Hadoop ecosystem, and tools such as Kafka, Sqoop, Flume, Pig, Hive, and HBase. Finally, you will look at advanced topics, including real time streaming using Apache Storm, and data analytics using Apache Spark. By the end of the book, you will be well versed with different configurations of the Hadoop 3 cluster.
Apache Ignite Quick Start Guide. Distributed data caching and processing made easy
Sujoy Acharya
Apache Ignite is a distributed in-memory platform designed to scale and process large volume of data. It can be integrated with microservices as well as monolithic systems, and can be used as a scalable, highly available and performant deployment platform for microservices. This book will teach you to use Apache Ignite for building a high-performance, scalable, highly available system architecture with data integrity.The book takes you through the basics of Apache Ignite and in-memory technologies. You will learn about installation and clustering Ignite nodes, caching topologies, and various caching strategies, such as cache aside, read and write through, and write behind. Next, you will delve into detailed aspects of Ignite’s data grid: web session clustering and querying data.You will learn how to process large volumes of data using compute grid and Ignite’s map-reduce and executor service. You will learn about the memory architecture of Apache Ignite and monitoring memory and caches. You will use Ignite for complex event processing, event streaming, and the time-series predictions of opportunities and threats. Additionally, you will go through off-heap and on-heap caching, swapping, and native and Spring framework integration with Apache Ignite.By the end of this book, you will be confident with all the features of Apache Ignite 2.x that can be used to build a high-performance system architecture.
Raúl Estrada
Apache Kafka provides a unified, high-throughput, low-latency platform to handle real-time data feeds. This book will show you how to use Kafka efficiently, and contains practical solutions to the common problems that developers and administrators usually face while working with it. This practical guide contains easy-to-follow recipes to help you set up, configure, and use Apache Kafka in the best possible manner. You will use Apache Kafka Consumers and Producers to build effective real-time streaming applications. The book covers the recently released Kafka version 1.0, the Confluent Platform and Kafka Streams. The programming aspect covered in the book will teach you how to perform important tasks such as message validation, enrichment and composition.Recipes focusing on optimizing the performance of your Kafka cluster, and integrate Kafka with a variety of third-party tools such as Apache Hadoop, Apache Spark, and Elasticsearch will help ease your day to day collaboration with Kafka greatly. Finally, we cover tasks related to monitoring and securing your Apache Kafka cluster using tools such as Ganglia and Graphite.If you're looking to become the go-to person in your organization when it comes to working with Apache Kafka, this book is the only resource you need to have.
Raúl Estrada
Apache Kafka is a great open source platform for handling your real-time data pipeline to ensure high-speed filtering and pattern matching on the ?y. In this book, you will learn how to use Apache Kafka for efficient processing of distributed applications and will get familiar with solving everyday problems in fast data and processing pipelines.This book focuses on programming rather than the configuration management of Kafka clusters or DevOps. It starts off with the installation and setting up the development environment, before quickly moving on to performing fundamental messaging operations such as validation and enrichment.Here you will learn about message composition with pure Kafka API and Kafka Streams. You will look into the transformation of messages in different formats, such asext, binary, XML, JSON, and AVRO. Next, you will learn how to expose the schemas contained in Kafka with the Schema Registry. You will then learn how to work with all relevant connectors with Kafka Connect. While working with Kafka Streams, you will perform various interesting operations on streams, such as windowing, joins, and aggregations. Finally, through KSQL, you will learn how to retrieve, insert, modify, and delete data streams, and how to manipulate watermarks and windows.
Apache Mahout Clustering Designs. Explore clustering algorithms used with Apache Mahout
Dragan Milcevski, Ashish Gupta, Ashish Gupta
Jagat Jasjit Singh
As more and more organizations are discovering the use of big data analytics, interest in platforms that provide storage, computation, and analytic capabilities is booming exponentially. This calls for data management. Hadoop caters to this need. Oozie fulfils this necessity for a scheduler for a Hadoop job by acting as a cron to better analyze data. Apache Oozie Essentials starts off with the basics right from installing and configuring Oozie from source code on your Hadoop cluster to managing your complex clusters. You will learn how to create data ingestion and machine learning workflows.This book is sprinkled with the examples and exercises to help you take your big data learning to the next level. You will discover how to write workflows to run your MapReduce, Pig ,Hive, and Sqoop scripts and schedule them to run at a specific time or for a specific business requirement using a coordinator. This book has engaging real-life exercises and examples to get you in the thick of things. Lastly, you’ll get a grip of how to embed Spark jobs, which can be used to run your machine learning models on Hadoop.By the end of the book, you will have a good knowledge of Apache Oozie. You will be capable of using Oozie to handle large Hadoop workflows and even improve the availability of your Hadoop environment.
Romeo Kienzler, Md. Rezaul Karim, Sridhar Alla,...
Apache Spark is an in-memory, cluster-based data processing system that provides a wide range of functionalities such as big data processing, analytics, machine learning, and more. With this Learning Path, you can take your knowledge of Apache Spark to the next level by learning how to expand Spark's functionality and building your own data flow and machine learning programs on this platform.You will work with the different modules in Apache Spark, such as interactive querying with Spark SQL, using DataFrames and datasets, implementing streaming analytics with Spark Streaming, and applying machine learning and deep learning techniques on Spark using MLlib and various external tools.By the end of this elaborately designed Learning Path, you will have all the knowledge you need to master Apache Spark, and build your own big data processing and analytics pipeline quickly and without any hassle.This Learning Path includes content from the following Packt products:• Mastering Apache Spark 2.x by Romeo Kienzler• Scala and Spark for Big Data Analytics by Md. Rezaul Karim, Sridhar Alla• Apache Spark 2.x Machine Learning Cookbook by Siamak Amirghodsi, Meenakshi Rajendran, Broderick Hall, Shuen MeiCookbook
Rishi Yadav
While Apache Spark 1.x gained a lot of traction and adoption in the early years, Spark 2.x delivers notable improvements in the areas of API, schema awareness, Performance, Structured Streaming, and simplifying building blocks to build better, faster, smarter, and more accessible big data applications. This book uncovers all these features in the form of structured recipes to analyze and mature large and complex sets of data.Starting with installing and configuring Apache Spark with various cluster managers, you will learn to set up development environments. Further on, you will be introduced to working with RDDs, DataFrames and Datasets to operate on schema aware data, and real-time streaming with various sources such as Twitter Stream and Apache Kafka. You will also work through recipes on machine learning, including supervised learning, unsupervised learning & recommendation engines in Spark.Last but not least, the final few chapters delve deeper into the concepts of graph processing using GraphX, securing your implementations, cluster optimization, and troubleshooting.
Apache Spark 2.x for Java Developers. Explore big data at scale using Apache Spark 2.x Java APIs
Sourav Gulati, Sumit Kumar
Apache Spark is the buzzword in the big data industry right now, especially with the increasing need for real-time streaming and data processing. While Spark is built on Scala, the Spark Java API exposes all the Spark features available in the Scala version for Java developers. This book will show you how you can implement various functionalities of the Apache Spark framework in Java, without stepping out of your comfort zone.The book starts with an introduction to the Apache Spark 2.x ecosystem, followed by explaining how to install and configure Spark, and refreshes the Java concepts that will be useful to you when consuming Apache Spark's APIs. You will explore RDD and its associated common Action and Transformation Java APIs, set up a production-like clustered environment, and work with Spark SQL. Moving on, you will perform near-real-time processing with Spark streaming, Machine Learning analytics with Spark MLlib, and graph processing with GraphX, all using various Java packages.By the end of the book, you will have a solid foundation in implementing components in the Spark framework in Java to build fast, real-time applications.