Publisher: 16

2353
Loading...
EBOOK

Apache Hadoop 3 Quick Start Guide. Learn about big data processing and analytics

Hrishikesh Vijay Karambelkar

Apache Hadoop is a widely used distributed data platform. It enables large datasets to be efficiently processed instead of using one large computer to store and process the data. This book will get you started with the Hadoop ecosystem, and introduce you to the main technical topics, including MapReduce, YARN, and HDFS.The book begins with an overview of big data and Apache Hadoop. Then, you will set up a pseudo Hadoop development environment and a multi-node enterprise Hadoop cluster. You will see how the parallel programming paradigm, such as MapReduce, can solve many complex data processing problems.The book also covers the important aspects of the big data software development lifecycle, including quality assurance and control, performance, administration, and monitoring. You will then learn about the Hadoop ecosystem, and tools such as Kafka, Sqoop, Flume, Pig, Hive, and HBase. Finally, you will look at advanced topics, including real time streaming using Apache Storm, and data analytics using Apache Spark. By the end of the book, you will be well versed with different configurations of the Hadoop 3 cluster.

2354
Loading...
EBOOK

Apache Hive Cookbook

Hanish Bansal, Shrey Mehrotra, Saurabh Chauhan

Hive was developed by Facebook and later open sourced in Apache community. Hive provides SQL like interface to run queries on Big Data frameworks. Hive provides SQL like syntax also called as HiveQL that includes all SQL capabilities like analytical functions which are the need of the hour in today’s Big Data world.This book provides you easy installation steps with different types of metastores supported by Hive. This book has simple and easy to learn recipes for configuring Hive clients and services. You would also learn different Hive optimizations including Partitions and Bucketing. The book also covers the source code explanation of latest Hive version.Hive Query Language is being used by other frameworks including spark. Towards the end you will cover integration of Hive with these frameworks.

2355
Loading...
EBOOK

Apache Hive Essentials. Essential techniques to help you process, and get unique insights from, big data - Second Edition

Dayong Du

In this book, we prepare you for your journey into big data by frstly introducing you to backgrounds in the big data domain, alongwith the process of setting up and getting familiar with your Hive working environment. Next, the book guides you through discovering and transforming the values of big data with the help of examples. It also hones your skills in using the Hive language in an effcient manner. Toward the end, the book focuses on advanced topics, such as performance, security, and extensions in Hive, which will guide you on exciting adventures on this worthwhile big data journey. By the end of the book, you will be familiar with Hive and able to work effeciently to find solutions to big data problems

2357
Loading...
EBOOK

Apache Ignite Quick Start Guide. Distributed data caching and processing made easy

Sujoy Acharya

Apache Ignite is a distributed in-memory platform designed to scale and process large volume of data. It can be integrated with microservices as well as monolithic systems, and can be used as a scalable, highly available and performant deployment platform for microservices. This book will teach you to use Apache Ignite for building a high-performance, scalable, highly available system architecture with data integrity.The book takes you through the basics of Apache Ignite and in-memory technologies. You will learn about installation and clustering Ignite nodes, caching topologies, and various caching strategies, such as cache aside, read and write through, and write behind. Next, you will delve into detailed aspects of Ignite’s data grid: web session clustering and querying data.You will learn how to process large volumes of data using compute grid and Ignite’s map-reduce and executor service. You will learn about the memory architecture of Apache Ignite and monitoring memory and caches. You will use Ignite for complex event processing, event streaming, and the time-series predictions of opportunities and threats. Additionally, you will go through off-heap and on-heap caching, swapping, and native and Spring framework integration with Apache Ignite.By the end of this book, you will be confident with all the features of Apache Ignite 2.x that can be used to build a high-performance system architecture.

2358
Loading...
EBOOK

Apache Kafka 1.0 Cookbook. Over 100 practical recipes on using distributed enterprise messaging to handle real-time data

Raúl Estrada

Apache Kafka provides a unified, high-throughput, low-latency platform to handle real-time data feeds. This book will show you how to use Kafka efficiently, and contains practical solutions to the common problems that developers and administrators usually face while working with it. This practical guide contains easy-to-follow recipes to help you set up, configure, and use Apache Kafka in the best possible manner. You will use Apache Kafka Consumers and Producers to build effective real-time streaming applications. The book covers the recently released Kafka version 1.0, the Confluent Platform and Kafka Streams. The programming aspect covered in the book will teach you how to perform important tasks such as message validation, enrichment and composition.Recipes focusing on optimizing the performance of your Kafka cluster, and integrate Kafka with a variety of third-party tools such as Apache Hadoop, Apache Spark, and Elasticsearch will help ease your day to day collaboration with Kafka greatly. Finally, we cover tasks related to monitoring and securing your Apache Kafka cluster using tools such as Ganglia and Graphite.If you're looking to become the go-to person in your organization when it comes to working with Apache Kafka, this book is the only resource you need to have.

2359
Loading...
VIDEO COURSE

Apache Kafka. Kurs video. Przetwarzanie danych w czasie rzeczywistym

Paweł Pluta

Obierz kurs na... pracę z dużą ilością danych Oprogramowanie Apache Kafka powstało jako broker wiadomości w LinkedIn. Obecnie pełni funkcję rozproszonego systemu przetwarzania strumieniowego danych, używanego do budowania aplikacji opracowujących duże ilości danych w czasie rzeczywistym. Z zalet tego oprogramowania korzystają firmy na całym świecie – jest kluczowym narzędziem w takich sektorach jak bankowość, e-commerce, telekomunikacja itd. Znana ze swojej wyjątkowej wydajności i skalowalności Kafka to rozwiązanie idealne dla aplikacji o wysokich wymaganiach dotyczących pracy na danych. Umiejętność jej obsługi staje się więc wysoce pożądana na informatycznym rynku pracy. Jeśli chcesz dołączyć do grona programistów swobodnie czujących się w obszarach związanych z przetwarzaniem danych – zacznij od Kafki i naszego kursu. Dowiesz się z niego, jak zainstalować i skonfigurować Kafkę, a także jak jej używać. Niezależnie od tego, czy jesteś osobą początkującą, czy też bardziej zaawansowaną, znajdziesz tu coś dla siebie. Uzyskasz wszechstronną praktyczną wiedzę i umiejętności, które zastosujesz w różnych aspektach przetwarzania danych i rozwoju aplikacji w dzisiejszym świecie technologii. Szkolenie przygotuje Cię do stosowania Apache Kafka w realnych scenariuszach biznesowych i technologicznych, takich jak obsługa wolumenów danych w czasie rzeczywistym, integracja systemów i aplikacji, monitorowanie i logowanie operacji w dużych systemach czy włączanie oprogramowania do systemów analizy big data. Co Cię czeka podczas naszego profesjonalnego szkolenia Podczas kursu: Zdobędziesz wiedzę na temat tego, czym jest Kafka i dlaczego jest tak ważnym narzędziem w przetwarzaniu danych Poznasz główne komponenty Kafki, takie jak topic, partycja i offset Stworzysz producentów i konsumentów danych w Kafce, co jest kluczowe w zarządzaniu ich przepływem Opanujesz umiejętności w zakresie serializacji i deserializacji danych, co jest ważne w ich przetwarzaniu i przechowywaniu Przyjrzysz się grupom konsumentów i ich znaczeniu w architekturze Kafki Rozpracujesz rolę brokera (serwera) w systemie Kafka Opanujesz różne mechanizmy zapewniające wysoką dostępność i odporność danych w Kafce Dowiesz się, jak działa replikacja w Kafce i jak ją konfigurować Zgłębisz temat systemu potwierdzeń, który zapewnia niezawodność przesyłania danych Zrozumiesz, w jaki sposób zarządza się trwałością tematów w Kafce Poznasz rolę ZooKeepera w ekosystemie Kafki Zainstalujesz i skonfigurujesz Kafkę tak, aby odpowiadała Twoim potrzebom Będziesz tworzyć i modyfikować topiki, a także nimi zarządzać Pojmiesz zadania producenta i konsumenta danych poprzez ćwiczenia w konsoli Zintegrujesz Kafkę z aplikacjami Java, także w zakresie wysyłania wiadomości i pobierania danych Szkolenie Apache Kafka. Kurs video. Przetwarzanie danych w czasie rzeczywistym zapewnia solidne fundamenty teoretyczne i praktyczne, umożliwiając słuchaczom osiągnięcie poziomu średnio zaawansowanego. Absolwenci będą przygotowani do efektywnego stosowania Apache Kafka w różnych scenariuszach i wyposażeni w cenione na rynku pracy umiejętności. Kurs jest doskonałą propozycją dla osób, które chcą poszerzyć wiedzę i umiejętności w zakresie przetwarzania strumieniowego danych i zrozumieć, jak stosować Kafkę w praktycznych projektach IT. Chodź na Kafkę i poznaj ją bliżej Oprogramowanie Apache Kafka zostało stworzone przez zespół programistów w LinkedIn jako narzędzie do śledzenia aktywności użytkowników i przetwarzania logów. Później udostępniono je jako projekt open source. Z Kafki chętnie korzystają tacy giganci technologiczni jak Netflix, Uber, Spotify i Twitter – stosują ją do przetwarzania ogromnych ilości danych w czasie rzeczywistym. Na przykład Uber używa jej do przetwarzania miliardów wiadomości dziennie. W przeciwieństwie do tradycyjnych systemów kolejkowania wiadomości Kafka pozwala skalować w poziomie i radzić sobie z przetwarzaniem danych w czasie rzeczywistym na dużą skalę, co czyni ją wyjątkowym narzędziem w świecie big data. Często jest używana w architekturach opartych na przetwarzaniu strumieniowym zdarzeń (event streaming), co stanowi istotne odejście od tradycyjnego przetwarzania wsadowego (batch processing), pozwala bowiem na szybszą reakcję na dane w czasie rzeczywistym. Kafka znajduje również zastosowanie w projektach internetu rzeczy – tu może służyć jako centralny system do zbierania i przetwarzania danych z tysięcy urządzeń IoT. W testach wydajnościowych Kafka wykazała możliwość obsługi tysięcy wiadomości na sekundę, co czyni ją idealnym rozwiązaniem dla aplikacji wymagających szybkiego przetwarzania i analizy dużych ilości danych.

2360
Loading...
EBOOK

Apache Kafka Quick Start Guide. Leverage Apache Kafka 2.0 to simplify real-time data processing for distributed applications

Raúl Estrada

Apache Kafka is a great open source platform for handling your real-time data pipeline to ensure high-speed filtering and pattern matching on the ?y. In this book, you will learn how to use Apache Kafka for efficient processing of distributed applications and will get familiar with solving everyday problems in fast data and processing pipelines.This book focuses on programming rather than the configuration management of Kafka clusters or DevOps. It starts off with the installation and setting up the development environment, before quickly moving on to performing fundamental messaging operations such as validation and enrichment.Here you will learn about message composition with pure Kafka API and Kafka Streams. You will look into the transformation of messages in different formats, such asext, binary, XML, JSON, and AVRO. Next, you will learn how to expose the schemas contained in Kafka with the Schema Registry. You will then learn how to work with all relevant connectors with Kafka Connect. While working with Kafka Streams, you will perform various interesting operations on streams, such as windowing, joins, and aggregations. Finally, through KSQL, you will learn how to retrieve, insert, modify, and delete data streams, and how to manipulate watermarks and windows.

2361
Loading...
EBOOK
2362
Loading...
EBOOK
2365
Loading...
EBOOK

Apache Mesos Cookbook. Efficiently handle and manage tasks in a distributed environment

David Blomquist, Tomasz Janiszewski

Apache Mesos is open source cluster sharing and management software. Deploying and managing scalable applications in large-scale clustered environments can be difficult, but Apache Mesos makes it easier with efficient resource isolation and sharing across application frameworks.The goal of this book is to guide you through the practical implementation of the Mesos core along with a number of Mesos supported frameworks. You will begin by installing Mesos and then learn how to configure clusters and maintain them. You will also see how to deploy a cluster in a production environment with high availability using Zookeeper.Next, you will get to grips with using Mesos, Marathon, and Docker to build and deploy a PaaS. You will see how to schedule jobs with Chronos. We’ll demonstrate how to integrate Mesos with big data frameworks such as Spark, Hadoop, and Storm. Practical solutions backed with clear examples will also show you how to deploy elastic big data jobs. You will find out how to deploy a scalable continuous integration and delivery system on Mesos with Jenkins. Finally, you will configure and deploy a highly scalable distributed search engine with ElasticSearch.Throughout the course of this book, you will get to know tips and tricks along with best practices to follow when working with Mesos.

2366
Loading...
VIDEO COURSE

Apache NiFi. Kurs video. Automatyzacja przepływu danych i narzędzia Big Data

Piotr Szymański

Obierz kurs na... sprawną pracę z danymi w świecie Big Data Rola danych stale rośnie. Dziś są one nowym złotem, najcenniejszym zasobem, zdolność do ich kolekcjonowania, przetwarzania i eksplorowania zgodnie z zapotrzebowaniem zaś cenną umiejętnością. Tym cenniejszą, że dostęp do nich stanowi warunek rozwoju sztucznej inteligencji, czyli najgorętszej dziś dziedziny IT. Wszak modele SI są trenowane dzięki karmieniu systemu ogromnymi wolumenami danych. Nie byłoby to możliwe bez zastosowania odpowiednich, przeznaczonych do pracy z danymi narzędzi. Jednym z najciekawszych jest Apache NiFi – opracowane przez Apache Software Foundation, przeznaczone do automatyzacji przepływu danych między systemami oprogramowania. Oferuje ono o wiele więcej niż tradycyjne systemy ETL (ang. extract, transform and load). Myślisz o pobieraniu danych z różnych źródeł i chcesz to robić w prosty sposób – korzystając z metody „przeciągnij i upuść”? Chcesz wyzwalać procesy według harmonogramu? Zamierzasz wykrywać nowe dane oprogramowaniem typu open source, bez kosztownych licencji? W takim razie ten kurs, poświęcony Apache NiFi, jest dla Ciebie. Oprogramowanie, o którym mowa, pozwoli Ci pobierać pliki o różnych formatach (jak CSV, JSON, XML, AVRO, ORC) z rozmaitych magazynów danych (na przykład HDFS, Amazon S3, Google Cloud Storage) w bardzo prosty sposób. Wystarczy, że przeciągniesz odpowiednie komponenty, a połączenie różnych systemów i przesyłanie danych między nimi z wykorzystaniem przykładowo baz danych, takich jak PostgreSQL, Oracle, SQL Server, MongoDB, Apache Cassandra czy nawet serwisy sieciowe i strumienie danych typu MQTT, JMS, Kafka, stanie się dziecinnie proste. Podobnie jak pobieranie i dystrybucja e-maili według treści. A to dopiero początek możliwości Apache NiFi. Chcesz poznać je wszystkie? Zapraszamy do wzięcia udziału w naszym kursie! Co Cię czeka podczas naszego profesjonalnego szkolenia W ramach kursu między innymi: Dowiesz się, jak zainstalować i skonfigurować Apache NiFi Nauczysz się używać tego narzędzia do pobierania i przetwarzania danych z różnych źródeł Będziesz analizować, testować i debugować procesy NiFi, a także tworzyć połączenia między poszczególnymi grupami procesów Poznasz sposób konfiguracji Apache NiFi Registry Zmonitorujesz wytworzone procesy i środowisko Przygotujesz prostą obsługę błędów procesów Stworzysz procesy wykorzystujące przetwarzanie warunkowe Apache NiFi. Kurs video. Automatyzacja przepływu danych i narzędzia Big Data jest przeznaczony dla początkujących słuchaczy. Po ukończeniu szkolenia będziesz w stanie samodzielnie pracować z Apache NiFi i dalej rozwijać zdobyte w trakcie nauki umiejętności. Apache NiFi Oprogramowanie to zostało stworzone przez National Security Agency (NSA) w USA i pierwotnie nazywało się NiagaraFiles. Projekt został przekazany do Apache Software Foundation w 2014 roku. Jeśli chodzi o graficzny software użytkownika, Apache NiFi jest jednym z nielicznych narzędzi, które służą do budowy przepływu danych i przy tym oferują pełne wizualne środowisko, a budowę przypływu pozwalają zrealizować za pomocą metody „przeciągnij i upuść”, z konfiguracją jedynie parametrów gotowych procesorów, takich jak adres bazy danych czy adres URL serwisu. Ułatwia to użytkownikom tworzenie złożonych przepływów danych i zarządzanie tym procesem. Bogaty ekosystem Apache NiFi ma w obecnej chwili 345 gotowych do użycia wbudowanych procesorów, które umożliwiają połączenie z niemal wszystkimi popularnymi systemami. Sama lista procesorów jest sukcesywnie rozwijana – wraz z nowymi wersjami, wydawanymi zwykle co kilka miesięcy.

2367
Loading...
EBOOK

Apache OfBiz Cookbook. Over 60 simple but incredibly effective recipes for taking control of OFBiz

Ruth Hoffman, Brian Fitzpatrick

Apache Open For Business (OFBiz) is an enterprise resource planning (ERP) system that provides a common data model and an extensive set of business processes. But without proper guidance on developing performance-critical applications, it is easy to make the wrong design and technology decisions. The power and promise of Apache OFBiz is comprehensively revealed in a collection of self-contained, quick, practical recipes in this Cookbook.This book covers a range of topics from initial system setup to web application and HTML page creation, Java development, and data maintenance tasks. Focusing on a series of the most commonly performed OFBiz tasks, it provides clear, cogent, and easy-to-follow instructions designed to make the most of your OFBiz experience.Let this book be your guide to enhancing your OFBiz productivity by saving you valuable time. Written specifically to give clear and straightforward answers to the most commonly asked OFBiz questions, this compendium of OFBiz recipes will show you everything you need to know to get things done in OFBiz.Whether you are new to OFBiz or an old pro, you are sure to find many useful hints and handy tips here. Topics range from getting started to configuration and system setup, security and database management through the final stages of developing and testing new OFBiz applications.

2368
Loading...
EBOOK

Apache Oozie Essentials. Unleash the power of Apache Oozie to create and manage your big data and machine learning pipelines in one go

Jagat Jasjit Singh

As more and more organizations are discovering the use of big data analytics, interest in platforms that provide storage, computation, and analytic capabilities is booming exponentially. This calls for data management. Hadoop caters to this need. Oozie fulfils this necessity for a scheduler for a Hadoop job by acting as a cron to better analyze data. Apache Oozie Essentials starts off with the basics right from installing and configuring Oozie from source code on your Hadoop cluster to managing your complex clusters. You will learn how to create data ingestion and machine learning workflows.This book is sprinkled with the examples and exercises to help you take your big data learning to the next level. You will discover how to write workflows to run your MapReduce, Pig ,Hive, and Sqoop scripts and schedule them to run at a specific time or for a specific business requirement using a coordinator. This book has engaging real-life exercises and examples to get you in the thick of things. Lastly, you’ll get a grip of how to embed Spark jobs, which can be used to run your machine learning models on Hadoop.By the end of the book, you will have a good knowledge of Apache Oozie. You will be capable of using Oozie to handle large Hadoop workflows and even improve the availability of your Hadoop environment.

2369
Loading...
EBOOK

Apache. Receptury. Wydanie II

Rich Bowen, Ken Coar

Czy wiesz, jaki serwer HTTP jest najpopularniejszy w sieci? Właśnie tak, jest to Apache! W lipcu 2008 roku jego udział w rynku wynosił blisko 50% (według Netcraft). Historia tego serwera sięga roku 1995, kiedy ukazała się jego pierwsza oficjalna wersja, oznaczona numerem 0.6.2. Cechy, które zadecydowały o sukcesie tego rozwiązania, to bezpieczeństwo, skalowalność, wielowątkowość i obsługa różnorodnych języków skryptowych. Dzięki książce "Apache. Receptury" zapoznasz się z gotowymi przepisami na rozwiązanie ciekawych, specyficznych oraz intrygujących problemów. Nauczysz się instalować serwer z różnych źródeł oraz na różnych platformach. Dowiesz się, w jaki sposób zwiększyć jego bezpieczeństwo, jak uruchomić serwery wirtualne oraz poprawić wydajność Apache. Autorzy książki pokażą Ci, jak uruchomić obsługę języków skryptowych, tak aby serwowane strony stały się dynamiczne. Cała wiedza zostanie przedstawiona w sprawdzony w tej serii sposób: problem - rozwiązanie - analiza. Sposoby instalacji serwera Apache Dodawanie funkcjonalności dzięki modułom Możliwości rejestracji zdarzeń Konfiguracja serwerów wirtualnych Wykorzystanie aliasów, przekierowań oraz przepisań (mod_rewrite) Zarządzanie dostępem do serwowanych zasobów Bezpieczeństwo serwera Apache Wykorzystanie szyfrowanej transmisji - protokół SSL Zapewnienie wydajności Wykorzystanie języków skryptowych Oto książka z najlepszymi przepisami na Apache!

2370
Loading...
EBOOK

Apache Roller 4.0 - Beginner's Guide. A comprehensive, step-by-step guide on how to set up, customize, and market your blog using Apache Roller

Alfonso Vidal Romero

Apache Roller enables you to build a fully-featured, multi-user blog server apt for all kinds of blogging sites. It is an ideal tool to create your own blogging network with unlimited users and blogs, forums, photo galleries, and more! While it is exciting to have a list of interesting features it can offer you, it might be a little difficult to get started with it by your self.This book will teach you how to get started with Apache Roller and make the most of all its features using step-by-step, detailed instructions. You will learn how to establish your internet presence with an Apache Roller blog and use the latest web tools to enhance your posts and attract visitors. You will also learn how to promote your blog on popular social bookmarking services and customize it to suit your need.This hands-on and practical book introduces you to Apache Roller. Starting off with the configuration and installation of your own blog, you'll then quickly learn how to add interesting content to your blog with the help of plenty of examples. You'll also learn how to change your blog's visual appearance with the help of Roller themes and templates and how to create a community of blogs for you and your colleagues or friends in your Apache Roller blog server. The book also looks at ways you can manage your community, and keep your site safe and secure, ensuring that it is a spam-free, enjoyable community for your users.

2371
Loading...
EBOOK

Apache Solr for Indexing Data. Enhance your Solr indexing experience with advanced techniques and the built-in functionalities available in Apache Solr

Anshul Johri, Sachin Handiekar

Apache Solr is a widely used, open source enterprise search server that delivers powerful indexing and searching features. These features help fetch relevant information from various sources and documentation. Solr also combines with other open source tools such as Apache Tika and Apache Nutch to provide more powerful features.This fast-paced guide starts by helping you set up Solr and get acquainted with its basic building blocks, to give you a better understanding of Solr indexing. You’ll quickly move on to indexing text and boosting the indexing time. Next, you’ll focus on basic indexing techniques, various index handlers designed to modify documents, and indexing a structured data source through Data Import Handler.Moving on, you will learn techniques to perform real-time indexing and atomic updates, as well as more advanced indexing techniques such as de-duplication. Later on, we’ll help you set up a cluster of Solr servers that combine fault tolerance and high availability. You will also gain insights into working scenarios of different aspects of Solr and how to use Solr with e-commerce data.By the end of the book, you will be competent and confident working with indexing and will have a good knowledge base to efficiently program elements.

2373
Loading...
EBOOK

Apache Solr PHP Integration. Build a fully-featured and scalable search application using PHP to unlock the search functions provided by Solr with this book and

Jayant Kumar

The Search tool is a very powerful for any website. No matter what type of website, the search tool helps visitors find what they are looking for using key words and narrow down the results using facets. Solr is the popular, blazing fast, open source enterprise search platform from the Apache Lucene project. It is highly scalable, providing distributed search and index replication, and it powers the search and navigation features of many of the world's largest websites.This book is a practical, hands-on, end-to-end guide that provides you with all the tools required to build a fully-featured search application using Apache Solr and PHP. The book contains practical examples and step-by-step instructions.Starting off with the basics of installing Apache Solr and integrating it with Php, the book then proceeds to explore the features provided by Solr to improve searches using Php. You will learn how to build and maintain a Solr index using Php, discover the query modes available with Solr, and how to use them to tune the Solr queries to retrieve relevant results. You will look at how to build and use facets in your search, how to tune and use fast result highlighting, and how to build a spell check and auto complete feature using Solr. You will finish by learning some of the advanced concepts required to runa large-scale enterprise level search infrastructure.

2375
Loading...
EBOOK

Apache Spark 2: Data Processing and Real-Time Analytics. Master complex big data processing, stream analytics, and machine learning with Apache Spark

Romeo Kienzler, Md. Rezaul Karim, Sridhar Alla,...

Apache Spark is an in-memory, cluster-based data processing system that provides a wide range of functionalities such as big data processing, analytics, machine learning, and more. With this Learning Path, you can take your knowledge of Apache Spark to the next level by learning how to expand Spark's functionality and building your own data flow and machine learning programs on this platform.You will work with the different modules in Apache Spark, such as interactive querying with Spark SQL, using DataFrames and datasets, implementing streaming analytics with Spark Streaming, and applying machine learning and deep learning techniques on Spark using MLlib and various external tools.By the end of this elaborately designed Learning Path, you will have all the knowledge you need to master Apache Spark, and build your own big data processing and analytics pipeline quickly and without any hassle.This Learning Path includes content from the following Packt products:• Mastering Apache Spark 2.x by Romeo Kienzler• Scala and Spark for Big Data Analytics by Md. Rezaul Karim, Sridhar Alla• Apache Spark 2.x Machine Learning Cookbook by Siamak Amirghodsi, Meenakshi Rajendran, Broderick Hall, Shuen MeiCookbook

2376
Loading...
EBOOK

Apache Spark 2.x Cookbook. Over 70 cloud-ready recipes for distributed Big Data processing and analytics

Rishi Yadav

While Apache Spark 1.x gained a lot of traction and adoption in the early years, Spark 2.x delivers notable improvements in the areas of API, schema awareness, Performance, Structured Streaming, and simplifying building blocks to build better, faster, smarter, and more accessible big data applications. This book uncovers all these features in the form of structured recipes to analyze and mature large and complex sets of data.Starting with installing and configuring Apache Spark with various cluster managers, you will learn to set up development environments. Further on, you will be introduced to working with RDDs, DataFrames and Datasets to operate on schema aware data, and real-time streaming with various sources such as Twitter Stream and Apache Kafka. You will also work through recipes on machine learning, including supervised learning, unsupervised learning & recommendation engines in Spark.Last but not least, the final few chapters delve deeper into the concepts of graph processing using GraphX, securing your implementations, cluster optimization, and troubleshooting.