Publisher: 16
Raúl Estrada
Apache Kafka is a great open source platform for handling your real-time data pipeline to ensure high-speed filtering and pattern matching on the ?y. In this book, you will learn how to use Apache Kafka for efficient processing of distributed applications and will get familiar with solving everyday problems in fast data and processing pipelines.This book focuses on programming rather than the configuration management of Kafka clusters or DevOps. It starts off with the installation and setting up the development environment, before quickly moving on to performing fundamental messaging operations such as validation and enrichment.Here you will learn about message composition with pure Kafka API and Kafka Streams. You will look into the transformation of messages in different formats, such asext, binary, XML, JSON, and AVRO. Next, you will learn how to expose the schemas contained in Kafka with the Schema Registry. You will then learn how to work with all relevant connectors with Kafka Connect. While working with Kafka Streams, you will perform various interesting operations on streams, such as windowing, joins, and aggregations. Finally, through KSQL, you will learn how to retrieve, insert, modify, and delete data streams, and how to manipulate watermarks and windows.
Apache Karaf Cookbook. Over 60 recipes to help you get the most out of your Apache Karaf deployments
Jamie Goodyear, Johan Edstorm, Achim Nierbeck, Heath...
Apache Mahout Clustering Designs. Explore clustering algorithms used with Apache Mahout
Dragan Milcevski, Ashish Gupta, Ashish Gupta
Apache Mesos Cookbook. Efficiently handle and manage tasks in a distributed environment
David Blomquist, Tomasz Janiszewski
Apache Mesos is open source cluster sharing and management software. Deploying and managing scalable applications in large-scale clustered environments can be difficult, but Apache Mesos makes it easier with efficient resource isolation and sharing across application frameworks.The goal of this book is to guide you through the practical implementation of the Mesos core along with a number of Mesos supported frameworks. You will begin by installing Mesos and then learn how to configure clusters and maintain them. You will also see how to deploy a cluster in a production environment with high availability using Zookeeper.Next, you will get to grips with using Mesos, Marathon, and Docker to build and deploy a PaaS. You will see how to schedule jobs with Chronos. We’ll demonstrate how to integrate Mesos with big data frameworks such as Spark, Hadoop, and Storm. Practical solutions backed with clear examples will also show you how to deploy elastic big data jobs. You will find out how to deploy a scalable continuous integration and delivery system on Mesos with Jenkins. Finally, you will configure and deploy a highly scalable distributed search engine with ElasticSearch.Throughout the course of this book, you will get to know tips and tricks along with best practices to follow when working with Mesos.
Apache NiFi. Kurs video. Automatyzacja przepływu danych i narzędzia Big Data
Piotr Szymański
Obierz kurs na... sprawną pracę z danymi w świecie Big Data Rola danych stale rośnie. Dziś są one nowym złotem, najcenniejszym zasobem, zdolność do ich kolekcjonowania, przetwarzania i eksplorowania zgodnie z zapotrzebowaniem zaś cenną umiejętnością. Tym cenniejszą, że dostęp do nich stanowi warunek rozwoju sztucznej inteligencji, czyli najgorętszej dziś dziedziny IT. Wszak modele SI są trenowane dzięki karmieniu systemu ogromnymi wolumenami danych. Nie byłoby to możliwe bez zastosowania odpowiednich, przeznaczonych do pracy z danymi narzędzi. Jednym z najciekawszych jest Apache NiFi – opracowane przez Apache Software Foundation, przeznaczone do automatyzacji przepływu danych między systemami oprogramowania. Oferuje ono o wiele więcej niż tradycyjne systemy ETL (ang. extract, transform and load). Myślisz o pobieraniu danych z różnych źródeł i chcesz to robić w prosty sposób – korzystając z metody „przeciągnij i upuść”? Chcesz wyzwalać procesy według harmonogramu? Zamierzasz wykrywać nowe dane oprogramowaniem typu open source, bez kosztownych licencji? W takim razie ten kurs, poświęcony Apache NiFi, jest dla Ciebie. Oprogramowanie, o którym mowa, pozwoli Ci pobierać pliki o różnych formatach (jak CSV, JSON, XML, AVRO, ORC) z rozmaitych magazynów danych (na przykład HDFS, Amazon S3, Google Cloud Storage) w bardzo prosty sposób. Wystarczy, że przeciągniesz odpowiednie komponenty, a połączenie różnych systemów i przesyłanie danych między nimi z wykorzystaniem przykładowo baz danych, takich jak PostgreSQL, Oracle, SQL Server, MongoDB, Apache Cassandra czy nawet serwisy sieciowe i strumienie danych typu MQTT, JMS, Kafka, stanie się dziecinnie proste. Podobnie jak pobieranie i dystrybucja e-maili według treści. A to dopiero początek możliwości Apache NiFi. Chcesz poznać je wszystkie? Zapraszamy do wzięcia udziału w naszym kursie! Co Cię czeka podczas naszego profesjonalnego szkolenia W ramach kursu między innymi: Dowiesz się, jak zainstalować i skonfigurować Apache NiFi Nauczysz się używać tego narzędzia do pobierania i przetwarzania danych z różnych źródeł Będziesz analizować, testować i debugować procesy NiFi, a także tworzyć połączenia między poszczególnymi grupami procesów Poznasz sposób konfiguracji Apache NiFi Registry Zmonitorujesz wytworzone procesy i środowisko Przygotujesz prostą obsługę błędów procesów Stworzysz procesy wykorzystujące przetwarzanie warunkowe Apache NiFi. Kurs video. Automatyzacja przepływu danych i narzędzia Big Data jest przeznaczony dla początkujących słuchaczy. Po ukończeniu szkolenia będziesz w stanie samodzielnie pracować z Apache NiFi i dalej rozwijać zdobyte w trakcie nauki umiejętności. Apache NiFi Oprogramowanie to zostało stworzone przez National Security Agency (NSA) w USA i pierwotnie nazywało się NiagaraFiles. Projekt został przekazany do Apache Software Foundation w 2014 roku. Jeśli chodzi o graficzny software użytkownika, Apache NiFi jest jednym z nielicznych narzędzi, które służą do budowy przepływu danych i przy tym oferują pełne wizualne środowisko, a budowę przypływu pozwalają zrealizować za pomocą metody „przeciągnij i upuść”, z konfiguracją jedynie parametrów gotowych procesorów, takich jak adres bazy danych czy adres URL serwisu. Ułatwia to użytkownikom tworzenie złożonych przepływów danych i zarządzanie tym procesem. Bogaty ekosystem Apache NiFi ma w obecnej chwili 345 gotowych do użycia wbudowanych procesorów, które umożliwiają połączenie z niemal wszystkimi popularnymi systemami. Sama lista procesorów jest sukcesywnie rozwijana – wraz z nowymi wersjami, wydawanymi zwykle co kilka miesięcy.
Apache OfBiz Cookbook. Over 60 simple but incredibly effective recipes for taking control of OFBiz
Ruth Hoffman, Brian Fitzpatrick
Apache Open For Business (OFBiz) is an enterprise resource planning (ERP) system that provides a common data model and an extensive set of business processes. But without proper guidance on developing performance-critical applications, it is easy to make the wrong design and technology decisions. The power and promise of Apache OFBiz is comprehensively revealed in a collection of self-contained, quick, practical recipes in this Cookbook.This book covers a range of topics from initial system setup to web application and HTML page creation, Java development, and data maintenance tasks. Focusing on a series of the most commonly performed OFBiz tasks, it provides clear, cogent, and easy-to-follow instructions designed to make the most of your OFBiz experience.Let this book be your guide to enhancing your OFBiz productivity by saving you valuable time. Written specifically to give clear and straightforward answers to the most commonly asked OFBiz questions, this compendium of OFBiz recipes will show you everything you need to know to get things done in OFBiz.Whether you are new to OFBiz or an old pro, you are sure to find many useful hints and handy tips here. Topics range from getting started to configuration and system setup, security and database management through the final stages of developing and testing new OFBiz applications.
Jagat Jasjit Singh
As more and more organizations are discovering the use of big data analytics, interest in platforms that provide storage, computation, and analytic capabilities is booming exponentially. This calls for data management. Hadoop caters to this need. Oozie fulfils this necessity for a scheduler for a Hadoop job by acting as a cron to better analyze data. Apache Oozie Essentials starts off with the basics right from installing and configuring Oozie from source code on your Hadoop cluster to managing your complex clusters. You will learn how to create data ingestion and machine learning workflows.This book is sprinkled with the examples and exercises to help you take your big data learning to the next level. You will discover how to write workflows to run your MapReduce, Pig ,Hive, and Sqoop scripts and schedule them to run at a specific time or for a specific business requirement using a coordinator. This book has engaging real-life exercises and examples to get you in the thick of things. Lastly, you’ll get a grip of how to embed Spark jobs, which can be used to run your machine learning models on Hadoop.By the end of the book, you will have a good knowledge of Apache Oozie. You will be capable of using Oozie to handle large Hadoop workflows and even improve the availability of your Hadoop environment.
Rich Bowen, Ken Coar
Czy wiesz, jaki serwer HTTP jest najpopularniejszy w sieci? Właśnie tak, jest to Apache! W lipcu 2008 roku jego udział w rynku wynosił blisko 50% (według Netcraft). Historia tego serwera sięga roku 1995, kiedy ukazała się jego pierwsza oficjalna wersja, oznaczona numerem 0.6.2. Cechy, które zadecydowały o sukcesie tego rozwiązania, to bezpieczeństwo, skalowalność, wielowątkowość i obsługa różnorodnych języków skryptowych. Dzięki książce "Apache. Receptury" zapoznasz się z gotowymi przepisami na rozwiązanie ciekawych, specyficznych oraz intrygujących problemów. Nauczysz się instalować serwer z różnych źródeł oraz na różnych platformach. Dowiesz się, w jaki sposób zwiększyć jego bezpieczeństwo, jak uruchomić serwery wirtualne oraz poprawić wydajność Apache. Autorzy książki pokażą Ci, jak uruchomić obsługę języków skryptowych, tak aby serwowane strony stały się dynamiczne. Cała wiedza zostanie przedstawiona w sprawdzony w tej serii sposób: problem - rozwiązanie - analiza. Sposoby instalacji serwera Apache Dodawanie funkcjonalności dzięki modułom Możliwości rejestracji zdarzeń Konfiguracja serwerów wirtualnych Wykorzystanie aliasów, przekierowań oraz przepisań (mod_rewrite) Zarządzanie dostępem do serwowanych zasobów Bezpieczeństwo serwera Apache Wykorzystanie szyfrowanej transmisji - protokół SSL Zapewnienie wydajności Wykorzystanie języków skryptowych Oto książka z najlepszymi przepisami na Apache!
Alfonso Vidal Romero
Apache Roller enables you to build a fully-featured, multi-user blog server apt for all kinds of blogging sites. It is an ideal tool to create your own blogging network with unlimited users and blogs, forums, photo galleries, and more! While it is exciting to have a list of interesting features it can offer you, it might be a little difficult to get started with it by your self.This book will teach you how to get started with Apache Roller and make the most of all its features using step-by-step, detailed instructions. You will learn how to establish your internet presence with an Apache Roller blog and use the latest web tools to enhance your posts and attract visitors. You will also learn how to promote your blog on popular social bookmarking services and customize it to suit your need.This hands-on and practical book introduces you to Apache Roller. Starting off with the configuration and installation of your own blog, you'll then quickly learn how to add interesting content to your blog with the help of plenty of examples. You'll also learn how to change your blog's visual appearance with the help of Roller themes and templates and how to create a community of blogs for you and your colleagues or friends in your Apache Roller blog server. The book also looks at ways you can manage your community, and keep your site safe and secure, ensuring that it is a spam-free, enjoyable community for your users.
Anshul Johri, Sachin Handiekar
Apache Solr is a widely used, open source enterprise search server that delivers powerful indexing and searching features. These features help fetch relevant information from various sources and documentation. Solr also combines with other open source tools such as Apache Tika and Apache Nutch to provide more powerful features.This fast-paced guide starts by helping you set up Solr and get acquainted with its basic building blocks, to give you a better understanding of Solr indexing. You’ll quickly move on to indexing text and boosting the indexing time. Next, you’ll focus on basic indexing techniques, various index handlers designed to modify documents, and indexing a structured data source through Data Import Handler.Moving on, you will learn techniques to perform real-time indexing and atomic updates, as well as more advanced indexing techniques such as de-duplication. Later on, we’ll help you set up a cluster of Solr servers that combine fault tolerance and high availability. You will also gain insights into working scenarios of different aspects of Solr and how to use Solr with e-commerce data.By the end of the book, you will be competent and confident working with indexing and will have a good knowledge base to efficiently program elements.
Jayant Kumar
The Search tool is a very powerful for any website. No matter what type of website, the search tool helps visitors find what they are looking for using key words and narrow down the results using facets. Solr is the popular, blazing fast, open source enterprise search platform from the Apache Lucene project. It is highly scalable, providing distributed search and index replication, and it powers the search and navigation features of many of the world's largest websites.This book is a practical, hands-on, end-to-end guide that provides you with all the tools required to build a fully-featured search application using Apache Solr and PHP. The book contains practical examples and step-by-step instructions.Starting off with the basics of installing Apache Solr and integrating it with Php, the book then proceeds to explore the features provided by Solr to improve searches using Php. You will learn how to build and maintain a Solr index using Php, discover the query modes available with Solr, and how to use them to tune the Solr queries to retrieve relevant results. You will look at how to build and use facets in your search, how to tune and use fast result highlighting, and how to build a spell check and auto complete feature using Solr. You will finish by learning some of the advanced concepts required to runa large-scale enterprise level search infrastructure.
Romeo Kienzler, Md. Rezaul Karim, Sridhar Alla,...
Apache Spark is an in-memory, cluster-based data processing system that provides a wide range of functionalities such as big data processing, analytics, machine learning, and more. With this Learning Path, you can take your knowledge of Apache Spark to the next level by learning how to expand Spark's functionality and building your own data flow and machine learning programs on this platform.You will work with the different modules in Apache Spark, such as interactive querying with Spark SQL, using DataFrames and datasets, implementing streaming analytics with Spark Streaming, and applying machine learning and deep learning techniques on Spark using MLlib and various external tools.By the end of this elaborately designed Learning Path, you will have all the knowledge you need to master Apache Spark, and build your own big data processing and analytics pipeline quickly and without any hassle.This Learning Path includes content from the following Packt products:• Mastering Apache Spark 2.x by Romeo Kienzler• Scala and Spark for Big Data Analytics by Md. Rezaul Karim, Sridhar Alla• Apache Spark 2.x Machine Learning Cookbook by Siamak Amirghodsi, Meenakshi Rajendran, Broderick Hall, Shuen MeiCookbook
Rishi Yadav
While Apache Spark 1.x gained a lot of traction and adoption in the early years, Spark 2.x delivers notable improvements in the areas of API, schema awareness, Performance, Structured Streaming, and simplifying building blocks to build better, faster, smarter, and more accessible big data applications. This book uncovers all these features in the form of structured recipes to analyze and mature large and complex sets of data.Starting with installing and configuring Apache Spark with various cluster managers, you will learn to set up development environments. Further on, you will be introduced to working with RDDs, DataFrames and Datasets to operate on schema aware data, and real-time streaming with various sources such as Twitter Stream and Apache Kafka. You will also work through recipes on machine learning, including supervised learning, unsupervised learning & recommendation engines in Spark.Last but not least, the final few chapters delve deeper into the concepts of graph processing using GraphX, securing your implementations, cluster optimization, and troubleshooting.
Apache Spark 2.x for Java Developers. Explore big data at scale using Apache Spark 2.x Java APIs
Sourav Gulati, Sumit Kumar
Apache Spark is the buzzword in the big data industry right now, especially with the increasing need for real-time streaming and data processing. While Spark is built on Scala, the Spark Java API exposes all the Spark features available in the Scala version for Java developers. This book will show you how you can implement various functionalities of the Apache Spark framework in Java, without stepping out of your comfort zone.The book starts with an introduction to the Apache Spark 2.x ecosystem, followed by explaining how to install and configure Spark, and refreshes the Java concepts that will be useful to you when consuming Apache Spark's APIs. You will explore RDD and its associated common Action and Transformation Java APIs, set up a production-like clustered environment, and work with Spark SQL. Moving on, you will perform near-real-time processing with Spark streaming, Machine Learning analytics with Spark MLlib, and graph processing with GraphX, all using various Java packages.By the end of the book, you will have a solid foundation in implementing components in the Spark framework in Java to build fast, real-time applications.
Siamak Amirghodsi, Mohammed Guller, Shuen Mei, Meenakshi...
Machine learning aims to extract knowledge from data, relying on fundamental concepts in computer science, statistics, probability, and optimization. Learning about algorithms enables a wide range of applications, from everyday tasks such as product recommendations and spam filtering to cutting edge applications such as self-driving cars and personalized medicine. You will gain hands-on experience of applying these principles using Apache Spark, a resilient cluster computing system well suited for large-scale machine learning tasks.This book begins with a quick overview of setting up the necessary IDEs to facilitate the execution of code examples that will be covered in various chapters. It also highlights some key issues developers face while working with machine learning algorithms on the Spark platform. We progress by uncovering the various Spark APIs and the implementation of ML algorithms with developing classification systems, recommendation engines, text analytics, clustering, and learning systems. Toward the final chapters, we’ll focus on building high-end applications and explain various unsupervised methodologies and challenges to tackle when implementing with big data ML systems.
Ahmed Sherif, Amrith Ravindra, Michal Malohlava, Adnan...
Organizations these days need to integrate popular big data tools such as Apache Spark with highly efficient deep learning libraries if they’re looking to gain faster and more powerful insights from their data. With this book, you’ll discover over 80 recipes to help you train fast, enterprise-grade, deep learning models on Apache Spark.Each recipe addresses a specific problem, and offers a proven, best-practice solution to difficulties encountered while implementing various deep learning algorithms in a distributed environment. The book follows a systematic approach, featuring a balance of theory and tips with best practice solutions to assist you with training different types of neural networks such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs). You’ll also have access to code written in TensorFlow and Keras that you can run on Spark to solve a variety of deep learning problems in computer vision and natural language processing (NLP), or tweak to tackle other problems encountered in deep learning.By the end of this book, you'll have the skills you need to train and deploy state-of-the-art deep learning models on Apache Spark.
Apache Spark for Data Science Cookbook. Solve real-world analytical problems
Padma Priya Chitturi
Spark has emerged as the most promising big data analytics engine for data science professionals. The true power and value of Apache Spark lies in its ability to execute data science tasks with speed and accuracy. Spark’s selling point is that it combines ETL, batch analytics, real-time stream analysis, machine learning, graph processing, and visualizations. It lets you tackle the complexities that come with raw unstructured data sets with ease. This guide will get you comfortable and confident performing data science tasks with Spark. You will learn about implementations including distributed deep learning, numerical computing, and scalable machine learning. You will be shown effective solutions to problematic concepts in data science using Spark’s data science libraries such as MLLib, Pandas, NumPy, SciPy, and more. These simple and efficient recipes will show you how to implement algorithms and optimize your work.
Deepak Gowda
In the world of big data, efficiently processing and analyzing massive datasets for machine learning can be a daunting task. Written by Deepak Gowda, a data scientist with over a decade of experience and 30+ patents, this book provides a hands-on guide to mastering Spark’s capabilities for efficient data processing, model building, and optimization. With Deepak’s expertise across industries such as supply chain, cybersecurity, and data center infrastructure, he makes complex concepts easy to follow through detailed recipes.This book takes you through core machine learning concepts, highlighting the advantages of Spark for big data analytics. It covers practical data preprocessing techniques, including feature extraction and transformation, supervised learning methods with detailed chapters on regression and classification, and unsupervised learning through clustering and recommendation systems. You’ll also learn to identify frequent patterns in data and discover effective strategies to deploy and optimize your machine learning models. Each chapter features practical coding examples and real-world applications to equip you with the knowledge and skills needed to tackle complex machine learning tasks.By the end of this book, you’ll be ready to handle big data and create advanced machine learning models with Apache Spark.
Rindra Ramamonjison, Rindra Ramamonjison
Apache Spark. Kurs video. Przetwarzanie złożonych zbiorów danych
Marek Czuma
Obierz kurs na złożone zbiory danych Apache Spark to narzędzie do przetwarzania danych w trybie rozproszonym, które umożliwia budowanie zaawansowanych systemów operacji na złożonych zbiorach danych. Przetwarzanie rozproszone poprzez wykorzystanie wielu maszyn jednocześnie znacząco przyspiesza operacje na dużych ilościach danych. Spark jest niezwykle popularny, stosowany w licznych projektach, a jego rynkowy udział stale rośnie. Można go używać zarówno na platformach chmurowych, jak i on-premise. W czasach, gdy Apache Spark debiutował, dominowała technologia MapReduce, która szybko została zastąpiona przez Sparka z powodu jego wielokrotnie lepszej wydajności. Dzięki przetwarzaniu danych w pamięci może on być nawet 100 razy szybszy! Do dużych firm korzystających z tego narzędzia należą: eBay, który używa go do targetowanych ofert, i Netflix, przetwarzający w trybie strumieniowym ponad 450 miliardów zdarzeń dziennie. Spark jest narzędziem niezastąpionym w świecie big data – obsługuje różne rodzaje przetwarzania danych, w tym przetwarzanie wsadowe, strumieniowe, interaktywne zapytania i uczenie maszynowe. Oferuje API dla języków takich jak Python, Scala, Java i R. Dodatkowo ma bogaty ekosystem narzędzi i bibliotek, między innymi Spark SQL, rozszerzających jego funkcjonalność i umożliwiających szerokie zastosowanie w różnorodnych projektach. To wszechstronne narzędzie rewolucjonizuje sposób, w jaki przetwarzamy i analizujemy dane w dzisiejszym świecie. Zdobądź praktyczne umiejętności i dowiedz się, jak korzystać z Apache Spark w branży big data. W trakcie kursu: Nauczysz się podstawowej obsługi Apache Spark Dowiesz się, jak działa architektura Sparka Zrozumiesz, jak zbudować logiczną strukturę joba (aplikacji) sparkowego Poznasz struktury danych obecne w Sparku Odkryjesz wiele funkcji przydatnych przy operacjach na danych Nauczysz się budować własne funkcje do operacji na danych (UDF) Dowiesz się, jak łączyć zbiory danych Opanujesz oczyszczanie surowych danych przy użyciu Sparka Nauczysz się pracy na rzeczywistych zbiorach danych W trakcie szkolenia Apache Spark. Kurs video. Przetwarzanie złożonych zbiorów danych nauczysz się budowy Apache Spark, poznając jego architekturę i zasady działania na wielu maszynach. Zdobędziesz ogólne rozeznanie w strukturach Apache Spark, a także zrozumiesz, jak działają akcje i transformacje. Będziesz pracować ze strukturami danych, jak RDD i dataframe – łączyć je za pomocą Unions i Joins, wykonywać agregacje i korzystać z pakietu functions. Odkryjesz, jak pracować z plikami w Sparku, a także przeprowadzisz praktyczne ćwiczenia na danych z Netflixa i pizzerii w USA. Dowiesz się, jak tworzyć własną logikę w Sparku, w tym jak definiować i stosować funkcje UDF i transform. Na koniec opanujesz dobre praktyki wydajnościowe i zrealizujesz mikroprojekt, obejmujący przegląd i czyszczenie danych, budowę wyszukiwarki i generatora statystyk. Kurs ukończysz na poziomie podstawowym. Zdobyte umiejętności pozwolą Ci pewnie poruszać się w środowisku Sparka, jak również – z pomocą doświadczonego zespołu – wziąć udział w pierwszym komercyjnym projekcie Sparkowym. Oddaję w Twoje ręce kurs, który jest syntezą wielu lat mojej pracy z Apache Spark. Choć uwielbiam tę technologię, popełniłem przy niej więcej błędów, niż jest to przyzwoite. Tym kursem oszczędzę Ci znakomitej większości z nich! Mam głęboką nadzieję, że poza solidną zawartością merytoryczną, będziesz się po prostu świetnie bawić. Wierzę, że nie tylko dasz radę przejść go wzorowo, ale też że uruchomisz ogromne pokłady swojej kreatywności. Twoje możliwości są znacznie wyżej, niż sądzisz! Wierzę w Ciebie, więc laptop na biurko, kawa w dłoń i lecimy eksplorować fascynujący świat danych!