Verleger: 24
Apache Kafka. Kurs video. Przetwarzanie danych w czasie rzeczywistym
Paweł Pluta
Obierz kurs na... pracę z dużą ilością danych Oprogramowanie Apache Kafka powstało jako broker wiadomości w LinkedIn. Obecnie pełni funkcję rozproszonego systemu przetwarzania strumieniowego danych, używanego do budowania aplikacji opracowujących duże ilości danych w czasie rzeczywistym. Z zalet tego oprogramowania korzystają firmy na całym świecie – jest kluczowym narzędziem w takich sektorach jak bankowość, e-commerce, telekomunikacja itd. Znana ze swojej wyjątkowej wydajności i skalowalności Kafka to rozwiązanie idealne dla aplikacji o wysokich wymaganiach dotyczących pracy na danych. Umiejętność jej obsługi staje się więc wysoce pożądana na informatycznym rynku pracy. Jeśli chcesz dołączyć do grona programistów swobodnie czujących się w obszarach związanych z przetwarzaniem danych – zacznij od Kafki i naszego kursu. Dowiesz się z niego, jak zainstalować i skonfigurować Kafkę, a także jak jej używać. Niezależnie od tego, czy jesteś osobą początkującą, czy też bardziej zaawansowaną, znajdziesz tu coś dla siebie. Uzyskasz wszechstronną praktyczną wiedzę i umiejętności, które zastosujesz w różnych aspektach przetwarzania danych i rozwoju aplikacji w dzisiejszym świecie technologii. Szkolenie przygotuje Cię do stosowania Apache Kafka w realnych scenariuszach biznesowych i technologicznych, takich jak obsługa wolumenów danych w czasie rzeczywistym, integracja systemów i aplikacji, monitorowanie i logowanie operacji w dużych systemach czy włączanie oprogramowania do systemów analizy big data. Co Cię czeka podczas naszego profesjonalnego szkolenia Podczas kursu: Zdobędziesz wiedzę na temat tego, czym jest Kafka i dlaczego jest tak ważnym narzędziem w przetwarzaniu danych Poznasz główne komponenty Kafki, takie jak topic, partycja i offset Stworzysz producentów i konsumentów danych w Kafce, co jest kluczowe w zarządzaniu ich przepływem Opanujesz umiejętności w zakresie serializacji i deserializacji danych, co jest ważne w ich przetwarzaniu i przechowywaniu Przyjrzysz się grupom konsumentów i ich znaczeniu w architekturze Kafki Rozpracujesz rolę brokera (serwera) w systemie Kafka Opanujesz różne mechanizmy zapewniające wysoką dostępność i odporność danych w Kafce Dowiesz się, jak działa replikacja w Kafce i jak ją konfigurować Zgłębisz temat systemu potwierdzeń, który zapewnia niezawodność przesyłania danych Zrozumiesz, w jaki sposób zarządza się trwałością tematów w Kafce Poznasz rolę ZooKeepera w ekosystemie Kafki Zainstalujesz i skonfigurujesz Kafkę tak, aby odpowiadała Twoim potrzebom Będziesz tworzyć i modyfikować topiki, a także nimi zarządzać Pojmiesz zadania producenta i konsumenta danych poprzez ćwiczenia w konsoli Zintegrujesz Kafkę z aplikacjami Java, także w zakresie wysyłania wiadomości i pobierania danych Szkolenie Apache Kafka. Kurs video. Przetwarzanie danych w czasie rzeczywistym zapewnia solidne fundamenty teoretyczne i praktyczne, umożliwiając słuchaczom osiągnięcie poziomu średnio zaawansowanego. Absolwenci będą przygotowani do efektywnego stosowania Apache Kafka w różnych scenariuszach i wyposażeni w cenione na rynku pracy umiejętności. Kurs jest doskonałą propozycją dla osób, które chcą poszerzyć wiedzę i umiejętności w zakresie przetwarzania strumieniowego danych i zrozumieć, jak stosować Kafkę w praktycznych projektach IT. Chodź na Kafkę i poznaj ją bliżej Oprogramowanie Apache Kafka zostało stworzone przez zespół programistów w LinkedIn jako narzędzie do śledzenia aktywności użytkowników i przetwarzania logów. Później udostępniono je jako projekt open source. Z Kafki chętnie korzystają tacy giganci technologiczni jak Netflix, Uber, Spotify i Twitter – stosują ją do przetwarzania ogromnych ilości danych w czasie rzeczywistym. Na przykład Uber używa jej do przetwarzania miliardów wiadomości dziennie. W przeciwieństwie do tradycyjnych systemów kolejkowania wiadomości Kafka pozwala skalować w poziomie i radzić sobie z przetwarzaniem danych w czasie rzeczywistym na dużą skalę, co czyni ją wyjątkowym narzędziem w świecie big data. Często jest używana w architekturach opartych na przetwarzaniu strumieniowym zdarzeń (event streaming), co stanowi istotne odejście od tradycyjnego przetwarzania wsadowego (batch processing), pozwala bowiem na szybszą reakcję na dane w czasie rzeczywistym. Kafka znajduje również zastosowanie w projektach internetu rzeczy – tu może służyć jako centralny system do zbierania i przetwarzania danych z tysięcy urządzeń IoT. W testach wydajnościowych Kafka wykazała możliwość obsługi tysięcy wiadomości na sekundę, co czyni ją idealnym rozwiązaniem dla aplikacji wymagających szybkiego przetwarzania i analizy dużych ilości danych.
Raúl Estrada
Apache Kafka is a great open source platform for handling your real-time data pipeline to ensure high-speed filtering and pattern matching on the ?y. In this book, you will learn how to use Apache Kafka for efficient processing of distributed applications and will get familiar with solving everyday problems in fast data and processing pipelines.This book focuses on programming rather than the configuration management of Kafka clusters or DevOps. It starts off with the installation and setting up the development environment, before quickly moving on to performing fundamental messaging operations such as validation and enrichment.Here you will learn about message composition with pure Kafka API and Kafka Streams. You will look into the transformation of messages in different formats, such asext, binary, XML, JSON, and AVRO. Next, you will learn how to expose the schemas contained in Kafka with the Schema Registry. You will then learn how to work with all relevant connectors with Kafka Connect. While working with Kafka Streams, you will perform various interesting operations on streams, such as windowing, joins, and aggregations. Finally, through KSQL, you will learn how to retrieve, insert, modify, and delete data streams, and how to manipulate watermarks and windows.
Apache Karaf Cookbook. Over 60 recipes to help you get the most out of your Apache Karaf deployments
Jamie Goodyear, Johan Edstorm, Achim Nierbeck, Heath...
Apache Mahout Clustering Designs. Explore clustering algorithms used with Apache Mahout
Dragan Milcevski, Ashish Gupta, Ashish Gupta
Apache Mesos Cookbook. Efficiently handle and manage tasks in a distributed environment
David Blomquist, Tomasz Janiszewski
Apache Mesos is open source cluster sharing and management software. Deploying and managing scalable applications in large-scale clustered environments can be difficult, but Apache Mesos makes it easier with efficient resource isolation and sharing across application frameworks.The goal of this book is to guide you through the practical implementation of the Mesos core along with a number of Mesos supported frameworks. You will begin by installing Mesos and then learn how to configure clusters and maintain them. You will also see how to deploy a cluster in a production environment with high availability using Zookeeper.Next, you will get to grips with using Mesos, Marathon, and Docker to build and deploy a PaaS. You will see how to schedule jobs with Chronos. We’ll demonstrate how to integrate Mesos with big data frameworks such as Spark, Hadoop, and Storm. Practical solutions backed with clear examples will also show you how to deploy elastic big data jobs. You will find out how to deploy a scalable continuous integration and delivery system on Mesos with Jenkins. Finally, you will configure and deploy a highly scalable distributed search engine with ElasticSearch.Throughout the course of this book, you will get to know tips and tricks along with best practices to follow when working with Mesos.
Apache NiFi. Kurs video. Automatyzacja przepływu danych i narzędzia Big Data
Piotr Szymański
Obierz kurs na... sprawną pracę z danymi w świecie Big Data Rola danych stale rośnie. Dziś są one nowym złotem, najcenniejszym zasobem, zdolność do ich kolekcjonowania, przetwarzania i eksplorowania zgodnie z zapotrzebowaniem zaś cenną umiejętnością. Tym cenniejszą, że dostęp do nich stanowi warunek rozwoju sztucznej inteligencji, czyli najgorętszej dziś dziedziny IT. Wszak modele SI są trenowane dzięki karmieniu systemu ogromnymi wolumenami danych. Nie byłoby to możliwe bez zastosowania odpowiednich, przeznaczonych do pracy z danymi narzędzi. Jednym z najciekawszych jest Apache NiFi – opracowane przez Apache Software Foundation, przeznaczone do automatyzacji przepływu danych między systemami oprogramowania. Oferuje ono o wiele więcej niż tradycyjne systemy ETL (ang. extract, transform and load). Myślisz o pobieraniu danych z różnych źródeł i chcesz to robić w prosty sposób – korzystając z metody „przeciągnij i upuść”? Chcesz wyzwalać procesy według harmonogramu? Zamierzasz wykrywać nowe dane oprogramowaniem typu open source, bez kosztownych licencji? W takim razie ten kurs, poświęcony Apache NiFi, jest dla Ciebie. Oprogramowanie, o którym mowa, pozwoli Ci pobierać pliki o różnych formatach (jak CSV, JSON, XML, AVRO, ORC) z rozmaitych magazynów danych (na przykład HDFS, Amazon S3, Google Cloud Storage) w bardzo prosty sposób. Wystarczy, że przeciągniesz odpowiednie komponenty, a połączenie różnych systemów i przesyłanie danych między nimi z wykorzystaniem przykładowo baz danych, takich jak PostgreSQL, Oracle, SQL Server, MongoDB, Apache Cassandra czy nawet serwisy sieciowe i strumienie danych typu MQTT, JMS, Kafka, stanie się dziecinnie proste. Podobnie jak pobieranie i dystrybucja e-maili według treści. A to dopiero początek możliwości Apache NiFi. Chcesz poznać je wszystkie? Zapraszamy do wzięcia udziału w naszym kursie! Co Cię czeka podczas naszego profesjonalnego szkolenia W ramach kursu między innymi: Dowiesz się, jak zainstalować i skonfigurować Apache NiFi Nauczysz się używać tego narzędzia do pobierania i przetwarzania danych z różnych źródeł Będziesz analizować, testować i debugować procesy NiFi, a także tworzyć połączenia między poszczególnymi grupami procesów Poznasz sposób konfiguracji Apache NiFi Registry Zmonitorujesz wytworzone procesy i środowisko Przygotujesz prostą obsługę błędów procesów Stworzysz procesy wykorzystujące przetwarzanie warunkowe Apache NiFi. Kurs video. Automatyzacja przepływu danych i narzędzia Big Data jest przeznaczony dla początkujących słuchaczy. Po ukończeniu szkolenia będziesz w stanie samodzielnie pracować z Apache NiFi i dalej rozwijać zdobyte w trakcie nauki umiejętności. Apache NiFi Oprogramowanie to zostało stworzone przez National Security Agency (NSA) w USA i pierwotnie nazywało się NiagaraFiles. Projekt został przekazany do Apache Software Foundation w 2014 roku. Jeśli chodzi o graficzny software użytkownika, Apache NiFi jest jednym z nielicznych narzędzi, które służą do budowy przepływu danych i przy tym oferują pełne wizualne środowisko, a budowę przypływu pozwalają zrealizować za pomocą metody „przeciągnij i upuść”, z konfiguracją jedynie parametrów gotowych procesorów, takich jak adres bazy danych czy adres URL serwisu. Ułatwia to użytkownikom tworzenie złożonych przepływów danych i zarządzanie tym procesem. Bogaty ekosystem Apache NiFi ma w obecnej chwili 345 gotowych do użycia wbudowanych procesorów, które umożliwiają połączenie z niemal wszystkimi popularnymi systemami. Sama lista procesorów jest sukcesywnie rozwijana – wraz z nowymi wersjami, wydawanymi zwykle co kilka miesięcy.