Деталі курсу

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych

Piotr Chudzik

Відеокурс

Obierz kurs na... operowanie przepływami danych

Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.

Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.

Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.

Co Cię czeka podczas naszego profesjonalnego szkolenia

W trakcie kursu między innymi:

  • Zobaczysz, jak poprawnie skonfigurować środowisko pracy
  • Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
  • Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
  • Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
  • Skonfigurujesz sensory
  • Uruchomisz polecenia SQL na bazie danych PostgreSQL
  • Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
  • Skorzystasz z szablonów Jinja do przekazywania parametrów
  • Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów

Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.

Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.

  • Назва: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
  • Автор: Piotr Chudzik
  • Час тривання: 04:48:53
  • ISBN: 978-83-289-0400-2, 9788328904002
  • Дата видання: 2023-10-19
  • Формат: Kurs Video
  • Ідентифікатор видання: vapair
  • Видавець: Videopoint
  • вікова категорія: 15+