PySpark. Kurs video. Przetwarzanie i analiza danych w procesach ETL

Piotr Chudzik

Obierz kurs na... pracę z dużymi zbiorami danych Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić - na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifornijskim, dziś zarządzana przez Apache Software Foundation, świetnie nadaje się do analizy dużych zbiorów danych. Jej interfejs API, znany jako PySpark, skutecznie ułatwia integrację Sparka ze specjalistycznymi narzędziami PyData. W ostatnich latach PySpark stał się najpopularniejszym narzędziem służącym przetwarzaniu danych; może swobodnie zastąpić w tym zakresie SQL czy biblioteki pandas/numpy. Ze Sparka korzystają między innymi Databricks, DeepNote czy JupyterLab. Szczególną cechą i zaletą tego rozwiązania jest to, że umożliwia ono przetwarzanie danych w sposób rozproszony. Nasz kurs pozwala zdobyć bazową wiedzę z zakresu pracy z danymi za pomocą Apache Spark (PySpark). W jego trakcie będziemy przygotowywać dane, selekcjonować je, sortować, agregować, łączyć i grupować, a także stworzymy własne funkcje do mapowania ich i nauczymy się zapisywać je do pliku. Co Cię czeka podczas naszego profesjonalnego szkolenia W ramach nauki z proponowanym przez nas kursem między innymi: Skonfigurujesz środowisko pracy Dowiesz się, czym jest SparkSession i jak ją uruchomić Stworzysz podstawową DataFrame Dokonasz selekcję danych i je posortujesz Zbudujesz schemat dla danych Poznasz podstawowe operacje związane z agregacją danych i łączeniem zbiorów w jeden Przetransformujesz dane za pomocą takich metod jak konkatenacja, rzutowanie czy explode Wykreujesz własne funkcje dla PySpark Wykonasz mapowanie Zapiszesz dane i odczytasz je z pliku - także w formacie parquet PySpark. Kurs video. Przetwarzanie i analiza danych w procesach ETL kończy się na poziomie podstawowym. Otrzymana wiedza pozwoli Ci na samodzielne tworzenie pierwszych procesów związanych z transformacją i przetwarzaniem danych. Ułatwi Ci również ich mapowanie i zmianę typów danych. Po ukończeniu szkolenia bez problemu przygotujesz zadania z zakresu ETL. Apache Spark Apache Spark jest silnikiem zbudowanym specjalnie w celu przetwarzania danych. Został wyposażony w całą masę służących do tego bibliotek. Co ważne, dane w Sparku można przetwarzać równolegle, co stało się jednym z powodów, dla których technologia ta zdominowała świat big data. Apache Spark obsługuje wiele języków programowania, takich jak SQL, Scala, Python czy R, i pozwala rozwiązywać problemy na różne sposoby z zastosowaniem SQL, transmisji danych i uczenia maszynowego. Przydaje się wszędzie tam, gdzie ilość danych, które wymagają przetworzenia, przekracza możliwości tradycyjnych narzędzi.

Python dla zaawansowanych. Kurs video. Podnieś efektywność i jakość kodu

Piotr Chudzik

Obierz kurs na... zaawansowaną znajomość języka Python Python jest obecnie najpopularniejszym językiem programowania na świecie. Korzysta z niego nawet ChatGPT! To język dość łatwy do przyswojenia, intuicyjny i uniwersalny - programista, który stawia na rozwój, nie może obok Pythona przejść obojętnie. Kurs video, który dziś proponujemy, skupia się na kwestii podatności Pythona na automatyzację. Pokażemy, jak zaoszczędzić czas dzięki efektywnemu programowaniu z wykorzystaniem najlepszych technik. Dobrze, by słuchacz przed przystąpieniem do szkolenia posiadał już pewną znajomość Pythona w zakresie podstawowych typów danych, zmiennych, pętli, instrukcji warunkowych, ponieważ w trakcie nauki nie będziemy do nich wracać. Przyjrzymy się za to zagadnieniom, które w materiałach dla początkujących programistów języka Python zwykle są pomijane, takim jak dekorator, argumenty z operatorami * i ** czy menadżer kontekstu. Dodatkowo poruszymy tematy programowania obiektowego, testowania, a także przygotowania środowiska pracy. Co Cię czeka podczas naszego profesjonalnego szkolenia W ramach proponowanego przez nas kursu między innymi: Nauczysz się używać argumentów pakietowych (** i *) Dowiesz się, czym jest lambda i funkcja wyższego rzędu Poznasz dekorator, elementy, z jakich się składa, i nauczysz się go pisać Rozwiniesz wiedzę na temat programowania obiektowego Zoptymalizujesz pracę na plikach z pomocą menadżera kontekstu (operator with) i stworzysz do niego własną klasę Będziesz testować swój kod, a także pisać własne testy Co więcej... Poznasz nowe narzędzia zewnętrzne: Nauczysz się tworzyć środowiska wirtualne, dowiesz się, dlaczego są one potrzebne i jak nimi zarządzać Zainstalujesz nowe pakiety i moduły za pomocą narzędzia pip Stworzysz listę zależności przy użyciu pliku requirements.txt Zapoznasz się z pyenv - jednym z najlepszych rozwiązań dla programistów Pythona! Python dla zaawansowanych. Kurs video. Podnieś efektywność i jakość kodu wymaga od Ciebie podstaw znajomości języka, ale pomaga otworzyć się na szerokie zastosowanie nabytych umiejętności. Wiedza zdobyta w ramach kursu pozwoli Ci poprawić jakość tworzonego przez Ciebie kodu i zoptymalizować jego działanie. Ponadto wiele informacji zawartych w szkoleniu może się pojawić podczas rozmów rekrutacyjnych na takie stanowiska jak Python developer, data scientist, data engineer, QA engineer czy administrator systemów IT. Uniwersalny język świata IT Głównym zadaniem programisty jest dostarczanie aplikacji i programów zgodnych z biznesowymi oczekiwaniami zleceniodawcy - wewnątrzfirmowego albo zewnętrznego. Co istotne, klient żąda gwarancji, że produkt dostarczony przez jego twórcę będzie sprawny. Tłumacząc na język programistyczny: kod programu lub aplikacji musi działać mimo zmiany warunków, na przykład środowiska. I tu właśnie wkracza język Python. Tak uniwersalny, że można w nim budować aplikacje zarówno desktopowe, jak i mobilne, strony WWW, silniki do przetwarzania danych itd. Następnie zaś wszelkie te produkty poddają się automatycznemu testowaniu po to, by móc oddać zleceniodawcy aplikacje i programy, które go na pewno nie zawiodą. Wiedza, jaką zdobędziesz podczas tego kursu, pozwoli Ci zoptymalizować jakość pisanego kodu i tworzyć rozwiązania maksymalnie odporne na błędy. Dzięki naszym podpowiedziom będziesz w stanie zarządzać wieloma projektami w tym samym czasie, a także kreować testy niezbędne do testowania działania kodu.

Python od zera. Kurs video. Programuj wydajnie!

Piotr Chudzik

Obierz kurs na... naukę wydajnego programowania w Pythonie Powiedzieć, że Python jest jednym z najpopularniejszych języków programowania, to nic nie powiedzieć. Doceniają go i od lat wybierają developerzy na całym świecie. Oni go także rozwijają. Ten język programowania wysokiego poziomu jest bowiem dostępny jako projekt typu open source, z błogosławieństwem Python Software Foundation, by udoskonalać Pythona i udostępniać go kolejnym pokoleniom programistów. Stąd między innymi tak wielka liczba projektów, które dotąd w nim napisano, czy też łatwość znalezienia odpowiedzi na ważne pytania dotyczące programowania w tym języku - społeczność koderów skupionych wokół Pythona jest doprawdy imponująca. Tajemnica sukcesu Pythona tkwi jednak przede wszystkim w jego wszechstronności i elastyczności. Ideą przewodnią twórcy i osób rozwijających ten język była czytelność kodu źródłowego. Dodatkowo składnia charakteryzuje się tu przejrzystością, jest zwięzła, zrozumiała. Programista piszący w Pythonie ma dostęp do rozbudowanego pakietu bibliotek standardowych i to jemu pozostawia się wybór paradygmatu programowania (obiektowy, imperatywny, funkcyjny). I wreszcie, co bardzo istotne, Python pozostaje niezależny od systemu operacyjnego - współpracuje z każdym z nich. Zdecydowanie warto zaprzyjaźnić się z programowaniem w Pythonie. Jesteś gotów? Zatem - poznajcie się! Co Cię czeka podczas naszego profesjonalnego szkolenia Jako uczestnik proponowanego kursu: Nauczysz się przygotowywać swoje środowisko pracy i opanujesz podstawy pracy w Pythonie Dowiesz się, czym są skrypty i zmienne i jak przypisać do nich wartości Poznasz dostępne typy danych, a także sposoby ich konwersji Zaznajomisz się z operatorami: arytmetycznymi, porównania, logicznymi Opanujesz metody formatowania tekstu, instrukcje sterujące: if i match case, pętle for i while Dowiesz się, czym jest funkcja - jak ją napisać, utworzyć argumenty, typować i zwracać informacje - a także co to jest rekurencja i moduł Będziesz pracować na plikach odczytu i zapisu Zapoznasz się z pojęciem programowania obiektowego (klasy, ich atrybuty i funkcje) i zobaczysz, jak ich używać w projekcie Co więcej... Opanujesz takie pojęcia jak mutowalność danych, algorytm i pseudokod i dowiesz się, jak zaimplementować przykładowy algorytm sortujący Szkolenie Python od zera. Kurs video. Programuj wydajnie! zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci na czytanie i pisanie kodu w języku Python. Po odbyciu kursu będziesz w stanie zaprojektować i napisać prosty projekt konsolowy. Po co Ci Python? Tak naprawdę To, czego dowiesz się podczas szkolenia, z pewnością zastosujesz w praktyce. Z użyciem Pythona będziesz rozwiązywać proste problemy programistyczne i dalej rozwijać się w branży - samodzielnie lub w ramach kursów wyższego poziomu. Jeśli myślisz o pracy w IT, sama znajomość podstaw Pythona da Ci fory podczas starania się o takie stanowiska jak specjalista do spraw DevOps i data science czy data engineer. Jako programista Python będziesz mile widziany w każdym zespole dostarczającym software - Python to język tak wszechstronny i uniwersalny, że ci, którzy się w nim specjalizują, są postrzegani jako programistyczni „cudotwórcy”!

Scala 3. Kurs video. Programowanie funkcyjne

Piotr Chudzik

Obierz kurs na... programowanie funkcyjne w języku Scala Statycznie typowany język programowania Scala charakteryzuje się między innymi tym, że wspiera zarówno programowanie funkcyjne, jak i obiektowe. Co więcej, Scala jest językiem wieloplatformowym – działa na maszynie wirtualnej Javy i platformie .NET. W najnowszej wersji (3) składnia Scali mocno zbliża się do składni Pythona i równocześnie dzieli biblioteki z Javą, co czyni ją bardziej przystępną, pierwotnie bowiem próg wejścia dla tego języka był nieco wyższy niż na przykład dla Kotlina czy Javy. Warto poznać Scalę bliżej, szczególnie jeśli planuje się działać w takich dziedzinach jak data science, big data czy machine learning – programiści operujący w tych specjalizacjach na co dzień posługują się właśnie tym językiem. Korzystają z niego również takie firmy jak LinkedIn, Zalando czy X (wcześniej: Twitter). Powstała ponad dwadzieścia lat temu Scala wciąż cieszy się popularnością, programiści doceniają ją za wygodę, elastyczność, zwięzłość i możliwości, jakie oferuje. Zwracają uwagę na to, że kiedy piszą kod w Scali, są w stanie używać składni języka typowanego dynamicznie (jak Python) i nie tracą kontroli nad poprawnością kodu na etapie kompilacji. Programiści Scali cenią jej skondensowaną składnię i hybrydowość pozwalającą tworzyć kod obiektowy z wykorzystaniem elementów kodu funkcyjnego. Ci, którzy zgłębili Scalę, podkreślają, że aby się jej nauczyć, nie trzeba się od razu rzucać na głęboką wodę programowania funkcyjnego – można robić to stopniowo, o czym się przekonasz w trakcie naszego kursu. Co Cię czeka podczas naszego profesjonalnego szkolenia Z naszym kursem między innymi: Przygotujesz swoje środowisko pracy w Scali (systemy operacyjne Linux i Windows) Nauczysz się tworzyć własne zmienne – mutowalne i niemutowalne Dowiesz się, jak się przyjmuje dane od użytkownika Zobaczysz, jakie typy danych są dostępne i jak się je deklaruje Będziesz konwertować określony typ danych na inny Przeprowadzisz w Scali operacje matematyczne i logiczne Opanujesz sterowanie kodem za pomocą instrukcji if/match i pętli loop/while Przygotujesz kolekcje danych Zaimportujesz moduły – zmienne i funkcje Wykreujesz własne funkcje Scala 3. Kurs video. Programowanie funkcyjne kończy się na poziomie podstawowym. Zdobyta w trakcie szkolenia wiedza pozwoli Ci na podjęcie pierwszych kroków w świecie programowania opartego na języku funkcyjnym, jakim jest Scala.

SQL. Kurs video. Kompendium wiedzy na podstawie MySQL

Piotr Chudzik

Obierz kurs na... komunikację z bazami danych SQL to obok xBase najpopularniejszy język zapytań - stosowany przede wszystkim po to, by formułować zapytania do baz danych i otrzymywać w odpowiedzi raporty zawierające oczekiwane dane. Równocześnie SQL jest najpowszechniejszym w informatyce sposobem przechowywania informacji, na którym bazują takie nowoczesne systemy ich przechowywania i przetwarzania jak Apache Spark czy Apache Hive. Kto planuje karierę w IT, język SQL po prostu musi znać. Oczywiście po to, by móc pracować z rozmaitymi relacyjnymi bazami danych, ale przede wszystkim by w ogóle zacząć działać w świecie programistycznym. Wielu pracodawców uznaje znajomość SQL za obligatoryjną umiejętność przyszłego pracownika. Jeśli zatem myślisz o karierze programisty, eksperta do spraw DevOps, specjalisty data science lub data engineera, SQL jest dla Ciebie obowiązkowy. I warto od niego zacząć przygotowanie do zawodu - by nauczyć się działać w języku SQL, nie trzeba się znać na programowaniu! Wystarczy chęć i świadomość, że pomimo rozwoju rozmaitych alternatywnyh technologii służących gromadzeniu i analizom big data to relacyjne bazy danych wciąż rządzą i bez nich praktykowanie informatyki byłoby w dzisiejszych czasach praktycznie niemożliwe. Co Cię czeka podczas naszego profesjonalnego szkolenia? Ten kurs video: Rozpoczniesz od zainstalowania MySQL Server na systemach Windows i Ubuntu Następnie przejdziesz do tworzenia własnych baz danych Dowiesz się, jak stworzyć, zmodyfikować i usunąć tabelę Poznasz terminy „klucz główny” i „klucz obcy” Opanujesz polecenia INSERT INTO, SELECT i DISTINCT, a także brak wartości NULL Będziesz sortować i filtrować zbiory danych, grupować dane i wyświetlać je zgodnie ze swoimi oczekiwaniami Poćwiczysz tworzenie podzapytań, używanie funkcji matematycznych, testowych, daty i czasu Zobaczysz, czym w SQL jest widok, a czym indeks Co więcej... Opanujesz podstawy programowania i podstawy administrowania użytkownikami SQL. Kurs video. Kompendium wiedzy na podstawie MySQL zakończysz na poziomie podstawowym/średnio zaawansowanym. Opanowanie zawartego w nim materiału pozwoli Ci na pracę z relacyjnymi bazami danych za pomocą języka SQL: tworzenie nowych elementów, modyfikowanie aktualnie istniejących elementów, przeszukiwanie danych i ich optymalizowanie. UWAGA! W materiałach dodatkowych do kursu oprócz wykorzystanego kodu znajdziesz również aż 65 zadań do przećwiczenia oraz notatki z cennymi wskazówkami przy pracy z bazami danych. SQL - ulubiony język biznesu Język SQL został stworzony w latach 70. przez IBM. Jako pierwsza do swojego produktu wprowadziła go firma Oracle. Już w latach 80. SQL był standardem w komunikacji z serwerami relacyjnych baz danych. Relacyjnych, czyli takich, które pozwalają przechowywać powiązane ze sobą elementy danych i zapewniają do nich dostęp. W praktyce oznacza to, że jeśli korzysta się z relacyjnej bazy danych, automatycznie korzysta się z SQL. Stąd jego znajomość także jest swego rodzaju standardem w świecie programistycznym. Co istotne dla osoby zastanawiającej się nad kierunkiem, w jakim ma przebiegać jej informatyczna kariera: SQL jest wymagany w programowaniu aplikacji dla biznesu. Na tym języku bowiem opiera się praktycznie każda komercyjna aplikacja korzystająca z bazy danych. Bez znajomości SQL nie ma też właściwie możliwości generowania dodatkowych raportów do systemów klasy CRM czy ERP.