Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
- Autor:
- Piotr Chudzik
- Ocena:
- 6.0/6 1 opinii
- Wersja:
- Online
- Czas trwania:
- 04:48:53
- Technologia:
- Airflow 2.7, Python 3.10, PostgreSQL 14
+ gratis
Kupując ten produkt dodatkowo otrzymasz:
Potoki danych. Leksykon kieszonkowy. Przenoszenie i przetwarzanie danych na potrzeby ich analizy ( ebook )
Opis kursu video Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
Obierz kurs na... operowanie przepływami danych
Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.
Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.
Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.
Co Cię czeka podczas naszego profesjonalnego szkolenia
W trakcie kursu między innymi:
- Zobaczysz, jak poprawnie skonfigurować środowisko pracy
- Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
- Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
- Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
- Skonfigurujesz sensory
- Uruchomisz polecenia SQL na bazie danych PostgreSQL
- Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
- Skorzystasz z szablonów Jinja do przekazywania parametrów
- Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów
Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.
Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.
Wybrane bestsellery
-
Dzisiejszą gospodarką rządzi informacja. Kto potrafi ją wyłuskać z zalewu danych, ten zyskuje konkurencyjną przewagę. Świadomi tego twórcy oprogramowania komputerowego stworzyli szereg narzędzi służących wyszukiwaniu informacji, ich przetwarzaniu, analizowaniu i prezentowaniu w sposób dostępny dla odbiorców. Jednym z nich jest Elasticsearch – techn
-
Programowanie wieloma językami stoi. Jednym z nich, może jeszcze nie najbardziej znanym, ale zdecydowanie coraz popularniejszym, jest Rust. Słynący z wydajności, bezpieczeństwa i przejrzystości, należy do języków chętnie wybieranych przez nowoczesnych programistów. Szczególnie dobrze sprawdza się podczas projektowania aplikacji sieciowych, gier, sy
-
Wraz z rozwojem sztucznej inteligencji i modeli językowych – a niewątpliwie żyjemy w czasach eksplozji AI – rośnie znaczenie osób będących w stanie w praktyce sięgać po zasoby, jakie oferuje nam ta nowoczesna technologia. Okazuje się, że pośród rozmaitych innych umiejętności potrafi ona także programować i analizować dane, przenika również na obsza
(59,15 zł najniższa cena z 30 dni)
76.05 zł
169.00 zł (-55%) -
Właściwe wymagania to nie tylko kwestia ich dokumentacji, ale też przede wszystkim kwestia odpowiedniego ich pozyskania i walidacji. Dobrej jakości wymagania zmniejszają ryzyko produktowe i projektowe, pozwalają tworzyć systemy, które realnie spełniają potrzeby interesariuszy i umożliwiają im osiągnięcie pożądanych celów. Każda osoba zaangażowana w
-
W 2022 roku około 10% architektury IT było zarządzane za pomocą chmur obliczeniowych. Prognozuje się, że ten trend będzie rósł i do 2027 roku rzeczony odsetek wzrośnie do 35%. Bez wątpienia wiąże się to z faktem, że świat IT ewoluuje niezwykle szybko, a współczesne aplikacje stają się coraz bardziej złożone – bez zaangażowania chmury nie byłoby moż
-
Jednym z obszarów, w które AI wkracza coraz śmielej, jest programowanie. Tam, gdzie pracuje się z liczbami, kodem i algorytmami, pomoc sztucznej inteligencji okazuje się nieoceniona. Jak ją zaprosić do współpracy? Tego dowiesz się z naszego kursu. Jego tematyka obejmuje bowiem programowanie z wykorzystaniem takich narzędzi jak ChatGPT czy GitHub Co
(67,60 zł najniższa cena z 30 dni)
76.05 zł
169.00 zł (-55%) -
PowerShell to zaawansowany interpreter poleceń oparty na środowisku programistycznym .NET Framework. Jest preferowanym narzędziem do kontrolowania i zarządzania środowiskiem Windows i Azure. W przeciwieństwie do większości powłok, które operują na łańcuchach znaków, PowerShell wykorzystuje obiekty. Takie rozwiązanie oferuje zupełnie nowe możliwości
-
Zdobyte podczas szkolenia umiejętności są niezbędne dla osób, które chcą zdać egzamin certyfikujący. Konieczne są również dla tych, którym brakuje wiedzy na poziomie zaawansowanym w zakresie tematyki CCNP Enterprise. Co więcej, Cisco CCNP Enterprise 350-401 ENCOR. Kurs video. Sieci przedsiębiorstwa i redundancja w warstwie trzeciej nie tylko pogłęb
-
ChatGPT. Kurs video. OpenAI i sztuczna inteligencja w praktyce to przewodnik po sposobach działania AI, który oprowadzi Cię po topowych wtyczkach i narzędziach i podpowie, jak budować prompty od podstaw. Taktyka opracowywania promptów i zrozumienie kontekstowości ChatGPT umożliwią Ci efektywne pozyskiwanie oczekiwanych informacji. Otrzymasz praktyc
(48,65 zł najniższa cena z 30 dni)
62.55 zł
139.00 zł (-55%) -
Wśród wielu produktów sygnowanych marką giganta z Redmond znajduje się Microsoft Windows Server. Początki tego systemu operacyjnego sięgają 1987 roku. W odpowiedzi na uświadomioną już wówczas potrzebę pracy w ramach niewielkich sieci lokalnych Microsoft wypuścił LAN Management 1.0, pierwszą wersję oprogramowania służącego zarządzaniu siecią kilku u
O autorze kursu video
Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.
Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.
Konfucjusz
Piotr Chudzik - pozostałe kursy
-
Powiedzieć, że Python jest jednym z najpopularniejszych języków programowania, to nic nie powiedzieć. Doceniają go i od lat wybierają developerzy na całym świecie. Oni go także rozwijają. Ten język programowania wysokiego poziomu jest bowiem dostępny jako projekt typu open source, z błogosławieństwem Python Software Foundation, by udoskonalać Pytho
-
Konteneryzacja jest alternatywą dla wirtualizacji. W pracy z nowo wdrażanymi, testowanymi czy usprawnianymi aplikacjami pozwala ograniczyć wykorzystanie zasobów i uruchamiać niezależnie wiele aplikacji na jednej maszynie. Kontenery są od siebie całkowicie odizolowane, nic o sobie nawzajem nie „wiedzą”, każdy zawiera własne środowisko. I właśnie ze
-
Platforma Docker znacznie ułatwiła życie programistom. Dzięki niej zarówno program, jak i jego zależności, takie jak biblioteki, pliki konfiguracyjne czy lokalne bazy danych, można umieścić w lekkim, przenośnym wirtualnym kontenerze, uruchamialnym na praktycznie każdym serwerze z systemem pracującym na jądrze Linux. Nic więc dziwnego, że Docker sta
-
Statycznie typowany język programowania Scala charakteryzuje się między innymi tym, że wspiera zarówno programowanie funkcyjne, jak i obiektowe. Co więcej, Scala jest językiem wieloplatformowym – działa na maszynie wirtualnej Javy i platformie .NET. W najnowszej wersji (3) składnia Scali mocno zbliża się do składni Pythona i równocześnie dzieli bib
-
Jeśli jesteś programistą, na przykład pracujesz jako specjalista w dziedzinie DevOps i do Twoich zadań należy między innymi utrzymanie środowiska produkcyjnego – także z użyciem rozwiązań chmurowych – nazwa Kubernetes z pewnością nie jest Ci obca. Przypomnijmy jednak dla porządku: zyskujący popularność na całym świecie Kubernetes (zwany także K8s)
-
Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić – na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifor
-
Kurs video, który dziś proponujemy, skupia się na kwestii podatności Pythona na automatyzację. Pokażemy, jak zaoszczędzić czas dzięki efektywnemu programowaniu z wykorzystaniem najlepszych technik. Dobrze, by słuchacz przed przystąpieniem do szkolenia posiadał już pewną znajomość Pythona w zakresie podstawowych typów danych, zmiennych, pętli, instr
-
Na szczęście Docker należy do tych technologii, w które łatwo się wdrożyć. Zresztą istnieje sporo szkoleń, kursów i książek dla początkujących użytkowników tego oprogramowania. Gorzej z opracowaniami na temat zaawansowanej obsługi Dockera. Tymczasem oferuje on wiele narzędzi i sztuczek, których znajomość pozwala przyspieszyć i ułatwić realizację za
-
Kto się decyduje na karierę programisty, musi wybrać swój „ulubiony” język. Ten, w którym będzie się specjalizować, doskonalić, pracować. Oczywiście nie musi to być jeden jedyny język. Chodzi po prostu o język pierwszego wyboru, w którego zakresie będzie się ekspertem. Wielu programistów wybiera do tej roli Javę, czyniąc ją tym samym jednym z najpo
-
Umiejętność zarządzania bazami danych z roku na rok jest coraz bardziej ceniona. Nic w tym dziwnego - ilość danych, jakimi dysponujemy, a które musimy gdzieś przechowywać, sortować, zestawiać ze sobą i z których chcemy wyciągać ważne dla siebie informacje, stale rośnie. Stąd firmy szczególnie wypatrują specjalistów, którzy potrafią to robić - poszu
Spis lekcji (odkodowane lekcje)
Kurs Video "Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych" zobaczysz:
-
w aplikacjach Ebookpoint i Videopoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych z dostępem do najnowszej wersji Twojej przeglądarki internetowej
Szczegóły kursu
- Ilość lekcji:
- 35
- Czas trwania:
- 4 godz. 48 min.
- Format:
- Online
- Data aktualizacji:
- 2023-10-19
- ISBN :
- 978-83-289-0400-2, 9788328904002
- Numer z katalogu:
- 214832
- Do kursu dołączone są materiały dodatkowe, znajdziesz je w Twojej Bibliotece
- Kategorie:
Big Data
Programowanie » Inne
Narzędzia programistyczne
- Kategoria wiekowa: 15+
Videopoint - inne kursy
-
Materiały wideo absolutnie przeważają wśród treści, jakie aktualnie konsumujemy. Nic dziwnego – coraz więcej ludzi nie tylko ogląda, ale także samodzielnie je tworzy i chce się nimi dzielić z odbiorcami. Produkowanie filmów stało się o wiele prostsze, odkąd na scenę wszedł DaVinci Resolve – świetne, w dużej części darmowe narzędzie, za pomocą które
-
Jeśli w swojej pracy masz lub miewasz do czynienia z danymi, z pewnością orientujesz się, że do tego celu stworzono dotąd całkiem sporo narzędzi. Nic dziwnego – przy tej liczbie danych, z jaką spotykamy się w dzisiejszym cyfrowym świecie, zdolność do ich sprawnego analizowania i wyciągania z nich konstruktywnych wniosków daje przewagę konkurencyjną
-
Administratorzy sieci komputerowych korzystają z szeregu narzędzi i programów wspomagających ich pracę. Także tych, które automatyzują czynności i przez to czynią zadania administratora prostszymi i mniej angażującymi czasowo niż jeszcze kilka lat temu. Nie zwalnia to jednak osób na tym stanowisku z obowiązku rozumienia, w jaki sposób funkcjonuje s
-
Firmy z branży IT prześcigają się w tworzeniu rozwiązań zwiększających wydajność pracy, jak również podnoszących poziom specjalizacji pracowników w określonych dziedzinach. Od kilku już lat pozycja full stack developera, który wykonywał wszystkie prace programistyczne, jest wielką rzadkością. Obecnie na rynku pracy rośnie zainteresowanie testerami
-
Czy znasz Angulara? Warto się z nim bliżej zaznajomić, ponieważ należy do najważniejszych frameworków służących do budowania interfejsów użytkownika w aplikacjach internetowych. Stworzony i wspierany przez Google, ma niezwykle spójny ekosystem i oferuje pełny zestaw narzędzi do tworzenia skalowalnych i kompleksowych aplikacji. Co istotne, tworząc z
-
Proponowany przez nas kurs video jest poświęcony grupie produktów typu open source, występujących pod wspólną nazwą Elastic Stack. Składają się na nią Elasticsearch, Kibana, Beats i – dla bardziej zaawansowanych – Logstash. Razem stanowią one zestaw narzędzi służących analizie i wizualizacji danych. Celem jest tu przede wszystkim monitorowanie poja
-
Sztuczna inteligencja, ChatGPT, sieci neuronowe, uczenie maszynowe, uczenie głębokie... Oto hasła, które elektryzują nie tylko branżę informatyczną na całym świecie. Wraz z rozwojem tej dziedziny wiedzy i w rytmie prezentowania kolejnych narzędzi rosną nadzieje na praktyczne, naukowe i biznesowe zastosowanie drzemiących w niej możliwości. Okazuje s
(45,15 zł najniższa cena z 30 dni)
58.04 zł
129.00 zł (-55%) -
Power Apps to platforma stworzona przez Microsoft, umożliwiająca łatwe projektowanie, tworzenie i dostosowywanie aplikacji bez konieczności posiadania głębokiej wiedzy programistycznej. Z użyciem Power Apps można budować niestandardowe aplikacje, które efektywnie wspierają i automatyzują różne procesy w organizacji. Co ciekawe, do tego, by to robić
-
Rust należy do grupy kompilowanych języków programowania ogólnego przeznaczenia. Stworzył go Graydon Hoare, w 2006 roku, z myślą o bezpieczeństwie, współbieżności i praktyczności. Trzy lata później pieczę nad projektem przejęła Mozilla Foundation, by w 2012 roku wypuścić pierwszą numerowaną wersję alfa. Aktualnie, w ramach Fundacji Rust, język jest
-
Cisco CCNP Enterprise [350-401 ENCOR] jest certyfikatem, który odzwierciedla szeroką wiedzę zdającego – zarówno teoretyczną, jak i praktyczną. Trzeba się bowiem legitymować naprawdę szerokimi umiejętnościami, by zdobyć ten certyfikat. Ze względu na obszerność tematu kurs przygotowujący do egzaminu został podzielony na kilka części – to szkolenie je
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas:
Kurs video
Oceny i opinie klientów: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych Piotr Chudzik (1) Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.
(1)
(0)
(0)
(0)
(0)
(0)