Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Plan Szkolenia
Podsumowanie Apache Airflow Podstawy
- Podstawowe pojęcia: DAG, operatory i przepływ wykonania
- Architektura i komponenty przepływu powietrza
- Zrozumienie zaawansowanych przypadków użycia i przepływów pracy
Tworzenie niestandardowych operatorów
- Zrozumienie anatomii operatora Airflow
- Tworzenie niestandardowych operatorów dla określonych zadań
- Testowanie i debugowanie niestandardowych operatorów
Niestandardowe haki i czujniki
- Wdrażanie haków do integracji z systemami zewnętrznymi
- Tworzenie czujników do monitorowania zewnętrznych wyzwalaczy
- Zwiększanie interaktywności przepływu pracy za pomocą niestandardowych czujników
Tworzenie wtyczek Airflow
- Zrozumienie architektury wtyczek
- Projektowanie wtyczek rozszerzających funkcjonalność Airflow
- Najlepsze praktyki zarządzania i wdrażania wtyczek
Integracja Airflow z systemami zewnętrznymi
- Łączenie Airflow z bazami danych, interfejsami API i usługami w chmurze
- Używanie Airflow do przepływów pracy ETL i przetwarzania danych w czasie rzeczywistym
- Zarządzanie zależnościami między Airflow i systemami zewnętrznymi
Zaawansowane debugowanie i monitorowanie
- Korzystanie z dzienników i metryk Airflow do rozwiązywania problemów
- Konfigurowanie alertów i powiadomień dotyczących problemów z przepływem pracy
- Wykorzystanie zewnętrznych narzędzi monitorujących z Airflow
Optymalizacja wydajności i Scala bility
- Skalowanie Airflow za pomocą Celery i Kubernetes Executorów
- Optymalizacja wykorzystania zasobów w złożonych przepływach pracy
- Strategie wysokiej dostępności i odporności na błędy
Studia przypadków i rzeczywiste zastosowania
- Odkrywanie zaawansowanych przypadków użycia w inżynierii danych i DevOps
- Studium przypadku: Niestandardowa implementacja operatora dla ETL na dużą skalę
- Najlepsze praktyki zarządzania przepływami pracy na poziomie przedsiębiorstwa
Podsumowanie i kolejne kroki
Wymagania
- Dobre zrozumienie podstaw Apache Airflow, w tym DAG, operatorów i architektury wykonania.
- Biegłość w programowaniu Python
- Doświadczenie w integracji systemów danych i orkiestracji przepływu pracy
Uczestnicy
- Inżynierowie danych
- Inżynierowie DevOps
- Architekci oprogramowania
21 godzin
Opinie uczestników (1)
Umiejetnośc przekazania wiedzy, dobrze dobrana ilośc ćwiczeń,