Plan Szkolenia

Podsumowanie Apache Airflow Podstawy

  • Podstawowe pojęcia: DAG, operatory i przepływ wykonania
  • Architektura i komponenty przepływu powietrza
  • Zrozumienie zaawansowanych przypadków użycia i przepływów pracy

Tworzenie niestandardowych operatorów

  • Zrozumienie anatomii operatora Airflow
  • Tworzenie niestandardowych operatorów dla określonych zadań
  • Testowanie i debugowanie niestandardowych operatorów

Niestandardowe haki i czujniki

  • Wdrażanie haków do integracji z systemami zewnętrznymi
  • Tworzenie czujników do monitorowania zewnętrznych wyzwalaczy
  • Zwiększanie interaktywności przepływu pracy za pomocą niestandardowych czujników

Tworzenie wtyczek Airflow

  • Zrozumienie architektury wtyczek
  • Projektowanie wtyczek rozszerzających funkcjonalność Airflow
  • Najlepsze praktyki zarządzania i wdrażania wtyczek

Integracja Airflow z systemami zewnętrznymi

  • Łączenie Airflow z bazami danych, interfejsami API i usługami w chmurze
  • Używanie Airflow do przepływów pracy ETL i przetwarzania danych w czasie rzeczywistym
  • Zarządzanie zależnościami między Airflow i systemami zewnętrznymi

Zaawansowane debugowanie i monitorowanie

  • Korzystanie z dzienników i metryk Airflow do rozwiązywania problemów
  • Konfigurowanie alertów i powiadomień dotyczących problemów z przepływem pracy
  • Wykorzystanie zewnętrznych narzędzi monitorujących z Airflow

Optymalizacja wydajności i Scala bility

  • Skalowanie Airflow za pomocą Celery i Kubernetes Executorów
  • Optymalizacja wykorzystania zasobów w złożonych przepływach pracy
  • Strategie wysokiej dostępności i odporności na błędy

Studia przypadków i rzeczywiste zastosowania

  • Odkrywanie zaawansowanych przypadków użycia w inżynierii danych i DevOps
  • Studium przypadku: Niestandardowa implementacja operatora dla ETL na dużą skalę
  • Najlepsze praktyki zarządzania przepływami pracy na poziomie przedsiębiorstwa

Podsumowanie i kolejne kroki

Wymagania

  • Dobre zrozumienie podstaw Apache Airflow, w tym DAG, operatorów i architektury wykonania.
  • Biegłość w programowaniu Python
  • Doświadczenie w integracji systemów danych i orkiestracji przepływu pracy

Uczestnicy

  • Inżynierowie danych
  • Inżynierowie DevOps
  • Architekci oprogramowania
 21 godzin

Liczba uczestników


cena netto za uczestnika

Opinie uczestników (1)

Propozycje terminów

Powiązane Kategorie