Spark Streaming with Python and Kafka - Plan Szkolenia

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą zintegrować Apache Kafka z istniejącymi bazami danych i aplikacjami do przetwarzania, analizy itp.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Używaj Kafka Connect do pozyskiwania dużych ilości danych z bazy danych do tematów Kafka.
• Załaduj dane dziennika generowane przez serwery aplikacji do tematów Kafka.
• Udostępnianie zebranych danych do przetwarzania strumieniowego.
• Eksportowanie danych z tematów Kafka do drugorzędnych systemów w celu przechowywania i analizy.

To prowadzone przez instruktora szkolenie na żywo (w trybie online lub na miejscu) jest przeznaczone dla inżynierów, którzy chcą korzystać z Confluent (dystrybucji Kafka) do budowania i zarządzania platformą przetwarzania danych w czasie rzeczywistym dla swoich aplikacji.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zainstaluj i skonfiguruj platformę Confluent.
• Korzystaj z narzędzi i usług do zarządzania Confluent, aby łatwiej uruchamiać Kafkę.
• Przechowywanie i przetwarzanie przychodzących danych strumieniowych.
• Optymalizacja i zarządzanie klastrami Kafka.
• Zabezpieczanie strumieni danych.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Ten kurs jest oparty na wersji open source Confluent: Confluent Open Source.
• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Apache Kafka to rozproszona platforma streamingowa. Jest de facto standardem w budowaniu potoków danych i rozwiązuje wiele różnych przypadków użycia związanych z przetwarzaniem danych: może być używana jako kolejka komunikatów, rozproszony dziennik, procesor strumieniowy itp.

Zaczniemy od ogólnej teorii dotyczącej potoków danych, a następnie przejdziemy do podstawowych koncepcji Kafki. Odkryjemy również ważne komponenty, takie jak Kafka Streams i Kafka Connect.

W tym instruktażowym szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak skonfigurować i zintegrować różne Stream Processing frameworki z istniejącymi systemami przechowywania dużych zbiorów danych oraz powiązanymi aplikacjami i mikrousługami.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie różnych Stream Processing frameworków, takich jak Spark Streaming i Kafka Streaming.
• Zrozumieć i wybrać najbardziej odpowiedni framework dla danego zadania.
• Przetwarzanie danych w sposób ciągły, współbieżny i rekord po rekordzie.
• Integracja Stream Processing rozwiązań z istniejącymi bazami danych, hurtowniami danych, jeziorami danych itp.
• Integracja najbardziej odpowiedniej biblioteki przetwarzania strumieniowego z aplikacjami korporacyjnymi i mikrousługami.

Ten kurs jest przeznaczony dla architektów korporacyjnych, programistów, administratorów systemów i każdego, kto chce zrozumieć i korzystać z wysokowydajnego rozproszonego systemu przesyłania wiadomości. Jeśli masz bardziej specyficzne wymagania (np. tylko strona administracji systemu), ten kurs może być dostosowany do Twoich potrzeb.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla administratorów systemów, którzy chcą skonfigurować, wdrożyć, zarządzać i optymalizować klaster Kafka klasy korporacyjnej.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Konfiguracja i administrowanie klastrem Kafka.
• Oceń korzyści i wady wdrożenia Kafki lokalnie i w chmurze.
• Wdrażanie i monitorowanie Kafki przy użyciu różnych narzędzi środowiska lokalnego i chmurowego.

To prowadzone przez instruktora szkolenie na żywo w Polsce (online lub na miejscu) jest przeznaczone dla średnio zaawansowanych programistów, którzy chcą tworzyć aplikacje Big Data z Apache Kafka.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

Tworzenie producentów i konsumentów Kafka do wysyłania i odczytywania danych z Kafka. Integracja Kafki z zewnętrznymi systemami za pomocą Kafka Connect. Pisanie aplikacji strumieniowych za pomocą Kafka Streams & ksqlDB. Integracja aplikacji klienckiej Kafka z Confluent Cloud w celu wdrożenia Kafki w chmurze. Zdobądź praktyczne doświadczenie poprzez praktyczne ćwiczenia i rzeczywiste przypadki użycia.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą korzystać z funkcji Apache Kafka w strumieniowym przesyłaniu danych z Python.

Pod koniec tego szkolenia uczestnicy będą mogli używać Apache Kafka do monitorowania i zarządzania warunkami w ciągłych strumieniach danych przy użyciu Python programowania.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych programistów Java, którzy chcą zintegrować Apache Kafka ze swoimi aplikacjami w celu niezawodnego, skalowalnego i wydajnego przesyłania wiadomości.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Zrozumieć architekturę i podstawowe komponenty Kafka.
• Skonfigurować i skonfigurować klaster Kafka.
• Produkować i konsumować wiadomości przy użyciu Java.
• Wdrożyć Kafka Streams do przetwarzania danych w czasie rzeczywistym.
• Zapewnienie odporności na błędy i skalowalności w aplikacjach Kafka.

This instructor-led, live training in Polsce (online or onsite) is aimed at intermediate-level system administrators who wish to harness Kafka's message queuing features effectively.

By the end of this training, participants will be able to:

• Understand Kafka's message queuing capabilities and architecture.
• Configure Kafka topics for message queuing scenarios.
• Produce and consume messages using Kafka.
• Monitor and manage Kafka as a message queue.

To prowadzone przez instruktora szkolenie na żywo w Polsce (online lub na miejscu) jest przeznaczone dla testerów oprogramowania, którzy chcą wdrożyć środki bezpieczeństwa sieci do aplikacji Apache Kafka.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Wdrożenie Apache Kafka na serwerze w chmurze.
• Wdrożenie szyfrowania SSL w celu zapobiegania atakom.
• Dodaj uwierzytelnianie ACL, aby śledzić i kontrolować dostęp użytkowników.
• Zapewnienie wiarygodnym klientom dostępu do klastrów Kafka za pomocą uwierzytelniania SSL i SASL.
.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla średnio zaawansowanych programistów, którzy chcą poznać podstawy Kafka i zintegrować je z Spring Boot.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozum Kafkę i jej architekturę.
• Dowiedz się, jak zainstalować, skonfigurować i skonfigurować podstawowe środowisko Kafka.
• Integracja Kafki z Spring Boot.

Kafka Streams to biblioteka po stronie klienta do tworzenia aplikacji i mikrousług, których dane są przekazywane do i z systemu przesyłania wiadomości Kafka. Tradycyjnie Apache Kafka polegał na Apache Spark lub Apache Storm do przetwarzania danych między producentami i odbiorcami wiadomości. Wywołując API Kafka Streams z poziomu aplikacji, dane mogą być przetwarzane bezpośrednio w Kafce, z pominięciem konieczności wysyłania danych do oddzielnego klastra w celu ich przetworzenia.

W tym prowadzonym przez instruktora szkoleniu na żywo uczestnicy dowiedzą się, jak zintegrować Kafka Streams z zestawem przykładowych Java aplikacji, które przekazują dane do i z Apache Kafka w celu przetwarzania strumieniowego.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumienie funkcji i zalet Kafka Streams w porównaniu z innymi strukturami przetwarzania strumieniowego
• Przetwarzanie danych strumieniowych bezpośrednio w klastrze Kafka
• Napisać aplikację lub mikrousługę w języku Java lub Scala, która integruje się z Kafka i Kafka Streams
• Napisać zwięzły kod, który przekształca wejściowe tematy Kafka w wyjściowe tematy Kafka
• Tworzenie, pakowanie i wdrażanie aplikacji

Uczestnicy

• Deweloperzy

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna

Uwagi

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami w celu ustalenia szczegółów.

This instructor-led, live training in Polsce (online or onsite) is aimed at beginner-level to intermediate-level system administrators who wish to learn how to effectively manage Kafka topics for efficient data streaming and processing.

By the end of this training, participants will be able to:

• Understand Kafka topic fundamentals and architecture.
• Create, configure, and manage Kafka topics.
• Monitor Kafka topics for health, performance, and availability.
• Implement security measures for Kafka topics.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą wdrożyć przetwarzanie strumieniowe Apache Kafka bez pisania kodu.

Pod koniec tego szkolenia uczestnicy będą mogli

• Zainstalować i skonfigurować Confluent KSQL.
• Skonfigurować potok przetwarzania strumieniowego przy użyciu tylko SQL poleceń (bez kodowania Java lub Python).
• Przeprowadzać filtrowanie danych, transformacje, agregacje, łączenia, okienkowanie i sesjonowanie w całości w SQL.
• Projektowanie i wdrażanie interaktywnych, ciągłych zapytań dla strumieniowego ETL i analiz w czasie rzeczywistym.