Plan Szkolenia
Wprowadzenie
Zrozumienie Big Data
Przegląd Sparka
Przegląd Python
Przegląd PySpark
- Dystrybucja danych przy użyciu struktury odpornych rozproszonych zbiorów danych
- Dystrybucja obliczeń przy użyciu operatorów API Spark
Konfigurowanie Python za pomocą Spark
Konfigurowanie PySpark
Używanie Amazon Web Services (AWS) instancji EC2 dla Sparka
Konfigurowanie Databricks
Konfigurowanie klastra AWS EMR
Nauka podstaw Python Programming
- Pierwsze kroki z Python
- Korzystanie z notatnika Jupyter
- Korzystanie ze zmiennych i prostych typów danych
- Praca z listami
- Korzystanie z instrukcji if
- Korzystanie z danych wejściowych użytkownika
- Praca z pętlami while
- Implementowanie funkcji
- Praca z klasami
- Praca z plikami i wyjątkami
- Praca z projektami, danymi i interfejsami API
Nauka podstaw Spark DataFrame
- Rozpoczęcie pracy z ramkami danych Spark
- Wdrażanie podstawowych operacji za pomocą Sparka
- Korzystanie z operacji Groupby i Aggregate
- Praca ze znacznikami czasu i datami
Praca nad projektem Spark DataFrame Ćwiczenie
Zrozumienie Machine Learning z MLlib
Praca z MLlib, Spark i Python dla Machine Learning
Zrozumienie regresji
- Nauka teorii regresji liniowej
- Wdrażanie kodu oceny regresji
- Praca nad przykładowym ćwiczeniem regresji liniowej
- Nauka teorii regresji logistycznej
- Implementacja kodu regresji logistycznej
- Praca nad przykładowym ćwiczeniem z regresji logistycznej
Zrozumienie Random Forests i drzew decyzyjnych
- Teoria metod drzew decyzyjnych
- Wdrażanie drzew decyzyjnych i kodów Random Forest
- Praca nad próbką Random Forest Ćwiczenie klasyfikacyjne
Praca z klastrami K-średnich
- Zrozumienie teorii grupowania K-średnich
- Implementacja kodu klastrowania K-średnich
- Praca nad przykładowym ćwiczeniem klastrowania
Praca z systemami rekomendacji
Wdrażanie przetwarzania języka naturalnego
- Zrozumienie Natural Language Processing (NLP)
- Przegląd narzędzi NLP
- Praca nad przykładowym ćwiczeniem NLP
Streaming z wykorzystaniem Spark na Python
- Przegląd Streaming z Spark
- Przykładowe ćwiczenie Spark Streaming
Uwagi końcowe
Wymagania
- Ogólne umiejętności programowania
Uczestnicy
- Programiści
- Specjaliści IT
- Naukowcy zajmujący się danymi
Opinie uczestników (7)
ankieta przed szkoleniem i zastosowanie jej wynikow.
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
przygotowanie środowisk wirtualnych, instrukcje z przygotowaniem przed szkoleniem, ankieta oczekiwań przed szkoleniem i zastosowanie wyników podczas szkolenia.
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
Przygotowane wirtualne środowisko, instrukcja przygotowania przed szkoleniem, ankieta oczekiwań przed szkoleniem i zastosowanie wyników podczas szkolenia
Krzysztof - Alfa Laval
Szkolenie - Python and Spark for Big Data (PySpark)
Podobało mi się, że było praktyczne. Kochałem zastosowanie teoretycznych wiedzy za pomocą praktycznych przykładów.
Aurelia-Adriana - Allianz Services Romania
Szkolenie - Python and Spark for Big Data (PySpark)
Przetłumaczone przez sztuczną inteligencję
Łatwość komunikacji i materiały.
Michal - summ-it s.a.
Szkolenie - Python and Spark for Big Data (PySpark)
Kontakt z prowadzącą, wiedza prowadzącej
Jakub - summ-it s.a.
Szkolenie - Python and Spark for Big Data (PySpark)
dużo praktycznych przykładów, na rzeczywistych danych