Szkolenia Big Data w Polsce

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do średniozaawansowanych naukowców danych i inżynierów danych, którzy chcą używać Google Colab i Apache Spark do przetwarzania i analizy dużych zbiorów danych.

Na zakończenie tego szkolenia uczestnicy będą w stanie:

• Zainstalować środowisko big data z użyciem Google Colab i Spark.
• Efektywnie przetwarzać i analizować duże zbiory danych za pomocą Apache Spark.
• Wizualizować big data w środowisku współpracy.
• Integrować Apache Spark z narzędziami chmurowymi.

Data Warehousing to praktyka projektowania, budowy i zarządzania centralnymi repozytoriami danych, które wspierają analizy, raportowanie i podejmowanie decyzji.

To prowadzone przez instruktora szkolenie na żywo (online lub stacjonarne) jest skierowane do danych profesjonalistów poziomu średniozaawansowanego, którzy chcą modelować dane wymiarowe, budować solidne potoki ETL i optymalizować obciążenia analityczne.

Po zakończeniu tego szkolenia uczestnicy będą mogli:

• Wyjaśniać podstawowe koncepcje i architektury data warehousing.
• Projektować modele wymiarowe i wybierać między schematami gwiazdkowymi i snowflake.
• Budować i orchestrować potoki ETL i ELT w sposób niezawodny.
• Rozróżniać obciążenia OLTP i OLAP oraz optymalizować je dla analiz.

Format kursu

• Interaktywne wykłady i dyskusje.
• Dużo ćwiczeń i praktyki.
• Ręczna implementacja w środowisku laboratoryjnym na żywo.

Opcje dostosowania kursu

• Aby poprosić o dostosowane szkolenie na ten kurs, skontaktuj się z nami w celu uzgodnienia.

Uczestnicy, którzy ukończą to prowadzone przez instruktora szkolenie na żywo w Polsce, zdobędą praktyczne, rzeczywiste zrozumienie Big Data i powiązanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję wykorzystać tę wiedzę w praktyce poprzez praktyczne ćwiczenia. Interakcja w grupie i informacje zwrotne od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych koncepcji Big Data, a następnie przechodzi do języków programowania i metodologii wykorzystywanych do realizacji Data Analysis. Na koniec omawiamy narzędzia i infrastrukturę, które umożliwiają Big Data przechowywanie, przetwarzanie rozproszone i Scala bility.

Greenplum to otwarta platforma przetwarzania masowo równoległego (MPP) przeznaczona dla analityki i dużej skali danych.

Ten prowadzony przez instruktora kurs (online lub na miejscu) jest skierowany do użytkowników technicznych o poziomie zaawansowanym do bardzo zaawansowanym, którzy chcą zrozumieć wewnętrzną architekturę Greenplum, budować optymalizowane modele danych i stosować wysokowydajne SQL w rozproszonych środowiskach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Zrozumieć architekturę shared-nothing Greenplum i model równoległości.
• Projektować rozproszone struktury tabel i partycje optymalizowane dla wydajności zapytań.
• Używać strategii indeksowania, formatów przechowywania i technik projektowania fizycznego.
• Interpretować plany EXPLAIN i optymalizować zapytania za pomocą najlepszych praktyk.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Ręczne wdrażanie w środowisku labora-torium na żywo.

Opcje dostosowania kursu

• Aby zapytać o dostosowany kurs dla tego szkolenia, prosimy o kontakt, aby umówić się.

Greenplum jest otwartą platformą do przetwarzania danych w dużych skalach opartą na PostgreSQL, zaprojektowaną do zaawansowanej analizy i dużej skalności magazynów danych.

Ten kurs prowadzony przez instruktora (online lub na miejscu) jest skierowany do administratorów średniego poziomu, którzy chcą zainstalować, skonfigurować i zarządzać środowiskami Greenplum skutecznie, w tym zarządzać aktualizacjami systemu i bibliotekami.

Po zakończeniu tego kursu uczestnicy będą mogli:

• Zainstalować i skonfigurować gotowy do produkcji klaster Greenplum.
• Zarządzać aktualizacjami systemu i bezpiecznie stosować poprawki.
• Zarządzać bibliotekami Greenplum do analizy i rozszerzeń.
• Rozwiązywać problemy i monitorować systemy Greenplum.

Format kursu

• Interaktywna wykład i dyskusja.
• Praktyczne użycie Greenplum w kontrolowanym środowisku laboratoryjnym.
• Przewodowane ćwiczenia skupione na konfiguracji klastra, przepływach aktualizacji i rozszerzeniach systemu.

Opcje dostosowania kursu

• Aby poprosić o dostosowany kurs dla tego kursu na podstawie Twojego środowiska lub platformy danych, skontaktuj się z nami, aby to zorganizować.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla zaawansowanych specjalistów ds. danych, którzy chcą zoptymalizować przepływy pracy przetwarzania danych, zapewnić integralność danych i wdrożyć solidne rozwiązania data lakehouse, które mogą obsługiwać złożoność nowoczesnych aplikacji big data.

Pod koniec tego szkolenia uczestnicy będą mogli

• Uzyskać dogłębne zrozumienie architektury Iceberg, w tym zarządzania metadanymi i układu plików.
• Skonfigurować Iceberg dla optymalnej wydajności w różnych środowiskach i zintegrować go z wieloma silnikami przetwarzania danych.
• Zarządzać wielkoskalowymi tabelami Iceberg, wykonywać złożone zmiany schematu i obsługiwać ewolucję partycji.
• Opanowanie technik optymalizacji wydajności zapytań i wydajności skanowania danych dla dużych zbiorów danych.
• Wdrożenie mechanizmów zapewniających spójność danych, zarządzanie gwarancjami transakcyjnymi i obsługę awarii w środowiskach rozproszonych.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla początkujących specjalistów od danych, którzy chcą zdobyć wiedzę i umiejętności niezbędne do efektywnego wykorzystania Apache Iceberg do zarządzania dużymi zbiorami danych, zapewnienia integralności danych i optymalizacji przepływów pracy przetwarzania danych.

Pod koniec tego szkolenia uczestnicy będą mogli

• Dokładnie zrozumieć architekturę, funkcje i zalety Apache Iceberg.
• Dowiedzieć się o formatach tabel, partycjonowaniu, ewolucji schematów i możliwościach podróży w czasie.
• Zainstalować i skonfigurować Apache Iceberg w różnych środowiskach.
• Tworzenie, zarządzanie i manipulowanie tabelami Iceberg.
• Zrozumienie procesu migracji danych z innych formatów tabel do Iceberg.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średniozaawansowanych specjalistów IT, którzy chcą podnieść swoje umiejętności w zakresie architektury danych, zarządzania, przetwarzania w chmurze i technologii Big Data, aby skutecznie zarządzać i analizować duże zbiory danych w celu migracji danych w swoich organizacjach.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć podstawowe pojęcia i komponenty różnych architektur danych.
• Uzyskać kompleksowe zrozumienie zasad zarządzania danymi i ich znaczenia w środowiskach regulacyjnych.
• Wdrażać i zarządzać strukturami zarządzania danymi, takimi jak Dama i Togaf.
• Wykorzystać platformy chmurowe do wydajnego przechowywania, przetwarzania i zarządzania danymi.

This instructor-led, live training in Polsce (online or onsite) is aimed at intermediate-level data engineers who wish to learn how to use Azure Data Lake Storage Gen2 for effective data analytics solutions.

By the end of this training, participants will be able to:

• Understand the architecture and key features of Azure Data Lake Storage Gen2.
• Optimize data storage and access for cost and performance.
• Integrate Azure Data Lake Storage Gen2 with other Azure services for analytics and data processing.
• Develop solutions using the Azure Data Lake Storage Gen2 API.
• Troubleshoot common issues and optimize storage strategies.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla programistów, którzy chcą używać i integrować Spark, Hadoop i Python do przetwarzania, analizowania i przekształcania dużych i złożonych zestawów danych.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować środowisko niezbędne do rozpoczęcia przetwarzania dużych zbiorów danych za pomocą Spark, Hadoop i Python.
• Zrozumieć funkcje, podstawowe komponenty i architekturę Spark i Hadoop.
• Dowiedz się, jak zintegrować Spark, Hadoop i Python w celu przetwarzania dużych zbiorów danych.
• Poznanie narzędzi w ekosystemie Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Tworzenie systemów rekomendacji opartych na filtrowaniu kolaboracyjnym podobnych do Netflix, YouTube, Amazon, Spotify i Google.
• Wykorzystanie Apache Mahout do skalowania algorytmów uczenia maszynowego.

Big Data i Zaawansowana Analiza Danych to zastosowanie zaawansowanych technik i narzędzi do analizy dużych, skomplikowanych zbiorów danych w celu uzyskania przydatnych wniosków i podejmowania strategicznych decyzji.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do zaawansowanych specjalistów ds. danych, którzy chcą wykorzystać najnowsze metody analityczne i technologie big data do analizy przewidywania, preskrypcyjnej i w czasie rzeczywistym.

Po ukończeniu tego szkolenia uczestnicy będą w stanie:

• Projektować i wdrażać duże procesy przetwarzania danych dla danych strukturowanych i nieskutururowanych.
• Zastosować zaawansowane techniki uczenia maszynowego i głębokiego uczenia do masowych zbiorów danych.
• Wykorzystać ramy obliczeń rozproszonych do analiz w czasie rzeczywistym i strumieni danych.
• Zintegrować analizę big data z systemami biznesu inteligentnego i podejmowania decyzji.

Format kursu

• Interaktywne wykłady i dyskusje.
• Wiele ćwiczeń i praktyki.
• Ręczne wdrażanie w środowisku laboraorium na żywo.

Opcje dostosowania kursu

• Aby złożyć wniosek o dostosowane szkolenie dla tego kursu, prosimy o kontakt w celu ustalenia szczegółów.

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla średniozaawansowanych specjalistów IT, którzy chcą mieć kompleksową wiedzę na temat IBM DataStage zarówno z perspektywy administracyjnej, jak i programistycznej, umożliwiając im efektywne zarządzanie i wykorzystywanie tego narzędzia w swoich miejscach pracy.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Zrozumieć podstawowe koncepcje DataStage.
• Dowiedz się, jak skutecznie instalować, konfigurować i zarządzać środowiskami DataStage.
• Łączyć się z różnymi źródłami danych i skutecznie wyodrębniać dane z baz danych, plików płaskich i źródeł zewnętrznych.
• Wdrożyć skuteczne techniki ładowania danych.

To szkolenie prowadzone przez instruktora w Polsce (online lub na miejscu) jest skierowane do administratorów systemów na poziomie początkującego do średniozaawansowanego, którzy chcą wdrażać, utrzymywać i optymalizować klastery Spark.

Po zakończeniu tego szkolenia uczestnicy będą w stanie:

• Instalować i konfigurować Apache Spark w różnych środowiskach.
• Zarządzać zasobami klastra i monitorować aplikacje Spark.
• Optymalizować wydajność klastrów Spark.
• Wdrażać środki zabezpieczające i zapewniać wysoką dostępność.
• Diagnozować i rozwiązywać typowe problemy związane z Spark.

Uczestnicy, którzy ukończą to prowadzone przez instruktora szkolenie na żywo w Polsce zdobędą praktyczne, rzeczywiste zrozumienie Big Data i powiązanych z nim technologii, metodologii i narzędzi.

Uczestnicy będą mieli okazję wykorzystać tę wiedzę w praktyce poprzez praktyczne ćwiczenia. Interakcja w grupie i informacje zwrotne od instruktora stanowią ważny element zajęć.

Kurs rozpoczyna się od wprowadzenia do podstawowych koncepcji Big Data, a następnie przechodzi do języków programowania i metodologii wykorzystywanych do analizy danych. Na koniec omawiamy narzędzia i infrastrukturę, które umożliwiają przechowywanie Big Data, przetwarzanie rozproszone i Scalability.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy dowiedzą się, jak używać Python i Spark razem do analizy dużych zbiorów danych podczas pracy nad ćwiczeniami praktycznymi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Dowiedzieć się, jak używać Sparka z Python do analizy Big Data.
• Pracować nad ćwiczeniami, które naśladują rzeczywiste przypadki.
• Używać różnych narzędzi i technik do analizy dużych zbiorów danych przy użyciu PySpark.

Grupa docelowa:

Kurs przeznaczony jest dla specjalistów IT szukających rozwiązania do przechowywania i przetwarzania dużych zestawów danych w środowisku systemów rozproszonych.

Wymagania:

Głęboka wiedza z zarządzania klastrami Hadoop.

Postęp technologiczny i rosnąca ilość informacji zmieniają sposób prowadzenia działalności w wielu branżach, w tym w administracji rządowej. [Generowanie danych rządowych i wskaźniki archiwizacji cyfrowej rosną ze względu na szybki rozwój urządzeń i aplikacji mobilnych, inteligentnych czujników i urządzeń, rozwiązań przetwarzania w chmurze i portali skierowanych do obywateli. W miarę jak informacje cyfrowe stają się coraz bardziej złożone, zarządzanie nimi, ich przetwarzanie, przechowywanie, zabezpieczanie i usuwanie również staje się bardziej złożone. Nowe narzędzia do przechwytywania, wyszukiwania, odkrywania i analizy pomagają organizacjom uzyskać wgląd w nieustrukturyzowane dane. Rynek rządowy znajduje się w punkcie zwrotnym, zdając sobie sprawę, że informacje są strategicznym zasobem, a rząd musi chronić, wykorzystywać i analizować zarówno ustrukturyzowane, jak i nieustrukturyzowane informacje, aby lepiej służyć i spełniać wymagania misji. W miarę jak liderzy rządowi dążą do ewolucji organizacji opartych na danych, aby skutecznie realizować misję, kładą podwaliny pod korelację zależności między zdarzeniami, ludźmi, procesami i informacjami.

Rozwiązania rządowe o wysokiej wartości będą tworzone z połączenia najbardziej przełomowych technologii:

• Urządzenia i aplikacje mobilne
• Usługi w chmurze
• Społecznościowe technologie biznesowe i sieci
• Big Data i analityka

IDC przewiduje, że do 2020 roku branża IT osiągnie wartość 5 bilionów dolarów, czyli o około 1,7 biliona dolarów więcej niż obecnie, a 80% wzrostu branży będzie napędzane przez technologie trzeciej platformy. W dłuższej perspektywie technologie te będą kluczowymi narzędziami do radzenia sobie ze złożonością coraz większej ilości informacji cyfrowych. Big Data jest jednym z inteligentnych rozwiązań branżowych i umożliwia rządowi podejmowanie lepszych decyzji poprzez podejmowanie działań w oparciu o wzorce ujawnione w wyniku analizy dużych ilości danych - powiązanych i niepowiązanych, ustrukturyzowanych i nieustrukturyzowanych.

Osiągnięcie tych celów wymaga jednak znacznie więcej niż tylko gromadzenia ogromnych ilości danych. "Nadanie sensu tym objętościom Big Data wymaga najnowocześniejszych narzędzi i technologii, które mogą analizować i wydobywać użyteczną wiedzę z ogromnych i różnorodnych strumieni informacji"” Tom Kalil i Fen Zhao z Biura Polityki Naukowej i Technologicznej Białego Domu napisali w poście na blogu OSTP.

Biały Dom zrobił krok w kierunku pomocy agencjom w znalezieniu tych technologii, ustanawiając w 2012 roku Narodową Inicjatywę Badań i Rozwoju Big Data. Inicjatywa ta obejmowała ponad 200 milionów dolarów na maksymalne wykorzystanie eksplozji Big Data i narzędzi potrzebnych do jej analizy.

Wyzwania, jakie stawia Big Data, są niemal tak zniechęcające, jak zachęcająca jest jego obietnica. Jednym z nich jest efektywne przechowywanie danych. Jak zawsze, budżety są napięte, więc agencje muszą zminimalizować cenę za megabajt pamięci masowej i przechowywać dane w łatwo dostępnym miejscu, aby użytkownicy mogli je uzyskać, kiedy chcą i jak tego potrzebują. Tworzenie kopii zapasowych ogromnych ilości danych zwiększa wyzwanie.

Skuteczna analiza danych jest kolejnym poważnym wyzwaniem. Wiele agencji korzysta z komercyjnych narzędzi, które pozwalają im przeszukiwać góry danych, dostrzegając trendy, które mogą pomóc im działać bardziej efektywnie. (Niedawne badanie przeprowadzone przez MeriTalk wykazało, że federalni dyrektorzy IT uważają, że Big Data może pomóc agencjom zaoszczędzić ponad 500 miliardów dolarów, jednocześnie spełniając cele misji).

Opracowane na zamówienie narzędzia Big Data również pozwalają agencjom zaspokoić potrzebę analizy ich danych. Na przykład Oak Ridge National Laboratory’s Computational Data Analytics Group udostępniła swój system analizy danych Piranha innym agencjom. System ten pomógł badaczom medycznym znaleźć powiązanie, które może ostrzegać lekarzy o tętniakach aorty przed ich wystąpieniem. Jest on również wykorzystywany do bardziej przyziemnych zadań, takich jak przeszukiwanie danych w celu połączenia kandydatów do pracy z menedżerami ds. rekrutacji.

Dzień 1 - zapewnia ogólny przegląd najważniejszych Big Data obszarów tematycznych. Moduł jest podzielony na szereg sekcji, z których każdej towarzyszy praktyczne ćwiczenie.

Dzień 2 - omawia szereg tematów związanych z praktykami analitycznymi i narzędziami dla środowisk Big Data. Nie wchodzi w szczegóły implementacji lub programowania, ale zamiast tego utrzymuje zasięg na poziomie koncepcyjnym, koncentrując się na tematach, które umożliwiają uczestnikom kompleksowe zrozumienie wspólnych funkcji analizy i funkcji oferowanych przez rozwiązania Big Data.

Dzień 3 - zawiera przegląd podstawowych i istotnych obszarów tematycznych związanych z architekturą platformy rozwiązań Big Data. Obejmuje mechanizmy Big Data wymagane do opracowania platformy rozwiązań Big Data i opcje architektoniczne do montażu platformy przetwarzania danych. Przedstawiono również typowe scenariusze, aby zapewnić podstawowe zrozumienie, w jaki sposób platforma rozwiązań Big Data jest ogólnie używana;

Dzień 4 - opiera się na Dniu 3, badając zaawansowane tematy związane z architekturą platformy rozwiązań Big Data. W szczególności wprowadzane i omawiane są różne warstwy architektoniczne, które składają się na platformę rozwiązań Big Data, w tym źródła danych, pozyskiwanie danych, przechowywanie danych, przetwarzanie danych i bezpieczeństwo;

Dzień 5 - obejmuje szereg ćwiczeń i problemów mających na celu sprawdzenie umiejętności delegatów w zakresie stosowania wiedzy z tematów omówionych w dniu 3 i 4;

Analityka Big Data obejmuje proces badania dużych ilości różnorodnych zestawów danych w celu odkrycia korelacji, ukrytych wzorców i innych przydatnych informacji.

Branża medyczna dysponuje ogromnymi ilościami złożonych, heterogenicznych danych medycznych i klinicznych. Zastosowanie analizy dużych zbiorów danych na danych dotyczących zdrowia stanowi ogromny potencjał w uzyskiwaniu wglądu w celu poprawy świadczenia opieki zdrowotnej. Jednak ogrom tych zbiorów danych stanowi ogromne wyzwanie w analizach i praktycznych zastosowaniach w środowisku klinicznym.

W tym prowadzonym przez instruktora szkoleniu na żywo (zdalnie) uczestnicy dowiedzą się, jak przeprowadzić analizę dużych zbiorów danych w zakresie zdrowia, przechodząc przez serię praktycznych ćwiczeń laboratoryjnych na żywo.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie narzędzi do analizy dużych zbiorów danych, takich jak Hadoop MapReduce i Spark.
• Zrozumienie charakterystyki danych medycznych
• Stosowanie technik big data do przetwarzania danych medycznych
• Badanie systemów i algorytmów big data w kontekście aplikacji zdrowotnych

Uczestnicy

• Programiści
• Naukowcy ds. danych

Format kursu

• Część wykładu, część dyskusji, ćwiczenia i ciężka praktyka praktyczna.

Uwaga

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają sposób myślenia, z jakim należy podejść do technologii Big Data, ocenić ich wpływ na istniejące procesy i zasady oraz wdrożyć te technologie w celu identyfikacji działalności przestępczej i zapobiegania przestępczości. Przeanalizowane zostaną studia przypadków z organizacji zajmujących się egzekwowaniem prawa na całym świecie, aby uzyskać wgląd w ich podejścia, wyzwania i wyniki.

Pod koniec tego szkolenia uczestnicy będą w stanie

• Połączyć technologię Big Data z tradycyjnymi procesami gromadzenia danych w celu złożenia historii podczas dochodzenia.
• Wdrożyć przemysłowe rozwiązania do przechowywania i przetwarzania dużych zbiorów danych do analizy danych.
• Przygotować propozycję przyjęcia najbardziej odpowiednich narzędzi i procesów w celu umożliwienia podejścia opartego na danych do dochodzenia w sprawach karnych.

Big Data to termin odnoszący się do rozwiązań przeznaczonych do przechowywania i przetwarzania dużych zbiorów danych. Opracowane początkowo przez Google rozwiązania Big Data ewoluowały i zainspirowały inne podobne projekty, z których wiele jest dostępnych jako open-source. R jest popularnym językiem programowania w branży finansowej.

Gdy tradycyjne technologie pamięci masowej nie radzą sobie z ilością danych, które trzeba przechowywać, istnieją setki alternatyw. Ten kurs stara się wskazać uczestnikom, jakie są alternatywy dla przechowywania i analizowania Big Data oraz jakie są ich zalety i wady.

Kurs ten koncentruje się głównie na dyskusji i prezentacji rozwiązań, choć na żądanie dostępne są ćwiczenia praktyczne.

Kurs jest częścią zestawu umiejętności Data Scientist (Domena: Dane i technologia).

Ta sesja szkoleniowa oparta na klasie zbada Big Data. Delegaci będą mieli komputerowe przykłady i ćwiczenia studium przypadku do podjęcia z odpowiednimi narzędziami big data

Uczestnicy

Jeśli próbujesz nadać sens danym, do których masz dostęp lub chcesz analizować nieustrukturyzowane dane dostępne w sieci (takie jak Twitter, LinkedIn itp.), ten kurs jest dla Ciebie.

Jest on skierowany głównie do decydentów i osób, które muszą wybrać, jakie dane warto gromadzić i co warto analizować.

Nie jest on skierowany do osób konfigurujących rozwiązanie, jednak osoby te skorzystają z szerszej perspektywy.

Tryb dostawy

Podczas kursu delegaci zostaną zapoznani z działającymi przykładami głównie technologii open source.

Po krótkich wykładach odbędzie się prezentacja i proste ćwiczenia dla uczestników.

Używana zawartość i oprogramowanie

Całe używane oprogramowanie jest aktualizowane za każdym razem, gdy kurs jest uruchamiany, więc sprawdzamy najnowsze możliwe wersje.

Obejmuje proces pozyskiwania, formatowania, przetwarzania i analizowania danych, aby wyjaśnić, jak zautomatyzować proces podejmowania decyzji za pomocą uczenia maszynowego.

Big data to zbiory danych, które są tak obszerne i złożone, że tradycyjne aplikacje do przetwarzania danych nie są w stanie sobie z nimi poradzić. Wyzwania związane z dużymi zbiorami danych obejmują przechwytywanie danych, przechowywanie danych, analizę danych, wyszukiwanie, udostępnianie, przesyłanie, wizualizację, zapytania, aktualizację i prywatność informacji.

Kurs jest dedykowany specjalistom IT poszukującym rozwiązania do przechowywania i przetwarzania dużych zbiorów danych w środowisku systemu rozproszonego

Cel kursu:

Nabycie wiedzy dotyczącej zarządzania Hadoop klasterem

Apache Hadoop jest najpopularniejszym frameworkiem do przetwarzania danych na klastrach serwerów. W tym trzydniowym (opcjonalnie czterodniowym) kursie uczestnicy dowiedzą się o korzyściach biznesowych oraz przypadkach użycia Hadoop i jego ekosystemu, jak planować wdrażanie i skalowanie klastrów, jak instalować, utrzymywać, monitorować, diagnozować i optymalizować Hadoop. Będą również ćwiczyć wczytywanie dużych ilości danych do klastru, zapoznać się z różnymi dystrybucjami Hadoop oraz ćwiczyć instalację i zarządzanie narzędziami ekosystemu Hadoop. Kurs kończy się dyskusją o zabezpieczaniu klastru za pomocą Kerberosa.

„…Materiały były bardzo dobrze przygotowane i bardzo szczegółowo omówione. Laboratorium było bardzo pomocne i dobrze zorganizowane” — Andrew Nguyen, Główny Inżynier Integracji Bazy Danych, Microsoft Online Advertising

Grupa docelowa

Administratorzy Hadoop

Format

Wykłady i laboratoria praktyczne, przybliżony podział 60% wykładów, 40% laboratoriów.

Apache Hadoop jest najpopularniejszym frameworkiem do przetwarzania danych na klastrze serwerów. Ten kurs wprowadzi programistę w różne komponenty (HDFS, MapReduce, Pig, Hive i HBase) ekosystemu Hadoop.

Apache Hadoop jest jednym z najpopularniejszych frameworków do przetwarzania danych na klasterach serwerów. Ten kurs zagłębia się w zarządzanie danymi w HDFS, zaawansowane techniki Pig, Hive oraz HBase. Te zaawansowane techniki programowania będą korzystne dla doświadczonych developerów Hadoop.

Grupa docelowa: developerzy

Czas trwania: trzy dni

Format: wykłady (50%) oraz praktyczne warsztaty (50%).

Grupa docelowa:

Ten kurs ma na celu demistyfikację technologii big data/Hadoop i pokazanie, że nie jest trudna do zrozumienia.

To prowadzone przez instruktora szkolenie na żywo w Polsce (online lub na miejscu) jest przeznaczone dla administratorów systemów, którzy chcą dowiedzieć się, jak konfigurować, wdrażać i zarządzać klastrami Hadoop w swojej organizacji.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apache Hadoop.
• Zrozumienie czterech głównych komponentów ekosystemu Hadoop: HDFS, MapReduce, YARN i Hadoop Common.
• Używanie rozproszonego systemu plików Hadoop (HDFS) do skalowania klastra do setek lub tysięcy węzłów.
• Konfigurowanie HDFS do działania jako silnik pamięci masowej dla lokalnych wdrożeń Spark.
• Konfiguracja Spark, aby uzyskać dostęp do alternatywnych rozwiązań pamięci masowej, takich jak Amazon S3 i systemów baz danych NoSQL, takich jak Redis, Elasticsearch, Couchbase, Aerospike itp.
• Wykonywanie zadań administracyjnych, takich jak udostępnianie, zarządzanie, monitorowanie i zabezpieczanie klastra Apache Hadoop.

Ten kurs wprowadza HBase – magazyn NoSQL na szczycie Hadoop.  Kurs jest przeznaczony dla programistów, którzy będą używać HBase do tworzenia aplikacji  i administratorów, którzy będą zarządzać klastrami HBase.

Przeprowadzimy programistę przez architekturę HBase, modelowanie danych i tworzenie aplikacji na HBase. Omówimy również korzystanie z MapReduce z HBase oraz niektóre tematy administracyjne związane z optymalizacją wydajności. Kurs jest bardzo praktyczny i zawiera wiele ćwiczeń laboratoryjnych.

Czas trwania : 3 dni

Odbiorcy : Programiści  & Administratorzy

In this instructor-led, live training in Polsce (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą dowiedzieć się, jak wdrożyć strategię uczenia maszynowego, jednocześnie maksymalizując wykorzystanie dużych zbiorów danych.

Po zakończeniu tego szkolenia uczestnicy będą

• Zrozumienie ewolucji i trendów w uczeniu maszynowym.
• Zapoznanie się ze sposobami wykorzystania uczenia maszynowego w różnych branżach.
• Zapoznanie się z narzędziami, umiejętnościami i usługami dostępnymi w celu wdrożenia uczenia maszynowego w organizacji.
• Zrozumienie, w jaki sposób uczenie maszynowe może być wykorzystywane do ulepszania eksploracji i analizy danych.
• Dowiedz się, czym jest pośredni backend danych i jak jest on wykorzystywany przez firmy.
• Zrozumienie roli, jaką odgrywają duże zbiory danych i inteligentne aplikacje w różnych branżach.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak wdrożyć i zarządzać Apache NiFi w środowisku laboratoryjnym na żywo.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zainstalować i skonfigurować Apachi NiFi.
• Pozyskiwać, przekształcać i zarządzać danymi z różnych, rozproszonych źródeł danych, w tym baz danych i dużych jezior danych.
• Automatyzować przepływy danych.
• Włączać analitykę strumieniową.
• Stosowanie różnych podejść do pozyskiwania danych.
• Przekształcanie danych Big Data w informacje biznesowe.

W tym prowadzonym przez instruktora szkoleniu na żywo w Polsce uczestnicy poznają podstawy programowania opartego na przepływie, opracowując szereg rozszerzeń demonstracyjnych, komponentów i procesorów przy użyciu Apache NiFi.

Pod koniec tego szkolenia uczestnicy będą mogli:

• Zrozumieć architekturę NiFi i koncepcje przepływu danych.
• Rozwijać rozszerzenia przy użyciu NiFi i interfejsów API innych firm.
• Rozwijać własny procesor Apache Nifi.
• Pozyskiwać i przetwarzać dane w czasie rzeczywistym z różnych i nietypowych formatów plików i źródeł danych.

To szkolenie prowadzone przez instruktora (online lub na miejscu) jest skierowane do naukowców danych, którzy chcą wykorzystać stos SMACK do budowy platform przetwarzania danych dla rozwiązań big data.

Po ukończeniu tego szkolenia uczestnicy będą w stanie:

• Zaimplementować architekturę kanału danych do przetwarzania dużych danych.
• Rozwinąć infrastrukturę klasterową z Apache Mesos i Docker.
• Analizować dane z użyciem Spark i Scala.
• Zarządzać niestrukturyzowanymi danymi z Apache Cassandra.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla inżynierów, którzy chcą skonfigurować i wdrożyć system Apache Spark do przetwarzania bardzo dużych ilości danych.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Apache Spark.
• Szybkie przetwarzanie i analizowanie bardzo dużych zbiorów danych.
• Zrozumienie różnicy między Apache Spark i Hadoop MapReduce i kiedy używać którego z nich.
• Integracja Apache Spark z innymi narzędziami uczenia maszynowego.

Krzywa uczenia się Apache Spark powoli rośnie na początku, wymaga dużo wysiłku, aby uzyskać pierwszy zwrot. Ten kurs ma na celu przeskoczenie pierwszej trudnej części. Po ukończeniu tego kursu uczestnicy zrozumieją podstawy Apache Spark , będą wyraźnie odróżniać RDD od DataFrame, nauczą się Pythona i Scala API, zrozumieją executory i zadania itp. Również zgodnie z najlepszymi praktykami, kurs ten silnie koncentruje się na wdrażaniu w chmurze, Databricks i AWS. Studenci zrozumieją również różnice między AWS EMR i AWS Glue, jedną z najnowszych usług Spark w AWS.  

AUDIENCJA:

Inżynier ds. danych, DevOps, Naukowiec ds. danych

CEL:

Ten kurs wprowadzi Apache Spark. Studenci dowiedzą się, jak  Spark pasuje  do ekosystemu Big Data i jak używać Spark do analizy danych.  Kurs obejmuje powłokę Spark do interaktywnej analizy danych, elementy wewnętrzne Spark, interfejsy API Spark, Spark SQL, przesyłanie strumieniowe Spark oraz uczenie maszynowe i graphX.

AUDIENCJA :

Programiści / analitycy danych

To prowadzone przez instruktora szkolenie na żywo w Polsce (na miejscu lub zdalnie) jest przeznaczone dla naukowców zajmujących się danymi i programistów, którzy chcą używać Spark NLP, zbudowanego na bazie Apache Spark, do opracowywania, wdrażania i skalowania modeli i potoków przetwarzania tekstu w języku naturalnym.

Pod koniec tego szkolenia uczestnicy będą mogli

• Skonfigurować niezbędne środowisko programistyczne, aby rozpocząć tworzenie potoków NLP za pomocą Spark NLP.
• Zrozumieć funkcje, architekturę i zalety korzystania z Spark NLP.
• Używać wstępnie wytrenowanych modeli dostępnych w Spark NLP do implementacji przetwarzania tekstu.
• Dowiedz się, jak budować, trenować i skalować modele Spark NLP dla projektów klasy produkcyjnej.
• Zastosuj klasyfikację, wnioskowanie i analizę nastrojów w rzeczywistych przypadkach użycia (dane kliniczne, spostrzeżenia dotyczące zachowań klientów itp.)

Spark SQL to moduł Apache Spark do pracy z ustrukturyzowanymi i nieustrukturyzowanymi danymi. Spark SQL dostarcza informacji o strukturze danych, a także o wykonywanych obliczeniach. Informacje te mogą być wykorzystywane do przeprowadzania optymalizacji. Dwa typowe zastosowania Spark SQL to: - wykonywanie zapytań SQL. - odczytywanie danych z istniejącej instalacji Hive.

W tym prowadzonym przez instruktora szkoleniu na żywo (na miejscu lub zdalnie) uczestnicy dowiedzą się, jak analizować różne typy zestawów danych za pomocą Spark SQL.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalowanie i konfigurowanie Sparka SQL.
• Przeprowadzanie analizy danych przy użyciu Spark SQL.
• Zapytania do zestawów danych w różnych formatach.
• Wizualizacja danych i wyników zapytań.

Format kursu

• Interaktywny wykład i dyskusja.
• Dużo ćwiczeń i praktyki.
• Praktyczne wdrożenie w środowisku live-lab.

Opcje dostosowywania kursu

• Aby zamówić niestandardowe szkolenie dla tego kursu, skontaktuj się z nami.

Szkolenie na żywo prowadzone przez instruktora (na miejscu lub zdalnie) jest przeznaczone dla osób technicznych, które chcą wdrożyć Talend Open Studio for Big Data w celu uproszczenia procesu odczytu i analizy Big Data.

Po zakończeniu tego szkolenia uczestnicy będą w stanie

• Instalacja i konfiguracja Talend Open Studio for Big Data.
• Połącz się z systemami Big Data, takimi jak Cloudera, HortonWorks, MapR, Amazon EMR i Apache.
• Zrozumienie i skonfigurowanie komponentów i konektorów Big Data w Open Studio.
• Konfiguracja parametrów do automatycznego generowania kodu MapReduce.
• Używanie interfejsu "przeciągnij i upuść" Open Studio do uruchamiania zadań Hadoop.
• Tworzenie prototypów potoków dużych zbiorów danych.
• Automatyzuj projekty integracji dużych zbiorów danych.