Plan Szkolenia

Wprowadzenie do Reinforcement Learning z retroakcji ludzkiej (RLHF)

  • Co to jest RLHF i dlaczego jest to ważne
  • Porównanie z metodami dopasowywania nadzorowanego
  • Zastosowania RLHF w nowoczesnych systemach AI

Modelowanie nagród z retroakcją ludzką

  • Zbieranie i strukturowanie retroakcji ludzkich
  • Budowanie i trenowanie modeli nagród
  • Ocena skuteczności modeli nagród

Trenowanie z optymalizacją polityki bliskiej (PPO)

  • Przegląd algorytmów PPO dla RLHF
  • Wdrażanie PPO z modelami nagród
  • Iteracyjne i bezpieczne dopasowywanie modeli

Praktyczne Fine-Tuning modeli językowych

  • Przygotowanie zbiorów danych do przepływów pracy RLHF
  • Ręczne dopasowywanie małego modelu językowego LM za pomocą RLHF
  • Wyzwania i strategie łagodzenia

Skalowanie RLHF do systemów produkcyjnych

  • Wymagania infrastruktury i obliczeniowe
  • Zapewnienie jakości i ciągłe pętle retroakcji
  • Najlepsze praktyki dla wdrażania i konserwacji

Rozważania etyczne i strategie łagodzenia uprzedzeń

  • Rozwiązywanie etycznych ryzyk związanych z retroakcją ludzką
  • Strategie wykrywania i korygowania uprzedzeń
  • Zapewnienie zgodności i bezpiecznych wyników

Przykłady z życia rzeczywistego i studia przypadku

  • Przykład: dopasowywanie ChatGPT z RLHF
  • Inne udane wdrożenia RLHF
  • Nauczenie się lekcji i wgląd w branżę

Podsumowanie i następne kroki

Wymagania

  • Zrozumienie podstaw uczenia nadzorowanego i wzmocnionego
  • Doświadczenie w dostrajaniu modeli i architektur sieci neuronowych
  • Znałość programowania Python i ram deep learning (np. TensorFlow, PyTorch)

Grupa docelowa

  • Inżynierowie Machine Learning
  • Badacze AI
 14 godzin

Liczba uczestników


cena netto za uczestnika

Propozycje terminów

Powiązane Kategorie