Školení Zpracování přirozeného jazyka II

Prerekvizity

• Základní znalost programování v Pythonu
• Středoškolská matematika
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení
• Znalosti na úrovni kurzu Zpracování přirozeného jazyka

Co si účastník odnese
V tomto kurzu navážeme na základní kurz Zpracování přirozeného jazyka pokročilejšími tématy. Zaměříme se především na předzpracování dat a nejnovější aplikace hlubokého učení ve zpracování textu. Bude se jednat především architektury neuronových sítí postavených na takzvaných Transformerech. S využitím metody transfer learningu ukážeme, jak lze využít velké předtrénované neuronové sítě pro nejrůznější praktické aplikace.

[Kód kurzu: AM1409]

1denní kurz | 9:00 - 17:30

Jazyk: Česky
Úroveň: advanced

Osnova školení:

1. Předzpracování textových dat
   
   • Kódování znaků a unicode normalizace
   • Tradiční tokenizace (jednoduché metody, Spacy, Moses)
   • Subword tokenizace (byte-pair kódování, wordpiece, sentencepiece)
   • Čištění dat (deduplikace, odstranění textového balastu)
2. Word embeddings
   
   • Obecné principy
   • Implementace skip-gram modelu
3. Strojový překlad s rekurentními sítěmi
   
   • Paměťové buňky LSTM a GRU
   • Implementace strojového překladu pomocí rekurentních sítí
4. Transformery
   
   • Attention is all you need
   • Architektura transformeru
   • GPT2
   • BERT
   • XLNET
5. Příklady transfer learningu pro zpracování přirozeného jazyka
   
   • Klasifikace textů
   • Rozpoznání jmenných entit
   • Question answering

Možnosti ubytování a parkování