Školení Strojové učení nad velkými daty

Prerekvizity

• Základy práce v Pythonu a v nástroji Google Colab
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Co si účastník odnese
Cílem tohoto kurzu je představit různé nástroje a koncepty ze strojového učení nad velkými daty. Po dokončení tohoto kurzu by měli účastníci být schopni říct jaký nástroj použít pro daný problém, zjistit jestli neexistuje jednodušší řešení a znát časté chyby a umět se jim vyhnout. Speciální pozornost věnujeme Sparku jakožto univerzálnímu nástroji, který lze použít jak pro zpracování velkých dat, tak pro ML nad velkými daty.

[Kód kurzu: AM1408]

1denní kurz | 9:00 - 17:30

Jazyk: Česky
Úroveň: intermediate

Osnova školení:

1. Přehled konceptů a nástrojů ve zpracování velkých dat
   
   • Od malých k velkým datům a odhad jejich hodnoty
   • Řádkové a sloupcové databáze
   • HDFS (Hadoop Distributed File System)
   • Formáty dat – Parquet, ORC, Avro
   • Komprese – gzip, snappy, zstd
   • SQL databáze – BigQuery, Redshift, Clickhouse, Snowflake, Vertica
2. Praktický příklad na srovnání malých a velkých dat
3. Úvod do Sparku
   
   • MapReduce
   • Spark Computing Engine a RDDs (Resilient Distributed Datasets)
   • DataFrames
   • Spark ekosystém
   • Nejčastější chyby
   • Kde pustit Spark
   • Alternativy – Apache Beam (Dataflow), Dask, lambdas
4. Praktický příklad se Sparkem
5. ML strategie pro velká data
   
   • Inkrementální učení
   • Dávkové učení pro neuronové sítě
   • Distribuované trénování
   • Federated learning
   • Alternativní strategie
     
     • Náhodné vzorkování
     • Podmodely
     • Větší výpočetní kapacity
6. Frameworky
   
   • Scikit-learn a partial_fit
   • MLlib
   • Dask-ML
7. Praktické příklady s frameworky
8. Nejčastějsí chyby

Možnosti ubytování a parkování