Framework Apache Spark per sviluppatori: livello avanzato - corso 41.500 rubli. da IBS Training Center, formazione 24 ore, Data 26 novembre 2023.
Miscellanea / / December 05, 2023
La formazione fornisce una comprensione dettagliata della struttura interna e del funzionamento del framework Apache Spark: sia Spark Core (RDD), Spark SQL, Spark Streaming e Spark Structured Streaming. Vengono considerati i meccanismi per il lancio dei componenti del cluster Spark sotto il controllo di diversi gestori di cluster, la gestione dell'allocazione delle risorse (principalmente memoria) e i meccanismi di lavoro degli schedulatori. I vantaggi del formato di rappresentazione interna di Tungsten e il funzionamento dell'ottimizzatore Catalyst vengono esplorati in dettaglio.
Argomenti trattati:
Architettura interna Spark, ambiente runtime Spark
Impostazione del contesto Spark, SparkConf
Componenti interni RDD, layout logico
Migliori pratiche per la programmazione con RDD
Piano fisico: lavoro, fasi, compiti
Pianificatori ed esecuzione del piano fisico
Ottimizzazione della memoria, serializzazione, caching, garbage collection
API dell'origine dati, rappresentazione dei dati interni di Tungsten, formati di file
Ottimizzatore del catalizzatore
Microbatch Spark Streaming: ricezione e output dei dati
Streaming strutturato: ricezione e distribuzione dei dati