Data Engineer - corso 89.000 rubli. da Otus, formazione 4 mesi, data 30 novembre 2023.
Miscellanea / / December 03, 2023
Cosa ti darà questo corso?
- Comprendere le modalità principali per integrare, elaborare e archiviare i big data
- Capacità di lavorare con componenti dell'ecosistema Hadoop, storage distribuito e soluzioni cloud
- Competenze pratiche nello sviluppo di servizi dati, vetrine e applicazioni
- Conoscenza dei principi di organizzazione del monitoraggio, orchestrazione, testing
Il corso è indirizzato sviluppatori, amministratori DBMS e tutti coloro che cercano di migliorare il proprio livello professionale, padroneggiare nuovi strumenti e impegnarsi in compiti interessanti nel campo del lavoro con i dati.
Dopo aver studiato Ingegneria dei dati, diventerai uno specialista ricercato che:
- distribuisce, adatta e ottimizza gli strumenti di elaborazione dei dati
- adatta i set di dati per ulteriori lavori e analisi
- crea servizi che utilizzano i risultati dell'elaborazione di grandi quantità di dati
- responsabile dell'architettura dei dati in azienda
Casi di studio reali: esempi di implementazioni, utilizzo degli strumenti, ottimizzazione delle prestazioni, problemi, errori e risultati applicati
Orientamento altamente pratico:
Durante il corso creeremo in modo incrementale un prodotto funzionante, risolvendo i problemi applicati
Un quadro olistico delle sfide e dei compiti del business moderno e del ruolo del Data Engineer nel risolverli
La domanda tra i datori di lavoro
40 datori di lavoro sono già pronti a chiamare per un colloquio i diplomati del corso
6
corsiData engineer presso Wildberries, relatore del corso DE Junior. Più di 7 anni nel settore informatico
Laureato con lode all'Università statale di Voronezh. Attualmente studente del master HSE "System and Software Engineering". Esperienza professionale: 2 anni di lavoro come analista di dati e ingegnere di dati. Ora lavora con 5 database popolari, sviluppa in Python e sta rapidamente sviluppando le sue capacità. Pronto a condividere la mia esperienza.
1
BENESviluppa analisi in azienda da più di 10 anni. Tra i risultati ottenuti: - Costruzione del nostro sistema di analisi web end-to-end; - Costruzione di un magazzino analitico basato su MPP Vertica; - Organizzazione dell'elaborazione dati basata su Spark, Kafka, HDFS; -...
Sviluppa analisi in azienda da più di 10 anni. Tra i risultati ottenuti: - Costruzione del nostro sistema di analisi web end-to-end; - Costruzione di un magazzino analitico basato su MPP Vertica; - Organizzazione dell'elaborazione dati basata su Spark, Kafka, HDFS;- Creazione di processi per lavorare con i dati, inclusa la qualità dei dati;- Creazione di diversi strumenti interni per lavorare e strutturare i metadati (Catalogo dati);- Costruzione di un sistema di reporting aziendale, anche in tempo reale; - Da più di 5 anni, aumenta la Data Literacy all'interno dell'azienda, conducendo vari corsi di formazione su come lavorare con i dati, strumenti, SQL; Ha anche sviluppato diversi leader di analisi che ora lavorano in grandi aziende. L'obiettivo principale è comprendere i problemi aziendali quando si lavora con i dati e risolverli.
1
BENECapo dipartimento, Sberbank 8 anni di esperienza nello sviluppo industriale, compresa la creazione e la manutenzione di applicazioni web sia in grandi aziende che in startup. 3 anni di sviluppo di sistemi distribuiti per grandi amministrazioni pubbliche...
Capo dipartimento, Sberbank 8 anni di esperienza nello sviluppo industriale, compresa la creazione e la manutenzione di applicazioni web sia in grandi aziende che in startup. 3 anni di sviluppo di sistemi distribuiti per grandi clienti governativi. Implementato tre progetti da zero, dal prototipo al pronto per l'uso industriale. Attualmente impegnato nello sviluppo full-stack per clienti interni alla banca, risolvendo problemi relativi all'analisi e all'ingegneria dei dati. Esperienza nella programmazione in Java, Scala, Python, Javascript. Una vasta gamma di interessi professionali, che vanno dalla creazione di sistemi distribuiti all'analisi predittiva e all'analisi degli intenti. Istruzione: laurea presso l'UFU dal nome. B.N. Eltsin “Tecnologie dell’informazione”.
Architettura dei dati
-Argomento 1.Ingegnere dei dati. Compiti, competenze, strumenti, bisogni del mercato
-Argomento 2.Architettura delle applicazioni analitiche: componenti e principi di base
-Argomento 3.Soluzioni on-premise/cloud
-Argomento 4. Automazione e orchestrazione della pipeline – 1
-Argomento 5. Automazione e orchestrazione della pipeline – 2
Lago dati
-Argomento 6. File system distribuiti. HDFS/S3
-Argomento 7.Accesso SQL a Hadoop. Apache Hive/Presto
-Argomento 8. Formati di archiviazione dei dati e loro caratteristiche
-Argomento 9. Analisi del controllo remoto per 1 caso
-Argomento 10.Code di messaggi. Panoramica di Kafka.
-Argomento 11.Download di dati da sistemi esterni
-Argomento 12.Apache Spark – 1
-Argomento 13.Apache Spark – 2
DWH
-Argomento 14.DBMS analitici. Banche dati MPP
-Argomento 15.Modellazione DWH – 1. nozioni di base sul dbt
-Argomento 16.Modellazione DWH – 2. Archivio dati 2.0
-Argomento 17. Pratiche DevOps nelle applicazioni analitiche. CI+CD
-Argomento 18. Analisi del controllo remoto per il caso 2
-Argomento 19.Qualità dei dati. Gestione della qualità dei dati
-Argomento 20. Distribuzione di una soluzione BI
-Argomento 21.Monitoraggio/Metadati
NoSQL/NewSQL
-Argomento 22.Archiviazione NoSQL. Colonna larga e valore-chiave
-Argomento 23.Archiviazione NoSQL. Orientato ai documenti
-Tema 24.ELK
-Tema 25.ClickHouse
-Argomento 26. Analisi del controllo remoto per il caso 3
MLOps
-Argomento 27.Organizzazione e confezionamento del codice
-Argomento 28.Docker e architettura REST
-Tema 29.MLFlow + DVC
-Argomento 30. Distribuzione dei modelli
-Argomento 31. Analisi del controllo remoto per il caso 4
-Argomento 32. Analisi del controllo remoto per il caso 5
Progetto di diploma
-Argomento 33. Selezione dell'argomento e organizzazione del lavoro del progetto
-Argomento 34.Consultazione
-Argomento 35.Protezione