Data Engineer da zero a Junior - corso gratuito da Skillbox, formazione, Data: 29 novembre 2023.
Miscellanea / / November 30, 2023
Per principianti
Impara Python e SQL da zero. Imparare a raccogliere, analizzare ed elaborare i dati. Risolvi problemi basati su casi reali e aggiungili al tuo portfolio. Puoi iniziare una carriera in Ingegneria dei dati mentre studi.
Per i programmatori
Migliora la tua conoscenza di SQL per lavorare con i database. Percorrerai l'intero percorso di un ingegnere dei dati, dalla raccolta dei dati grezzi alla distribuzione del modello. L'esperienza nella programmazione ti aiuterà a comprendere rapidamente una nuova professione e a cambiare il tuo campo.
Per gli analisti principianti
Scopri tutte le fasi dell'utilizzo dei dati. Impara a raccogliere informazioni da diverse fonti, a costruire un'architettura per archiviarle e a visualizzare i report. Sarai in grado di preparare autonomamente i dati per le successive analisi.
Autore del corso Machine Learning. Senior Data Scientist, Team Lead presso SberData, Sber. 5+ anni nella professione
Relatore del corso, Direttore R&D, UBIC Tech. Più di 15 anni di esperienza nello sviluppo
Data Scientist presso Sberbank, matematico presso il Centro di calcolo dell'Accademia russa delle scienze. Blocco “Fondamenti di matematica per la scienza dei dati”. Più di 4 anni di esperienza nell'insegnamento della matematica superiore
Primo livello: formazione di base
Acquisisci familiarità con le principali aree di Data Science, forma e implementa il tuo primo modello ML. Acquisire conoscenze di base di matematica, statistica e teoria della probabilità. Tutto ciò ti aiuterà a comprendere i principi di base del lavoro con i dati. Il tempo medio di completamento è di 6 mesi.
Introduzione alla scienza dei dati
Attraverserai tutte le fasi del lavoro con i dati. Impara a identificare i problemi, raccogliere i requisiti aziendali. Scaricherai dati da varie fonti, condurrai analisi esplorative e preparerai il set di dati per un ulteriore utilizzo. Forma e implementa un modello ML già pronto, mettiti alla prova come analista di prodotto e marketing. Imparare a formulare e testare ipotesi. Padroneggia gli strumenti di base per il lavoro: Python, SQL, Excel, Power Bi, Airflow.
Matematica di base per la scienza dei dati
Acquisire conoscenze di base della matematica per lavorare con l'apprendimento automatico. Capirai cosa sono l'approssimazione, l'interpolazione, le funzioni, le regressioni, le matrici e i vettori. Impara a lavorare con entità matematiche nella libreria SymPy Python.
Fondamenti di statistica e teoria della probabilità
Comprenderai i principi del lavoro con variabili ed eventi casuali. Acquisire familiarità con alcuni tipi di distribuzioni e test statistici utili per costruire modelli e testare ipotesi.
Opportunità di tirocinio
Per ottenere uno stage sono sufficienti conoscenze e competenze di base: puoi continuare a studiare durante il corso e in azienda allo stesso tempo.
Secondo livello: Data Engineer Junior
Impara a raccogliere set di dati complessi, preparare presentazioni e creare pipeline di lavoro, distribuire progetti DS da zero e testare il codice. Sarai pronto per lavorare come Junior Data Engineer. Il tempo medio di completamento è di 6 mesi.
Blocco introduttivo
Scopri cosa fa un Data Engineer, quale ruolo gioca in un progetto di Data Science e quali sono i suoi percorsi professionali. Capirai come è strutturato il corso e quali argomenti studierai.
SQL
Impara a manipolare i dati nelle tabelle esistenti, esegui operazioni di inserimento, cancellazione e aggiornamento. È possibile salvare i dati dal database in vari formati. Scopri le funzioni delle finestre e le nozioni di base sulla preparazione dei data mart utilizzando SQL. Impara a garantire il corretto inserimento delle informazioni in modalità transazione. Sarai in grado di leggere e comprendere il registro delle transazioni. Scopri cosa sono gli indici, la loro architettura e dove vengono utilizzati. Impara le tecniche per velocizzare le query.
Pitone. LVL 2
Considera i tipi di dati, come possono essere convertiti e come Python e SQL interagiscono: ottenendo dati da un database, lavorando con i dati ed eseguendo query. Apprendi i concetti di base degli schemi di dati JSON e XML. Sarai in grado di configurare il debug dell'applicazione, scrivere test, rendere anonimi e crittografare i dati.
Librerie per Python
Imparerai quali sono le librerie per lavorare con i grafici, l'apprendimento supervisionato, la visualizzazione delle metriche e le fonti dei set di dati. Impara a usare Python e le librerie per lavorare con i dati. Puoi continuare ad imparare i Panda.
Flusso d'aria
Rivedi i concetti e le pratiche chiave per lavorare con Airflow. Apprendi i fondamenti dell'architettura e dell'interoperabilità dall'interfaccia utente alla CLI. Costruisci la tua prima pipeline di dati.
Nozioni di base su Spark
Master Spark: scopri su quali risorse informatiche opera, come archivia i dati e funziona con memoria e disco. Allestisci il tuo primo stand locale. Impara le basi di RDD: concetti di base, lavoro con fonti, azioni. Impara a lavorare con l'API Dataframe. Scopri i problemi di prestazioni e ottimizzazione quando si utilizza Dataframe, origini e tipi di dati, lavoro con dati validi/non validi, gestione degli errori, UDF, interazione con Python e SQL.
Nozioni di base sugli algoritmi di machine learning
Comprenderai i principali tipi di modelli di machine learning, i termini chiave e le definizioni. Impara gli algoritmi di regressione e gli algoritmi di clustering.
Distribuzione
Scopri le fasi principali della preparazione di un modello per la distribuzione, gli approcci alla creazione di un'API e i modi per gestire gli errori ed eseguire il debug delle applicazioni. Sarai in grado di risolvere i problemi di distribuzione e padroneggiare gli strumenti di spavalderia di base. Acquisisci familiarità con i processi chiave di bash: scrivere script, lavorare con le variabili e gli editor di testo sed e awk.
Progetti finali
Dopo aver superato il primo livello, prepara un progetto introduttivo. Alla fine del corso presenterai il tuo lavoro finale.
Introduzione alla scienza dei dati
Consolida le tue nuove conoscenze su un singolo progetto: passerai dal caricamento dei dati all'implementazione di un modello. Risolvi i problemi di un ingegnere di dati, un ingegnere di ML e un analista di dati per decidere la tua specializzazione.
Ingegnere dei dati
Progetto finale a livello Junior. Conduci un'analisi di gruppo e scarica i riferimenti API. Costruisci dashboard in base ai dati ricevuti.
Corsi bonus
Carriera dello sviluppatore: occupazione e sviluppo
Imparerai come scegliere un posto vacante adatto, prepararti per un colloquio e negoziare con un datore di lavoro. Potrai ottenere rapidamente una posizione che soddisfi le tue aspettative e competenze.
Sistema di controllo della versione Git
Impara a modificare il codice della versione, a creare e gestire repository, rami e a risolvere i conflitti di versione. Impara regole utili per lavorare con Git.
Inglese per specialisti IT
Acquisisci competenze linguistiche che ti aiuteranno a superare un colloquio con un'azienda straniera e a comunicare comodamente in team misti.