MLOps: tariffa 80.000 rubli. da Otus, formazione 5 mesi, data 30 novembre 2023.
Miscellanea / / November 30, 2023
Acquisirai la padronanza di tutte le competenze di machine learning necessarie per lo streaming di dati e ambienti distribuiti. Il programma include le conoscenze necessarie nei campi di Data Science e Data Engineering, che ti consentiranno di elaborare big data e scrivere algoritmi distribuiti in Spark.
Eserciterai ogni modulo completando i compiti. Al termine della formazione avrai un progetto finale che ti permetterà di riassumere tutte le conoscenze acquisite e di aggiungerle al tuo portfolio. Può essere svolto come parte di attività di lavoro sul set di dati o essere un progetto di apprendimento basato sui dati forniti da OTUS.
A chi è rivolto questo corso?
Per specialisti di machine learning o ingegneri del software che desiderano imparare a lavorare con i big data. In genere, tali compiti esistono nelle grandi aziende IT con un prodotto digitale su larga scala.
Per Data Scientist che desiderano rafforzare le proprie competenze con competenze ingegneristiche. Grazie al corso sarai in grado di elaborare dati e visualizzare autonomamente i risultati delle soluzioni ML in produzione.
Per imparare, avrai bisogno di competenze di base in scienza dei dati. Ti consigliamo di consultare la Mappa dei corsi di Data Science presso OTUS per scoprire il livello di formazione richiesto.
Imparerai:
- Utilizzare strumenti di pipeline ML standard in un ambiente distribuito;
- Sviluppa i tuoi blocchi per pipeline ML;
- Adattare gli algoritmi ML ad ambienti distribuiti e strumenti di big data;
- Utilizza Spark, SparkML, Spark Streaming;
- Sviluppare algoritmi per la preparazione dei dati in streaming per l'apprendimento automatico;
- Garantire il controllo di qualità in tutte le fasi del passaggio delle soluzioni ML al funzionamento industriale.
Domanda di specialisti
Le competenze che acquisirai saranno quanto più applicate e promettenti possibile. Sul mercato compaiono sempre più prodotti digitali, il cui sviluppo richiede il lavoro con i big data e l'elaborazione dei flussi. Già ora gli specialisti con un tale pool di competenze e una certa esperienza lavorativa possono beneficiare di uno stipendio di 270mila. rubli Un'altra tendenza: l'automazione dei processi di formazione e validazione, al contrario, in qualche modo svaluta il lavoro di un classico Data Scientist. Tutto si sta avvicinando al punto in cui anche un non specialista può fare una previsione adeguata. Pertanto, coloro che hanno competenze ingegneristiche almeno superficiali sono già in vantaggio.
Caratteristiche del corso
Molta pratica lavorando con i dati
Ampia gamma di competenze, dal ML distribuito e dall'elaborazione dei dati in flusso all'output di produzione
Strumenti e tecnologie attuali: Scala, Spark, Python, Docker
Comunicazione dal vivo con esperti tramite webinar e chat Slack
4
corsoImpegnato nello sviluppo di un team di Data Science che fornisce funzionalità basate sull'apprendimento automatico per i prodotti e servizi dell'azienda. In qualità di Data Scientist, ha partecipato allo sviluppo di Kaspersky MLAD e MDR AI Analyst. IN...
Impegnato nello sviluppo di un team di Data Science che fornisce funzionalità basate sull'apprendimento automatico per i prodotti e servizi dell'azienda. In qualità di Data Scientist, ha partecipato allo sviluppo di Kaspersky MLAD e MDR AI Analyst. Come sviluppatore C++ ha partecipato alla creazione di MaxPatrol SIEM e insegna informatica da molti anni. discipline scientifiche presso MSTU GA.Autore di una serie di rapporti sulla gestione e sviluppo di progetti ML, C++ e DS squadre. Membro della conferenza PC C++ Russia. Responsabile del programma
8
corsiOltre 20 anni di esperienza in progetti di sviluppo personalizzati nel settore IT. Decine di progetti di successo, compresi quelli con contratti governativi. Esperienza nello sviluppo e nell'implementazione di sistemi ERP, soluzioni open source, supporto per applicazioni ad alto carico. Docente di corsi su...
Oltre 20 anni di esperienza in progetti di sviluppo personalizzati nel settore IT. Decine di progetti di successo, compresi quelli con contratti governativi. Esperienza nello sviluppo e nell'implementazione di sistemi ERP, soluzioni open source, supporto per applicazioni ad alto carico. Docente di corsi su Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, nonché mentore del corso HighLoad
1
BENESpecialista nel lavoro con big data e machine learning. Per 8 anni ha lavorato presso Odnoklassniki.ru. Ho gestito il team di OK Data Lab (un laboratorio per ricercatori nel campo dei big data e delle macchine...
Specialista nel lavoro con big data e machine learning. Per 8 anni ha lavorato presso Odnoklassniki.ru. Ho gestito il team di OK Data Lab (un laboratorio per ricercatori nel campo dei big data e del machine learning). L'analisi dei big data in Odnoklassniki è diventata un'occasione unica per combinare formazione teorica e basi scientifiche con lo sviluppo di prodotti reali e richiesti. Dal 2019 lavora presso Sberbank come amministratore delegato. Agisce come leader del cluster per lo sviluppo di una piattaforma per sistemi di raccomandazione nella divisione di personalizzazione di massa. Si è laureato all'Università statale di San Pietroburgo nel 2004, dove ha conseguito il dottorato in metodi logici formali nel 2007. Ho lavorato in outsourcing per quasi 9 anni senza perdere il contatto con l'ambiente universitario e scientifico.
Introduzione base per iniziare il corso
-Argomento 1. Discesa del gradiente e modelli lineari
-Argomento 2. Panoramica dei metodi e delle metriche di base dell'apprendimento automatico
-Argomento 3.Evoluzione degli approcci al lavoro con i dati
-Argomento 4.Nozioni di base sulla programmazione in Scala
Basi tecnologiche dell'elaborazione distribuita dei dati
-Argomento 5. File system distribuiti
-Argomento 6. Gestori delle risorse nei sistemi distribuiti
-Argomento 7. Evoluzione di strutture di calcolo massivamente parallele e distribuite
-Argomento 8. Nozioni di base su Apache Spark 1
-Argomento 9. Nozioni di base su Apache Spark 2
Nozioni di base sul ML distribuito
-Argomento 10. Trasferimento di algoritmi ML in un ambiente distribuito
-Argomento 11.ML in Apache Spark
-Argomento 12.Sviluppare i propri blocchi per SparkML
-Argomento 13.Ottimizzazione degli iperparametri e AutoML
Elaborazione del flusso
-Argomento 14. Elaborazione dei dati in streaming
-Argomento 15. Librerie di terze parti da utilizzare con Spark
-Tema 16.Spark Streaming
-Argomento 17. Streaming strutturato e continuo in Spark
-Argomento 18. Framework di streaming alternativi
Definizione degli obiettivi e analisi dei risultati
-Argomento 19. Determinazione dell'obiettivo del progetto ML e analisi preliminare
-Argomento 20. Obiettivi di machine learning a lungo termine utilizzando l'esempio del compito di ridurre il tasso di abbandono
-Argomento 21.Test A/B
-Argomento 22.Argomenti aggiuntivi
Trasmissione dei risultati ML alla produzione
-Argomento 23. Approcci per portare in produzione le soluzioni ML
-Argomento 24.Versionamento, riproducibilità e monitoraggio
-Argomento 25.Servizio online di modelli
-Argomento 26. Modelli per streaming asincrono ML ed ETL
-Argomento 27. Se hai bisogno di Python
ML in Python in produzione
-Argomento 28.Codice di produzione in Python. Codice di organizzazione e confezionamento
-Argomento 29.Architettura REST: API Flask
-Argomento 30.Docker: Struttura, applicazione, distribuzione
-Argomento 31.Kubernetes, orchestrazione dei contenitori
-Tema 32.Strumenti MLOPS per Kubernetes: KubeFlow, Seldon Core. Caratteristiche del funzionamento di sistemi eterogenei nel settore.
-Tema 33.Amazon Sagemaker
-Argomento 34.Servizio AWS ML
Argomenti avanzati
-Argomento 35. Reti neurali
-Argomento 36. Apprendimento distribuito e inferenza di reti neurali
-Argomento 37.Amplificazione del gradiente sugli alberi
-Argomento 38. Apprendimento per rinforzo
Lavoro di progetto
-Argomento 39. Selezione dell'argomento e organizzazione del lavoro del progetto
-Argomento 40. Consultazione su progetti e compiti a casa
-Tema 41. Tutela dell'opera di progettazione