Analisi dei dati in Python e database (SQL) - corso gratuito da RANEPA, formazione, Data: 6 marzo 2023.
Miscellanea / / December 04, 2023
Il programma Python Data Analysis and Database (SQL) fornirà agli studenti una comprensione dei fondamenti della programmazione di algoritmi ML (Machine Learning) utilizzando il linguaggio Python. Ti aiuterà anche a padroneggiare una serie di competenze nel campo della gestione dei moderni database relazionali e acquisire competenze pratiche nell'utilizzo degli strumenti del linguaggio DBMS (Database Management Systems dati).
Negli affari e nel governo è necessario analizzare costantemente enormi quantità di dati ottenere informazioni per controllare la qualità del lavoro, proporre nuove idee e giustificare quelle accettate decisioni. Gli esperti che comprendono enormi quantità di dati possono aspettarsi carriere rapide con stipendi impressionanti.
Di norma, SQL e Python vengono spesso menzionati negli annunci di lavoro relativi all'analisi dei dati.
Possono iscriversi al corso solo gli studenti che non studiano nelle seguenti aree:
Durante il corso di padronanza del programma, gli studenti avranno l'opportunità di ideare nuovi prodotti digitali (in modo indipendente o in team). Gli autori delle migliori soluzioni riceveranno il supporto dell'Accademia e l'opportunità di collaborare con il Laboratorio di Intelligenza Artificiale e il Laboratorio di Sviluppo della Piattaforma di RANEPA.
Pitone
Come funziona tutto? Funzionalità di Python.
Perché tutti usano Python? Confronto con altri linguaggi di programmazione. Come scrivere programmi? Pro di Python. Come utilizzare Python nelle attività: elaborazione testi, lavoro con immagini, scrittura di robot stock, avvio di chat bot. Input e output in Python. Nomi in Python. Operazioni di base. Controllo dell'avanzamento dell'esecuzione del programma (costrutti condizionali). Esempi di programmi semplici.
Cicli. Linee. Metodi di stringa.
Ciclo con precondizione. Dichiarazioni di interruzione e continuazione. Per ciclo Struttura della linea e lunghezza della linea. L'elemento linea e come tagliare le linee. Ottenere una sottostringa da una stringa. Attraversamento della linea. Sezioni.
Tuple. Elenchi. mappa delle funzioni. Generatore di elenchi di valori casuali.
Perché sono necessarie le tuple? Lavorare con un elenco. Elenca elementi. Stampa l'elenco. Copia corretta degli elenchi. Caratteristiche dell'utilizzo della funzione mappa. Cosa sono i generatori di valori casuali? Un mucchio di. Operazioni con gli insiemi. Frozenset. Dizionari. ottenere il metodo Traversata del dizionario.
Funzioni. Applicazione di funzioni matematiche. Campo di applicazione ed esclusione.
Come scrivere correttamente le funzioni. Algoritmi semplici. Scrivere le prime funzioni. Come aggiungere la matematica. Consigli per scrivere le proprie funzioni. Come funzionano gli ambiti. Variabili globali. Restituzione di più valori da una funzione. Eccezioni.
Lavorare con i file. Matrici. Tipi di ordinamento
Cosa puoi fare con i file? Apertura e chiusura di file. Lettura e scrittura di file di testo. Matrici. Compilazione di matrici. Immissione delle matrici riga per riga. Lettura e scrittura di matrici. Ordinamento delle bolle. Analisi dell'algoritmo. Diverse versioni della soluzione.
Panoramica della libreria NumPy. Lavorare con le funzioni NumPy. Libreria SciPY.
Librerie Python e loro installazione. Tipi di dati NumPy di base. Funzioni numeriche. Lavorare con gli array. Operazioni con gli array. Array bidimensionali. Matrici. Funzionalità di base della libreria SciPy.
Panoramica della libreria Panda. Analisi di base.
Installazione della libreria. Creazione di un oggetto Serie. Indicizzazione di DataFrame. Tabelle. Lettura e scrittura di file. Indicizzazione. Campionamento dei dati. Operazioni con righe e colonne. Lavorare con NaN. Ordinamento.
Visualizzazioni di dati. Esempi pratici
Studio di nuovi dati, preelaborazione, visualizzazione dei dati, ricerca di connessioni tra caratteristiche, preparazione dei dati di addestramento e creazione di modelli di previsione del rischio di credito. Ottenere un modello che risponda alla domanda: emettere o non emettere un prestito.
Automazione delle attività di routine. Esempi pratici
Analisi di esempi pratici di automazione delle attività relative all'ottenimento di informazioni aggregate da diverse fonti (file Excel) o da Internet.
Revisione dei metodi di machine learning utilizzati per l'analisi dei dati. Esempi pratici
Un esempio pratico di identificazione delle caratteristiche di base e della loro interpretazione in un problema di apprendimento supervisionato.
Valutazione del modulo intermedio
La certificazione provvisoria avviene sotto forma di test (test informatico). Esempio di un tipico edificio di prova:
Quale funzione Python puoi usare per scoprire il tipo di una variabile?
- hwoami
- tipo
- tipo di
- È
Quale intervallo di numeri verrà creato nel seguente codice: range (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Cosa ti consente di eseguire lo snippet di codice nell'elenco?
- Snippet di codice: print(math.sqrt(2))
- visualizzando il numero 2 dalla libreria matematica
- collegamento della libreria matematica
- elevando al quadrato un numero matematico
- visualizzando la radice quadrata di due
SQL
Archiviazione e integrità dei dati.
Archiviazione dati: file di dati, registri, livelli RAID, Tempdb. Relazioni nei database, uno a uno, uno a molti, molti a molti. Integrità dei dati: CHIAVE PRIMARIA, CHECK, CHIAVE UNICA e CHIAVE ESTERA. Normalizzazione delle tabelle.
Creazione di un database e di tabelle.
Architettura DBMS: livelli logici (tabelle e tipi di dati, chiavi, indici, viste, assiemi, vincoli, regole, valori predefiniti) e fisici (file e gruppi di file, pagine). Creazione della banca dati. Tipi di dati dei campi della tabella: numeri esatti, stringhe di caratteri Unicode, numeri approssimativi, dati binari, data e ora, altri tipi di dati, stringhe di caratteri. Creazione di tabelle. Dove scrivere le richieste?
Indici. Diagrammi.
Indici: indice cluster, non cluster, identificazione univoca, filtrato, columnstore, hash, non cluster, ottimizzato per la memoria. Diagrammi ER: diagrammi di database, nodo di database. DML e gli operatori SQL più comuni: SELECT, INSERT, UPDATE, DELETE. L'importanza di fattori unici.
Richieste. Connessioni esterne.
Query su una tabella. Campionamento senza ripetizioni. Query su più tabelle. Join esterni: LEFT, RIGHT o FULL.
Funzioni aggregate. Sottoquery.
Sottoquery: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Unione dei dati: SELEZIONA UNISCITI. Funzioni aggregate: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Condizioni per funzioni aggregate.
Funzionalità utili.
Qualcosa in più sugli operatori. Richiesta industriale. Funzioni utili: SQRT, RAND, CONCAT, funzioni numeriche e di stringa. Precedenza delle operazioni e conversione del tipo: CAST, CONVERT.
Transazioni. Rappresentazione.
Una richiesta in quattro modi. Transazioni: concetto di transazione - atomicità, consistenza, isolamento, durabilità, gestione delle transazioni - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Accesso parallelo ai dati: problemi di lettura sporca, non ripetibile, fantasmi. Viste: indicizzate, partizionate, di sistema.
Variabili e cicli.
Inizio della programmazione. Variabili: DICHIARARE, IMPOSTARE, SELEZIONARE. Struttura del codice. Operatori di descrizione dei dati: CREATE, DROP, ALTER, ecc. Operatori di manipolazione dei dati: INSERT, DELETE, SELECT, UPDATE, ecc. Operatori per l'impostazione dei diritti di accesso al database: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operatori per la protezione, recupero dati e altri operatori. Cicli: MENTRE.
Procedure e funzioni memorizzate.
Tabelle temporanee. Cursori Transact-SQL, server, client. Tipi di cursore: unidirezionale, statico, Keyset, dinamico. Procedure e funzioni memorizzate: CREATE PROCEDURE, CREATE PROC.
Trigger. Eccezioni.
Trasportatore HF. Trigger: DOPO, INVECEDOF. Eccezioni: TRANNE. SQL dinamico utilizzando la parola chiave e la procedura memorizzata: EXECUTE IMMEDIATE.
DBMS. Database NoSQL.
Transazioni in programmazione/DBMS/SQL. Come vengono eseguite le richieste. Come migliorare le prestazioni delle query. Database NoSQL e suoi vantaggi.
Valutazione del modulo intermedio
La certificazione provvisoria avviene sotto forma di test (test informatico). Esempio di un tipico edificio di prova:
Che tipo di dati di campo è il tipo NUMBER?
- corda
- numerico
- binario
Quale comando SQL interroga i dati?
- ALTERARE
- SELEZIONARE
- DA
Cos'è una transazione?
- questo è un gruppo di operazioni eseguite dal DBMS
- è un gruppo di operazioni che ha proprietà ACID
- questa è l'operazione di esecuzione di un comando SQL