Raccogli una playlist, trova un brano bloccato nella tua testa, scrivi una commedia: cosa può fare l'intelligenza artificiale con la musica
Miscellanea / / March 30, 2022
Riconosci le composizioni
Una canzone interessante può essere ascoltata ovunque: in un centro commerciale, in un bar e persino dal finestrino di un'auto vicina, mentre sei in un ingorgo. Per non perdere la canzone sconosciuta che ti piace, è sufficiente attivare l'applicazione di riconoscimento. Il nome della composizione e il nome dell'artista in essi contenuto vengono forniti dall'intelligenza artificiale in pochi secondi. È vero, dietro un risultato così rapido c'è una preparazione approfondita: per imparare rapidamente la melodia, il programma deve prima ricordarla. Per fare ciò, le reti neurali vengono introdotte in un'enorme libreria di tracce, quindi gli algoritmi convertono il suono in uno spettrogramma e lo scompongono in tempo, frequenza e intensità.
Anatoly Starostin
Responsabile del servizio di sviluppo tecnologico presso Yandex Media Services.
Uno spettrogramma è un grafico. Il tempo si trova lungo l'asse orizzontale, la frequenza del suono si trova lungo l'asse verticale e la sua intensità in un momento fisso è espressa a colori. Un segnale basso è rappresentato da una barra rossa in basso e un segnale alto in alto. Il risultato è un'immagine composta da strisce orizzontali colorate. L'analisi di tali circuiti aiuta a riconoscere la musica. Quando si lavora con gli spettrogrammi, vengono utilizzati gli stessi approcci alla rete neurale dell'analisi delle immagini.
Supponiamo che una persona ascolti una canzone alla radio e voglia conoscerne il nome e l'artista. Il programma di riconoscimento costruisce uno spettrogramma del passaggio sonoro e lo invia alla sua libreria di tracce. Quindi confronta "l'immagine" della melodia desiderata con gli spettrogrammi di altre composizioni e seleziona la corrispondenza più accurata. Allo stesso tempo, l'intelligenza artificiale riconosce la melodia anche attraverso gravi interferenze, come il rumore della strada o le riparazioni in un appartamento vicino.
A proposito, la rete neurale è in grado non solo di identificare l'artista e il nome del brano bloccato nella testa, ma anche di determinarne approssimativamente il genere. Per fare ciò, all'intelligenza artificiale viene insegnato a trovare schemi in diversi stili musicali. Tali caratteristiche specifiche sono generalmente inaccessibili alla vista e all'udito umani. Ma grazie all'apprendimento automatico, diventa possibile calcolare i generi musicali dalle immagini dello spettrogramma.
Consiglia canzoni
Sembra che trovare da soli la "stessa" traccia adatta al tuo umore in miliardi di canzoni sia improbabile quanto innamorarsi a prima vista. Ma grazie agli algoritmi di raccomandazione, le corrispondenze perfette non si verificano così spesso. Innanzitutto, l'intelligenza artificiale cerca persone con gusti simili, quindi vengono collegate formule statistiche: il numero di Mi piace, Non mi piace, riproduzioni e salti di una particolare composizione.
Anatoly Starostin
La raccomandazione del brano funziona secondo uno schema semplice: se a Vasya è piaciuta la traccia X, e poi anche Petya l'ha valutata, quando a Vasya piace Y, anche Petya dovrebbe raccomandare la traccia Y. Quando l'algoritmo deve trovare il brano successivo, la formula viene applicata a un insieme di potenziali brani. Il più adatto galleggia verso l'alto.
I contenuti "freddi", non visti nelle playlist dell'ascoltatore di massa, si diffondono più lentamente. Ma grazie alle reti neurali, artisti sconosciuti e musica di nicchia hanno ancora una piccola possibilità di sfarfallare nel flusso di consigli. Se semplifichiamo tutte le sfumature tecniche, allora possiamo dire che in questi casi l'intelligenza artificiale scopre quanto spesso un utente specifico ascolta brani con spettrogrammi simili e periodicamente lo invita a conoscerne di nuovi brani.
Maria Gu
Cantante.
A volte cerco ispirazione nei consigli. Affido la scelta della composizione al servizio musicale, ascolto le melodie, trovo suoni o testi interessanti. Quindi puoi davvero innamorarti spontaneamente di un brano di un artista sconosciuto. E un altro verso che ho sentito per caso può spingermi a creare le mie poesie.
Le reti neurali aiutano anche a generare selezioni musicali per il fitness, la camminata o il sonno. Gli editor di contenuti selezionano tracce di riferimento per gli algoritmi e, in base ai loro spettrogrammi, l'intelligenza artificiale espande i consigli tematici.
generare musica
In precedenza, solo i compositori potevano creare melodie. Ora è possibile senza la partecipazione di musicisti. Nel 2020, i Paesi Bassi hanno ospitato il primo Eurovision Song Contest per le reti neurali: l'AI Song Contest. L'australiano ha vinto collaborazione intelligenza artificiale con koala, martin pescatore e diavoli della Tasmania. La canzone era dedicata agli incendi boschivi che imperversavano nel continente. I suoni degli animali sono stati registrati in brevi campioni, frammenti di 1-2 secondi. L'algoritmo li ha combinati con i successi di tutti i precedenti vincitori della vera Eurovision, dopo di che hanno assemblato i campioni nella loro melodia.
Questo non è l'unico esempio di un'unione creativa di successo di programmatori e reti neurali. Nel 2019, alla chiusura del Winter International Arts Festival di Sochi, l'Orchestra di Stato ha eseguito un brano di 8 minuti. È stato scritto dal compositore Kuzma Bodrov da frammenti separati di melodie generate da reti neurali. Oggi, la creazione di musica è l'area più promettente per lo sviluppo dell'intelligenza artificiale.
Anatoly Starostin
L'intelligenza artificiale può creare musica in tre modi. Il primo è collegato alla costruzione di "mattoni" di suoni già pronti. In questo caso, l'algoritmo li dispone semplicemente nell'ordine corretto su più tracce audio e l'arrangiatore elettronico mixa la traccia finita. Il secondo modo è generare la notazione musicale. È come scrivere istruzioni affinché il musicista suoni il lavoro finito su di esso. E il terzo modo è registrare il segnale audio "grezzo". In questo caso, la rete neurale stessa crea onde sonore simili, ad esempio, a Mozart o ai Beatles.
A proposito, le reti neurali possono anche scrivere poesie per le canzoni. Finora, tali brani suonano piuttosto strani, quindi i cantautori non dovrebbero preoccuparsi della disoccupazione. Inoltre, la "mente del computer" è priva di sentimenti. Non può penetrare nel contesto emotivo e trasmettere le esperienze che hanno costretto gli autori delle opere a creare.
Maria Gu
La poesia e la musica riguardano principalmente l'anima, il mondo interiore, le esperienze, i sentimenti e le emozioni delle persone. Ad esempio, il nuovo brano “Don't Burn Out” è la mia storia personale, ma parla anche di tutti coloro che inseguono un sogno e cercano di capire se stessi. Non credo che l'intelligenza artificiale sostituirà mai una persona vivente nell'industria musicale. Ma qui puoi ottenere un interessante tandem "rete umana - neurale". Conosciamo già dozzine di esempi in cui l'intelligenza artificiale ha aiutato i compositori a creare melodie uniche. In effetti, questa è una nuova direzione nel mondo della musica, che, sono sicuro, avrà un proprio ascoltatore e pubblico in futuro.
L'intelligenza artificiale rende la creatività accessibile a tutti e la musica la aiuta a svilupparsi. Per capire come questi due poli convergono e si influenzano a vicenda, puoi "Numeri di lezione" da Yandex - "Arte digitale: musica e IT". Insieme agli eroi dei fumetti, i partecipanti impareranno come le reti neurali riconoscono e generano tracce e quali tecnologie aiutano nel lavoro dei servizi musicali che conosciamo. Durante la lezione, gli studenti cercheranno di indovinare la melodia dallo spettrogramma stesso e compileranno una playlist con consigli.
Voglio "Numeri della lezione"
Copertina: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker