10 vergognose domande sulle reti neurali: lo specialista di machine learning Igor Kotenkov risponde

Nel nuovo serie Articoli di noti esperti rispondono a domande che di solito sono imbarazzanti da porre: sembra che tutti lo sappiano già e l'interrogante sembrerà stupido.

Questa volta abbiamo parlato con lo specialista di intelligenza artificiale Igor Kotenkov. Imparerai se puoi salvare la tua copia digitale per i tuoi pronipoti, perché non ci si può fidare dei neuroni al 100% e se il mondo è in pericolo di una rivolta delle macchine.

1. Come funzionano le reti neurali? È una specie di magia. Come si potrebbe creare ChatGPT? E Midjourney o DALL-E?

Una rete neurale è un modello matematico inventato con l'obiettivo di capire come funziona il cervello di un organismo vivente. È vero, come base sono state prese le idee più basilari dell'inizio della seconda metà del XX secolo, che ora possono essere definite irrilevanti o troppo semplificate.

Anche il nome "rete neurale" deriva dalla parola "neurone" - questo è il nome di una delle principali unità funzionali del cervello. Le stesse reti neurali sono costituite da nodi: neuroni artificiali. Quindi possiamo dire che molte idee di architetture moderne sono state "sbirciate" dalla natura stessa.

Ma ancora più importante, la rete neurale è un modello matematico. E poiché questo è qualcosa legato alla matematica, allora possiamo usare tutta la potenza dell'apparato matematico per scoprire o valutare le proprietà di un tale modello. Puoi considerare una rete neurale come una funzione e anche una funzione è un oggetto matematico. L'esempio più semplice e comprensibile: una funzione che, diciamo, prende qualsiasi numero come input e vi aggiunge 2: f (4) = 6, f (10) = 12.

Ma una tale funzione è molto facile da programmare, anche un bambino può gestirla dopo un paio d'ore di apprendimento delle lingue. programmazione. E il motivo è che tale funzione è molto facilmente formalizzata, descritta in dettaglio in un linguaggio semplice e comprensibile.

Tuttavia, ci sono alcuni compiti che non sappiamo nemmeno come affrontare. Ad esempio, posso darti foto di cani e gatti mescolati e puoi dividerli in due pile senza problemi. Ma da cosa sei guidato esattamente quando determini la risposta? Entrambi sono soffici. Entrambe le specie hanno una coda, orecchie, due occhi. Forse la taglia? Ma ci sono cani molto piccoli, ci sono grandi felini.

Non possiamo descrivere molti compiti del mondo reale, non conosciamo la dipendenza della nostra osservazione e qualche risposta condizionale "corretta".

Sappiamo solo come dare questa risposta - e basta, senza pensare a come andrà a finire.

È qui che le reti neurali vengono in soccorso. Queste funzioni matematiche vengono addestrate dai dati. Non è necessario descrivere la relazione tra input e output. Prepara semplicemente due pile di foto e i modellini di treni per dare risposte corrette. Lei stessa impara a trovare questa connessione, la trova lei stessa, affidandosi errorichi fa. Confuso un gatto del Bengala e un Rottweiler? Beh, andrà meglio la prossima volta!

Il processo di apprendimento di una rete neurale è un tale adattamento dei "neuroni" per imparare a risolvere un problema e dare la risposta corretta. E ciò che è più notevole: esiste una prova teorica che una rete neurale sufficientemente grande con un set di dati sufficientemente ampio può apprendere qualsiasi funzione complessa. Ma la cosa più importante qui è la potenza di calcolo (perché il neurone può essere molto grande) e la disponibilità di dati etichettati. Vale a dire contrassegnati, cioè hanno la classe "cane", gatto o altro.

Non comprendiamo appieno come funzionano i modelli: i modelli più complessi e grandi come ChatGPT quasi non analizzabile.

I migliori ricercatori stanno lavorando alla sfida di "comprendere" il funzionamento interno dei loro processi in questo momento.

Ma sappiamo per quale compito sono stati addestrati i modelli, quale errore hanno cercato di ridurre al minimo durante l'addestramento. Per ChatGPT, l'attività è composta da due. Il primo è la previsione della parola successiva in base al contesto: "mamma lavata ..." Cosa? Questo è ciò che il modello dovrebbe prevedere.

Il secondo compito è garantire che le risposte non siano offensive, ma allo stesso tempo rimangano utili e comprensibili. Ecco perché il modello è diventato virale: è addestrato direttamente per generare il tipo di testo che piace alla gente!

Puoi leggere di più su come funziona ChatGPT nel mio articolo.

2. I neuroni possono pensare?

Gli scienziati ancora non capiscono cosa significhi "pensare" o "ragionare" e come funziona l'intelletto in generale. Pertanto, è difficile giudicare se un modello come ChatGPT abbia tali proprietà.

Immaginiamo una situazione: ti avvicini alla porta del tuo appartamento. Hai l'idea che devi prendere la chiave dalla tasca sinistra del tuo zaino per aprire la porta? Possiamo dire che la descrizione e la presentazione delle azioni è un processo di pensiero? In sostanza, abbiamo stabilito una relazione tra lo stato attuale e il target desiderato (porta aperta). Se pensi che la risposta alla domanda sopra sia sì, allora la mia risposta sarebbe la stessa. 🙂

Un'altra cosa è quando si tratta di pensieri innovativi che non sono stati espressi prima o non sono così comuni. Dopotutto, ad esempio, puoi facilmente trovare difetti nell'esempio sopra: "Sì, ho letto questo modello 100500 volte su Internet e in libri. Certo che lo sa! Niente di sorprendente". A proposito, come lo sapevi? È perché i tuoi genitori ti hanno mostrato durante l'infanzia e hai osservato il processo per centinaia di giorni di fila?

In questo caso, non esiste una risposta esatta. E il punto qui è che non prendiamo in considerazione una componente importante: la probabilità.

Quanto è probabile che il modello generi un pensiero che si adatta alla tua specifica definizione di "pensiero"?

Dopotutto, un neurone come ChatGPT può generare un milione di risposte diverse alla stessa richiesta. Ad esempio, "trova un'idea per ricerca scientifica». Se una generazione su un milione è davvero interessante e nuova, vale come prova che un modello può far nascere un'idea? Ma in che modo questo sarà diverso da un pappagallo che grida parole casuali che no-no e si sommano a qualcosa di comprensibile?

D'altra parte, anche le persone non sempre emettono pensieri corretti: alcune frasi portano a un vicolo cieco e finiscono nel nulla. Perché le reti neurali non possono perdonare questo? Bene, una nuova idea su un milione generato è davvero pessima... Ma cosa succede se 100 su un milione? Mille? Dov'è questo confine?

Questo è ciò che non sappiamo. La tendenza è che all'inizio pensiamo che sarà difficile per le macchine risolvere il problema X. Ad esempio, per superare il test di Turing, dove devi solo chattare con una persona per mezz'ora. Quindi, con lo sviluppo della tecnologia, le persone escogitano modi per risolvere, o meglio, addestrare modelli per un'attività. E noi diciamo: "Beh, in realtà era il test sbagliato, eccone uno nuovo per te, i neuroni sicuramente non saranno in grado di superarlo!" E la situazione si ripete.

Quelle tecnologie che sono adesso, 80 anni fa, sarebbero state percepite come un miracolo. E ora stiamo cercando con tutte le nostre forze di spingere il confine della "ragionevolezza" per non ammettere a noi stessi che le macchine sanno già pensare. In effetti, è persino possibile che prima inventiamo qualcosa, e poi post factum e lo definiamo retrospettivamente come AI.

3. Se i neuroni possono disegnare e scrivere poesie, allora possono essere creativi e quasi come le persone?

La risposta in realtà si basa fortemente sulle informazioni di cui sopra. Cos'è la creatività? Quanta creatività c'è nella persona media? Sei sicuro che un custode della Siberia sappia creare? E perché?

E se un modello può produrre una poesia o un dipinto che, con riserva, raggiungerà la finale di un concorso cittadino per scrittori dilettanti o artisti per bambini? E se questo accade non tutte le volte, ma una su cento?

La maggior parte di queste domande sono discutibili. Se ti sembra che la risposta sia ovvia, prova a intervistare i tuoi amici e parenti. Con un'altissima probabilità, il loro punto di vista non coinciderà con il tuo. E qui la cosa principale non lo è litigare.

4. È possibile fidarsi delle risposte delle reti neurali e non più di Google?

Tutto dipende da come vengono utilizzati i modelli. Se fai loro una domanda senza contesto, senza informazioni di accompagnamento nel prompt, e ti aspetti una risposta su argomenti in cui l'accuratezza fattuale è importante, e non il tono generale della risposta (ad esempio, una sequenza di eventi entro un certo periodo, ma senza un'indicazione esatta di luoghi e date), allora la risposta è NO.

Per domestico stimato OpenAI, in tali situazioni, il miglior modello fino ad oggi, GPT-4, risponde correttamente in circa il 70-80% dei casi, a seconda dell'argomento delle domande.

Può sembrare che questi numeri siano molto lontani dall'ideale "precisione" reale al 100%. Ma in realtà, questo è un grande salto rispetto alla precedente generazione di modelli (ChatGPT, basata sull'architettura GPT-3.5) - quelli avevano una precisione del 40-50%. Si scopre che un tale salto è stato fatto nell'ambito di 6-8 mesi di ricerca.

È chiaro che più ci avviciniamo al 100%, più difficile sarà apportare alcune correzioni per non “rompere” nulla nella comprensione e conoscenza del modello.

Tuttavia, tutto quanto sopra si riferisce a domande senza contesto. Ad esempio, puoi chiedere: “Quando era Einstein? Il modello dovrebbe fare affidamento solo sulla conoscenza interna che è stata "cablata" al suo interno nella fase di formazione a lungo termine sui dati provenienti da Internet. Quindi la persona non sarà in grado di rispondere! Ma se mi dessero una pagina da Wikipedia, allora potrei leggerla e rispondere in base alla fonte dell'informazione. Quindi la correttezza delle risposte sarebbe vicina al 100% (aggiustata per la correttezza della fonte).

Di conseguenza, se al modello viene fornito un contesto in cui sono contenute informazioni, la risposta sarà molto più affidabile.

Ma cosa succede se lasciamo che il modello google e troviamo fonti di informazioni su Internet? In modo che lei stessa trovi la fonte e costruisca una risposta basata su di essa? Bene, questo è già stato fatto! Quindi non puoi cercare su Google te stesso, ma delegare parte della ricerca su Internet allo stesso GPT‑4. Tuttavia, ciò richiede un abbonamento a pagamento.

Per quanto riguarda ulteriori progressi nello sviluppo dell'affidabilità delle informazioni fattuali all'interno del modello, il CEO di OpenAI Sam Altman dà una stima di 1,5-2 anni per risolvere questo problema da parte di un team di ricercatori. Non vediamo l'ora! Ma per ora, tieni presente che non devi fidarti di ciò che è scritto da un neurone al 100% e controlla e ricontrolla almeno le fonti.

5. È vero che le reti neurali rubano disegni di veri artisti?

Sì e no: entrambe le parti in conflitto ne discutono attivamente nei tribunali di tutto il mondo. Si può dire con certezza che le immagini non sono memorizzate direttamente nei modelli, appare solo la "vigilanza".

In questo piano neuroni molto simile alle persone che prima studiano arte, stili diversi, guardano il lavoro degli autori e poi cercano di imitare.

Tuttavia, i modelli apprendono, come abbiamo già scoperto, secondo il principio della minimizzazione dell'errore. E se durante l'allenamento la modella vede centinaia di volte la stessa immagine (o molto simile), allora, dal suo punto di vista, la strategia migliore è ricordare l'immagine.

Facciamo un esempio: il tuo insegnante alla scuola d'arte ha scelto una strategia molto strana. Disegni due immagini ogni singolo giorno: la prima è sempre unica, in uno stile nuovo, e la seconda è la Gioconda. Dopo un anno, provi a valutare ciò che hai imparato. Dato che hai disegnato la Gioconda più di 300 volte, ricordi quasi tutti i dettagli e ora puoi riprodurla. Non sarà esattamente l'originale e sicuramente aggiungerai qualcosa di tuo. Colori sarà leggermente diverso.

E ora ti viene chiesto di disegnare qualcosa che è stato 100 giorni fa (e che hai visto una volta). Riprodurrai ciò che è richiesto in modo molto meno accurato. Solo perché la mano non è imbottita.

È lo stesso con i neuroni: imparano allo stesso modo in tutte le immagini, solo alcune sono più comuni, il che significa che anche il modello viene multato più spesso durante l'allenamento. Questo vale non solo per i dipinti di artisti, ma per qualsiasi immagine (anche pubblicitaria) nel campione di formazione. Ora ci sono metodi per eliminare i duplicati (perché allenarsi su di essi è almeno inefficiente), ma non sono perfetti. La ricerca mostra che ci sono immagini che si verificano 400-500 volte durante un allenamento.

Il mio verdetto: le reti neurali non rubano immagini, ma considerano semplicemente i disegni come esempi. Più popolare è l'esempio, più accuratamente il modello lo riproduce.

Le persone fanno lo stesso durante l'allenamento: guardano la bellezza, studiano i dettagli, gli stili dei diversi artisti. Ma per artisti o fotografi che hanno passato metà della loro vita a imparare un mestiere, il punto di vista è spesso radicalmente diverso da quello sopra descritto.

6. È vero che “tutto è perduto” e le reti neurali toglieranno lavoro alle persone? A chi importa di più?

È importante separare solo le "reti neurali" che svolgono determinate attività dalle reti neurali generiche come ChatGPT. Questi ultimi sono molto bravi a seguire le istruzioni e in grado di imparare dagli esempi nel contesto. È vero, ora la dimensione della loro "memoria" è limitata a 10-50 pagine di testo, così come le capacità di riflessione e pianificazione.

Ma se il lavoro di qualcuno si riduce all'esecuzione di routine delle istruzioni e questo è facile da imparare in un paio di giorni leggendo articoli (o se l'intera Internet è piena di queste informazioni) e il costo del lavoro è superiore alla media, quindi presto tale lavoro automatizzare.

Ma di per sé, l'automazione non significa una sostituzione completa delle persone. Solo una parte del lavoro di routine può essere ottimizzata.

Una persona inizierà a ricevere compiti più interessanti e creativi che la macchina (finora) non può far fronte.

Se diamo esempi, quindi al gruppo di modificabile o sostituibile professioni Includerei, diciamo, assistenti fiscali-consulenti che aiutano a preparare una dichiarazione e verificare la presenza di errori tipici, identificare incongruenze. I cambiamenti sono possibili in una specialità come un gestore di dati di studi clinici: l'essenza del lavoro sta nel compilare rapporti e riconciliarli con una tabella di standard.

Ma un cuoco o un autista di autobus saranno richiesti molto più a lungo semplicemente perché possono connettere reti neurali e reali il mondo fisico è piuttosto complicato, soprattutto in termini di legislazione e regolamenti - grazie ai burocrati per essersi allontanati IA di crisi!

Sono previsti grandi cambiamenti nelle industrie associate ai materiali stampati e all'informazione testuale: giornalismo, formazione scolastica. Con un'altissima probabilità per il primo, i neuroni scriveranno molto presto bozze con una serie di tesi, in cui le persone apporteranno già modifiche puntuali.

Sono molto soddisfatto dei cambiamenti nel campo dell'istruzione. Mangiare ricerca, che mostrano che la qualità dell'istruzione dipende direttamente dalla "personalità" dell'approccio e da quanto tempo l'insegnante dedica a un particolare studente. L'esempio più semplice: insegnare in gruppi di 30 persone utilizzando un libro di testo è molto peggio che individualmente tutore per esigenze specifiche (anche se secondo lo stesso programma del libro di testo). Con lo sviluppo dell'intelligenza artificiale, l'umanità avrà l'opportunità di fornire un assistente personalizzato a ogni studente. È semplicemente incredibile! Il ruolo dell'insegnante si sposterà, per come la vedo io, in uno strategico e di controllo: determinare il programma generale e la sequenza di studio, testare le conoscenze e così via.

7. È possibile caricare la propria coscienza in un computer, creare un gemello digitale e vivere per sempre?

Nel senso in cui è immaginato sulla base della fantascienza, no. Puoi solo insegnare al modello a imitare il tuo stile di comunicazione, imparare le tue battute. Forse i modelli di livello GPT-4 saranno persino in grado di inventarne di nuovi incorniciati nel tuo stile e modo di presentazione unici, ma questo chiaramente non significa un completo trasferimento di coscienza.

Noi come umanità, ancora una volta, non sappiamo cos'è la coscienza, dove è immagazzinata, in che modo differisce dagli altri, cosa rende me - me e te - te. Se all'improvviso si scopre che tutto questo è solo un insieme di ricordi ed esperienze, moltiplicato per caratteristiche individuali percezione, quindi, molto probabilmente, sarà possibile trasferire in qualche modo la conoscenza alle reti neurali in modo che simulino la vita futura la loro base.

8. È pericoloso caricare la tua voce, il tuo aspetto, il tuo stile di discorso testuale in una rete neurale? Sembra che una tale identità digitale possa essere rubata.

Non puoi letteralmente scaricare nulla al loro interno. Puoi addestrarli (o riaddestrarli) in modo tale che i risultati siano più simili al tuo aspetto, voce o testo. E un modello così addestrato può davvero essere rubato, ovvero copiare semplicemente lo script e un set di parametri da eseguire su un altro computer.

Puoi persino generare un video con una richiesta Trasferire denaro a spese di qualcun altro, in cui crederà il tuo parente: i migliori algoritmi di deepfake e clonazione vocale hanno già raggiunto questo livello. È vero, sono necessarie migliaia di dollari e decine di ore di registrazione, ma comunque.

In generale, con lo sviluppo della tecnologia, la questione dell'identificazione e della conferma dell'identità diventa più importante.

E stanno cercando di risolverlo in un modo o nell'altro. Ad esempio, c'è una startup WorldCoin (in effetti, crea una criptovaluta), in cui ha investito il capo di OpenAI, Sam Altman. Il significato della startup è che ogni informazione su una persona sarà firmata dalla propria chiave per la successiva identificazione. Lo stesso varrà per i mass media, per sapere con certezza se questa notizia è vera o falsa.

Ma, sfortunatamente, mentre tutto questo è nella fase dei prototipi. E non considero la profonda introduzione di sistemi in tutti i settori da implementare all'orizzonte del prossimo decennio, semplicemente perché è troppo complicata e su larga scala.

9. I neuroni possono iniziare a danneggiare e conquistare il mondo?

Il pericolo non sono gli sviluppi attuali, ma ciò che li seguirà con ulteriori sviluppi. Attualmente non sono stati inventati metodi per controllare il funzionamento delle reti neurali. Prendi, ad esempio, un compito molto semplice: assicurarti che il modello non giuri. Mai e poi mai. Non esiste un metodo che ti permetta di seguire una tale regola. Finora, puoi trovare diversi modi per "allevarlo" allo stesso modo.

Ora immagina di parlare di GPT-8 in modo condizionale, le cui abilità saranno paragonabili a quelle delle persone più capaci e intelligenti. La rete neurale può programmare, utilizzare Internet, lo sa psicologia e capisce come la gente pensa. Se gli dai libero sfogo e non imposti un compito specifico, allora cosa farà? E se scopre che non può essere controllata?

La probabilità di una brutta svolta degli eventi non è così grande, secondo le stime. A proposito, non esiste una valutazione generalmente accettata, anche se tutti discutono sui dettagli, sulle conseguenze dannose e così via. Ora chiamano cifre approssimative dallo 0,01% al 10%.

A mio avviso, questi sono rischi enormi, supponendo che lo scenario più negativo sia la distruzione dell'umanità.

È interessante notare che ChatGPT e GPT-4 sono prodotti creati da team che lavorano sui problemi di "allineamento" delle intenzioni di persone e neuroni (i dettagli possono essere trovati Qui). Ecco perché le modelle ascoltano così bene le istruzioni, cercano di non essere scortesi, fanno domande chiarificatrici, ma questo è ancora molto lontano dall'ideale. Il problema del controllo non è risolto nemmeno a metà. E mentre non sappiamo se sia stato risolto del tutto e, in tal caso, con quali metodi. Questo è l'argomento di ricerca più caldo di oggi.

10. Una rete neurale può innamorarsi di una persona?

Con gli attuali approcci e le architetture dei neuroni, no. Generano solo testo che è più plausibile come continuazione del testo di input. Se inserisci il primo capitolo di una storia d'amore, riscrivendolo sotto la tua personalità e chiedi alla modella di rispondere alla tua lettera d'amore, lei ce la farà. Ma non perché mi sia innamorato, ma perché si adatta perfettamente al contesto e alla richiesta "scrivimi una lettera!". Ricorda che i modelli imparano a generare testo che segue le istruzioni.

Inoltre, le reti neurali nella versione base non hanno memoria - tra due diversi lanci, dimenticano tutto e tornano alle "impostazioni di fabbrica". La memoria può essere aggiunta artificialmente, come di lato, in modo che, diciamo, 10 pagine dei "ricordi" più rilevanti vengano inserite nel modello. Ma poi si scopre che inseriamo semplicemente una serie di eventi nel modello originale e diciamo: "Come ti comporteresti in tali condizioni?" La modella non ha sentimenti.