Ecco l'elenco dei 10 algoritmi di deep learning più popolari:
Gli algoritmi di deep learning funzionano con quasi tutti i tipi di dati e richiedono grandi quantità di potenza di calcolo e informazioni per risolvere problemi complicati. Ora, approfondiamo i 10 migliori algoritmi di deep learning.
1. Reti neurali convoluzionali (CNN)
Le CNN , note anche come ConvNet, sono costituite da più livelli e sono utilizzate principalmente per l'elaborazione delle immagini e il rilevamento di oggetti. Yann LeCun ha sviluppato la prima CNN nel 1988 quando si chiamava LeNet. È stato utilizzato per riconoscere caratteri come codici postali e cifre.
Le CNN sono ampiamente utilizzate per identificare immagini satellitari, elaborare immagini mediche, prevedere serie temporali e rilevare anomalie.
Come funzionano le CNN?
Le CNN hanno più livelli che elaborano ed estraggono caratteristiche dai dati:
Livello di convoluzione
La CNN ha un livello di convoluzione che dispone di diversi filtri per eseguire l'operazione di convoluzione.
Unità lineare rettificata (ReLU)
Le CNN hanno un livello ReLU per eseguire operazioni sugli elementi. L'output è una mappa delle caratteristiche rettificata.
Strato di raggruppamento
La mappa delle caratteristiche rettificata viene quindi alimentata in un livello di pooling. Il pooling è un'operazione di downsampling che riduce le dimensioni della mappa delle caratteristiche.
Il livello di pool quindi converte gli array bidimensionali risultanti dalla mappa delle caratteristiche del pool in un singolo vettore lungo, continuo e lineare appiattendolo.
Livello completamente connesso
Un livello completamente connesso si forma quando la matrice appiattita dal livello di pool viene alimentata come input, che classifica e identifica le immagini.
Di seguito è riportato un esempio di un'immagine elaborata tramite CNN.
2. Reti di memoria a lungo termine (LSTM)
Gli LSTM sono un tipo di rete neurale ricorrente (RNN) in grado di apprendere e memorizzare le dipendenze a lungo termine. Richiamare le informazioni passate per lunghi periodi è il comportamento predefinito.
Gli LSTM conservano le informazioni nel tempo. Sono utili nella previsione di serie temporali perché ricordano gli input precedenti. Gli LSTM hanno una struttura a catena in cui quattro strati interagenti comunicano in un modo unico. Oltre alle previsioni di serie temporali, gli LSTM vengono generalmente utilizzati per il riconoscimento vocale, la composizione musicale e lo sviluppo farmaceutico.
Come funzionano gli LSTM?
In primo luogo, dimenticano parti irrilevanti dello stato precedente
Successivamente, aggiornano selettivamente i valori dello stato della cella
Infine, l'output di alcune parti dello stato della cella
Di seguito è riportato un diagramma di come funzionano gli LSTM:
3. Reti neurali ricorrenti (RNN)
Gli RNN hanno connessioni che formano cicli diretti, che consentono alle uscite dell'LSTM di essere alimentate come ingressi alla fase corrente.
L'uscita dell'LSTM diventa un ingresso alla fase corrente e può memorizzare ingressi precedenti grazie alla sua memoria interna. Gli RNN sono comunemente usati per sottotitoli di immagini, analisi di serie temporali, elaborazione del linguaggio naturale, riconoscimento della scrittura a mano e traduzione automatica.
Un RNN spiegato assomiglia a questo:
Come funzionano gli RNN?
L'uscita all'istante t-1 alimenta l'ingresso all'istante t.
Allo stesso modo, l'uscita al tempo t alimenta l'ingresso al tempo t+1.
Gli RNN possono elaborare input di qualsiasi lunghezza.
Il calcolo tiene conto delle informazioni storiche e la dimensione del modello non aumenta con la dimensione dell'input.
Ecco un esempio di come funziona la funzione di completamento automatico di Google:
4. Reti generative avversarie (GAN)
I GAN sono algoritmi di deep learning generativo che creano nuove istanze di dati che assomigliano ai dati di training. GAN ha due componenti: un generatore, che impara a generare dati falsi, e un discriminatore, che apprende da tali informazioni false.
L'utilizzo di GAN è aumentato nel corso del tempo. Possono essere utilizzati per migliorare le immagini astronomiche e simulare lenti gravitazionali per la ricerca sulla materia oscura. Gli sviluppatori di videogiochi utilizzano i GAN per migliorare le trame 2D a bassa risoluzione nei vecchi videogiochi ricreandole in 4K o risoluzioni superiori tramite l'addestramento delle immagini.
I GAN aiutano a generare immagini realistiche e personaggi dei cartoni animati, creare fotografie di volti umani e renderizzare oggetti 3D.
Come funzionano i GAN?
Il discriminatore impara a distinguere tra i dati falsi del generatore e i dati di esempio reali.
Durante l'addestramento iniziale, il generatore produce dati falsi e il discriminatore impara rapidamente a dire che sono falsi.
Il GAN invia i risultati al generatore e al discriminatore per aggiornare il modello.
Di seguito è riportato un diagramma di come funzionano i GAN:
5. Reti di funzioni a base radiale (RBFN)
Gli RBFN sono tipi speciali di reti neurali feedforward che utilizzano funzioni a base radiale come funzioni di attivazione. Hanno un livello di input, un livello nascosto e un livello di output e sono principalmente utilizzati per la classificazione, la regressione e la previsione delle serie temporali.
Come funzionano gli RBFN?
Gli RBFN eseguono la classificazione misurando la somiglianza dell'input con gli esempi del training set.
Gli RBFN hanno un vettore di input che alimenta il livello di input. Hanno uno strato di neuroni RBF.
La funzione trova la somma ponderata degli input e il livello di output ha un nodo per categoria o classe di dati.
I neuroni nello strato nascosto contengono le funzioni di trasferimento gaussiane, che hanno uscite inversamente proporzionali alla distanza dal centro del neurone.
L'output della rete è una combinazione lineare delle funzioni a base radiale dell'input e dei parametri del neurone.
Guarda questo esempio di RBFN:
6. Perceptron multistrato (MLP)
Gli MLP sono un luogo eccellente per iniziare a conoscere la tecnologia di deep learning.
Gli MLP appartengono alla classe delle reti neurali feedforward con più strati di percettroni che hanno funzioni di attivazione. Gli MLP sono costituiti da un livello di input e un livello di output completamente connessi. Hanno lo stesso numero di livelli di input e output ma possono avere più livelli nascosti e possono essere utilizzati per creare software di riconoscimento vocale, riconoscimento di immagini e traduzione automatica.
Come funzionano gli MLP?
Gli MLP inviano i dati al livello di input della rete. Gli strati di neuroni si collegano in un grafico in modo che il segnale passi in una direzione.
Gli MLP calcolano l'input con i pesi che esistono tra il livello di input e i livelli nascosti.
Gli MLP utilizzano funzioni di attivazione per determinare quali nodi attivare. Le funzioni di attivazione includono ReLU, funzioni sigmoid e tanh.
Gli MLP addestrano il modello a comprendere la correlazione e apprendono le dipendenze tra le variabili indipendenti e target da un set di dati di addestramento.
Di seguito è riportato un esempio di MLP. Il diagramma calcola pesi e bias e applica funzioni di attivazione adatte per classificare le immagini di cani e gatti.
7. Mappe autoorganizzanti (SOM)
Il professor Teuvo Kohonen ha inventato i SOM, che consentono alla visualizzazione dei dati di ridurre le dimensioni dei dati attraverso reti neurali artificiali auto-organizzanti.
La visualizzazione dei dati tenta di risolvere il problema che gli esseri umani non possono visualizzare facilmente i dati ad alta dimensione. I SOM sono creati per aiutare gli utenti a comprendere queste informazioni ad alta dimensionalità.
Come funzionano i SOM?
I SOM inizializzano i pesi per ogni nodo e scelgono un vettore a caso dai dati di addestramento.
I SOM esaminano ogni nodo per trovare quali pesi sono il vettore di input più probabile. Il nodo vincente è chiamato Best Matching Unit (BMU).
I SOM scoprono il quartiere della BMU e la quantità di vicini diminuisce nel tempo.
I SOM assegnano un peso vincente al vettore campione. Più un nodo è vicino a una BMU, più il suo peso cambia..
Più il vicino è lontano dal BMU, meno impara. I SOM ripetono il passaggio due per N iterazioni.
Di seguito, vedere un diagramma di un vettore di input di diversi colori. Questi dati vengono inviati a un SOM, che quindi converte i dati in valori RGB 2D. Infine, separa e classifica i diversi colori.
8. Deep Belief Networks (DBN)
I DBN sono modelli generativi costituiti da più livelli di variabili stocastiche e latenti. Le variabili latenti hanno valori binari e sono spesso chiamate unità nascoste.
I DBN sono una pila di macchine Boltzmann con connessioni tra gli strati e ogni strato RBM comunica con entrambi i livelli precedenti e successivi. Le Deep Belief Networks (DBN) vengono utilizzate per il riconoscimento di immagini, il riconoscimento video e i dati di acquisizione del movimento.
Come funzionano i DBN?
Gli algoritmi di apprendimento avidi addestrano i DBN. L'algoritmo di apprendimento greedy utilizza un approccio strato per strato per l'apprendimento dei pesi generativi dall'alto verso il basso.
I DBN eseguono le fasi del campionamento di Gibbs sui primi due livelli nascosti. Questa fase estrae un campione dall'RBM definito dai due strati nascosti superiori.
I DBN prelevano un campione dalle unità visibili utilizzando un singolo passaggio di campionamento ancestrale attraverso il resto del modello.
I DBN apprendono che i valori delle variabili latenti in ogni livello possono essere dedotti da un singolo passaggio dal basso verso l'alto.
9. Macchine Boltzmann con restrizioni (RBM)
Sviluppati da Geoffrey Hinton, gli RBM sono reti neurali stocastiche che possono apprendere da una distribuzione di probabilità su un insieme di input.
Questo algoritmo di deep learning viene utilizzato per la riduzione della dimensionalità, la classificazione, la regressione, il filtraggio collaborativo, l'apprendimento delle funzionalità e la modellazione degli argomenti. Gli RBM costituiscono gli elementi costitutivi dei DBN.
Gli RBM sono costituiti da due strati:
Unità visibili
Unità nascoste
Ogni unità visibile è collegata a tutte le unità nascoste. Gli RBM hanno un'unità di polarizzazione collegata a tutte le unità visibili e alle unità nascoste e non hanno nodi di output.
Come funzionano gli RBM?
Gli RBM hanno due fasi: passaggio in avanti e passaggio all'indietro.
Gli RBM accettano gli input e li traducono in una serie di numeri che codificano gli input nel passaggio in avanti.
Gli RBM combinano ogni input con un peso individuale e un bias complessivo. L'algoritmo passa l'output al livello nascosto.
Nel passaggio all'indietro, gli RBM prendono quel set di numeri e li traducono per formare gli input ricostruiti.
Gli RBM combinano ogni attivazione con il peso individuale e la distorsione complessiva e trasmettono l'output allo strato visibile per la ricostruzione.
Al livello visibile, l'RBM confronta la ricostruzione con l'input originale per analizzare la qualità del risultato.
10. Autoencoder
Gli autoencoder sono un tipo specifico di rete neurale feedforward in cui l'input e l'output sono identici. Geoffrey Hinton ha progettato autoencoder negli anni '80 per risolvere problemi di apprendimento senza supervisione. Sono reti neurali addestrate che replicano i dati dal livello di input al livello di output. Gli autoencoder vengono utilizzati per scopi quali la scoperta farmaceutica, la previsione della popolarità e l'elaborazione delle immagini.
Come funzionano gli autoencoder?
Un autoencoder è costituito da tre componenti principali: l'encoder, il codice e il decoder.
Gli autoencoder sono strutturati per ricevere un input e trasformarlo in una rappresentazione diversa. Quindi tentano di ricostruire l'input originale nel modo più accurato possibile.
Quando l'immagine di una cifra non è chiaramente visibile, viene alimentata da una rete neurale di codifica automatica.
Gli autoencoder prima codificano l'immagine, quindi riducono la dimensione dell'input in una rappresentazione più piccola.
Infine, l'autoencoder decodifica l'immagine per generare l'immagine ricostruita.
Conclusione
Il deep learning si è evoluto negli ultimi cinque anni e gli algoritmi di deep learning sono diventati molto popolari in molti settori. Se hai domande su un algoritmo di deep learning dopo aver letto questo articolo, scrivi nella sezione commenti e il team di esperti ti risponderà presto.
_gif.gif)
.png)
Comments