3. Spiegazione e Implementazione Algoritmo Albero decisionale Questo è uno dei miei algoritmi preferiti e lo uso abbastanza frequentemente. È un tipo di algoritmo di apprendimento supervisionato utilizzato principalmente per problemi di classificazione. Sorprendentemente, funziona sia per variabili dipendenti categoriali che continue. In questo algoritmo, dividiamo la popolazione in due o più insiemi omogenei. Questo viene fatto in base agli attributi/variabili indipendenti più significativi per creare gruppi il più distinti possibile. Sporchiamoci le mani e codifichiamo il nostro albero decisionale in Python!

7. Spiegazione e Implementazione Algoritmo K-Means È un tipo di algoritmo non supervisionato che risolve il problema del clustering. La sua procedura segue un modo semplice e facile per classificare un dato set di dati attraverso un certo numero di cluster (assumere k cluster). I punti dati all'interno di un cluster sono omogenei ed eterogenei rispetto ai gruppi di pari. Ricordi di aver capito le forme dalle macchie d'inchiostro? k significa che è in qualche modo simile a questa attività. Guardi la forma e diffondi per decifrare quanti diversi cluster/popolazioni sono presenti! Come K-mezzi forma il cluster: K-means seleziona k numero di punti per ogni cluster noto come centroidi. Ciascun punto dati forma un cluster con il centroidi più vicini, ovvero k cluster. Trova il centroide di ogni cluster in base ai membri del cluster esistenti. Qui abbiamo nuovi centroidi. Poiché abbiamo nuovi centroidi, ripeti i passaggi 2 e 3. Trova la distanza più vicina per ogni punto dati dai nuovi centroidi e associali ai nuovi k-cluster. Ripetere questo processo finché non si verifica la convergenza, ovvero i centroidi non cambiano. Come determinare il valore di K: In K-means, abbiamo cluster e ogni cluster ha il suo centroide. La somma dei quadrati della differenza tra il centroide ei punti dati all'interno di un cluster costituisce il valore della somma dei quadrati per quel cluster. Inoltre, quando vengono aggiunti i valori della somma dei quadrati per tutti i cluster, diventa totale all'interno del valore della somma dei quadrati per la soluzione del cluster. Sappiamo che all'aumentare del numero di cluster, questo valore continua a diminuire, ma se tracci il risultato potresti vedere che la somma della distanza al quadrato diminuisce bruscamente fino a un certo valore di k, e poi molto più lentamente dopo. Implementazione in Python dell'algoritmo K-Means

10. Spiegazione e Implementazione Algoritmi di aumento del gradiente ( XGboost ) XGBoost ha un potere predittivo immensamente elevato che lo rende la scelta migliore per la precisione negli eventi in quanto possiede sia il modello lineare che l'algoritmo di apprendimento ad albero, rendendo l'algoritmo quasi 10 volte più veloce rispetto alle tecniche di booster gradiente esistenti. Il supporto include varie funzioni oggettive, tra cui regressione, classificazione e ranking. Una delle cose più interessanti di XGBoost è che è anche chiamata una tecnica di potenziamento regolarizzata. Questo aiuta a ridurre la modellazione overfit e ha un enorme supporto per una vasta gamma di linguaggi come Scala, Java, R, Python, Julia e C++. Supporta la formazione distribuita e diffusa su molte macchine che comprendono cluster GCE, AWS, Azure e Yarn. XGBoost può anche essere integrato con Spark, Flink e altri sistemi di flusso di dati cloud con una convalida incrociata integrata ad ogni iterazione del processo di potenziamento. Implementiamo con Python l'algoritmo XGBoost

Ecco l'elenco dei 10 algoritmi di deep learning più popolari: Reti neurali convoluzionali (CNN) Reti di memoria a lungo termine (LSTM) Reti neurali ricorrenti (RNN) Reti generative avversarie (GAN) Reti con funzioni a base radiale (RBFN) Perceptron multistrato (MLP) Mappe autoorganizzanti (SOM) Reti di credenze profonde (DBN) Macchine Boltzmann con restrizioni (RBM) Autoencoder Gli algoritmi di deep learning funzionano con quasi tutti i tipi di dati e richiedono grandi quantità di potenza di calcolo e informazioni per risolvere problemi complicati. Ora, approfondiamo i 10 migliori algoritmi di deep learning.

Le CNN , note anche come ConvNet, sono costituite da più livelli e sono utilizzate principalmente per l'elaborazione delle immagini e il rilevamento di oggetti. Yann LeCun ha sviluppato la prima CNN nel 1988 quando si chiamava LeNet. È stato utilizzato per riconoscere caratteri come codici postali e cifre. Le CNN sono ampiamente utilizzate per identificare immagini satellitari, elaborare immagini mediche, prevedere serie temporali e rilevare anomalie. Come funzionano le CNN? Le CNN hanno più livelli che elaborano ed estraggono caratteristiche dai dati: Livello di convoluzione La CNN ha un livello di convoluzione che dispone di diversi filtri per eseguire l'operazione di convoluzione. Unità lineare rettificata (ReLU) Le CNN hanno un livello ReLU per eseguire operazioni sugli elementi. L'output è una mappa delle caratteristiche rettificata. Strato di raggruppamento La mappa delle caratteristiche rettificata viene quindi alimentata in un livello di pooling. Il pooling è un'operazione di downsampling che riduce le dimensioni della mappa delle caratteristiche. Il livello di pool quindi converte gli array bidimensionali risultanti dalla mappa delle caratteristiche del pool in un singolo vettore lungo, continuo e lineare appiattendolo. Livello completamente connesso Un livello completamente connesso si forma quando la matrice appiattita dal livello di pool viene alimentata come input, che classifica e identifica le immagini. Di seguito è riportato un esempio di un'immagine elaborata tramite CNN.

Gli RNN hanno connessioni che formano cicli diretti, che consentono alle uscite dell'LSTM di essere alimentate come ingressi alla fase corrente. L'uscita dell'LSTM diventa un ingresso alla fase corrente e può memorizzare ingressi precedenti grazie alla sua memoria interna. Gli RNN sono comunemente usati per sottotitoli di immagini, analisi di serie temporali, elaborazione del linguaggio naturale, riconoscimento della scrittura a mano e traduzione automatica. Un RNN spiegato assomiglia a questo: Come funzionano gli RNN? L'uscita all'istante t-1 alimenta l'ingresso all'istante t. Allo stesso modo, l'uscita al tempo t alimenta l'ingresso al tempo t+1. Gli RNN possono elaborare input di qualsiasi lunghezza. Il calcolo tiene conto delle informazioni storiche e la dimensione del modello non aumenta con la dimensione dell'input. Ecco un esempio di come funziona la funzione di completamento automatico di Google: 4. Reti generative avversarie (GAN)

I GAN sono algoritmi di deep learning generativo che creano nuove istanze di dati che assomigliano ai dati di training. GAN ha due componenti: un generatore, che impara a generare dati falsi, e un discriminatore, che apprende da tali informazioni false. L'utilizzo di GAN è aumentato nel corso del tempo. Possono essere utilizzati per migliorare le immagini astronomiche e simulare lenti gravitazionali per la ricerca sulla materia oscura. Gli sviluppatori di videogiochi utilizzano i GAN per migliorare le trame 2D a bassa risoluzione nei vecchi videogiochi ricreandole in 4K o risoluzioni superiori tramite l'addestramento delle immagini. I GAN aiutano a generare immagini realistiche e personaggi dei cartoni animati, creare fotografie di volti umani e renderizzare oggetti 3D. Come funzionano i GAN? Il discriminatore impara a distinguere tra i dati falsi del generatore e i dati di esempio reali. Durante l'addestramento iniziale, il generatore produce dati falsi e il discriminatore impara rapidamente a dire che sono falsi. Il GAN ​​invia i risultati al generatore e al discriminatore per aggiornare il modello. Di seguito è riportato un diagramma di come funzionano i GAN:

Gli MLP sono un luogo eccellente per iniziare a conoscere la tecnologia di deep learning. Gli MLP appartengono alla classe delle reti neurali feedforward con più strati di percettroni che hanno funzioni di attivazione. Gli MLP sono costituiti da un livello di input e un livello di output completamente connessi. Hanno lo stesso numero di livelli di input e output ma possono avere più livelli nascosti e possono essere utilizzati per creare software di riconoscimento vocale, riconoscimento di immagini e traduzione automatica. Come funzionano gli MLP? Gli MLP inviano i dati al livello di input della rete. Gli strati di neuroni si collegano in un grafico in modo che il segnale passi in una direzione. Gli MLP calcolano l'input con i pesi che esistono tra il livello di input e i livelli nascosti. Gli MLP utilizzano funzioni di attivazione per determinare quali nodi attivare. Le funzioni di attivazione includono ReLU, funzioni sigmoid e tanh. Gli MLP addestrano il modello a comprendere la correlazione e apprendono le dipendenze tra le variabili indipendenti e target da un set di dati di addestramento. Di seguito è riportato un esempio di MLP. Il diagramma calcola pesi e bias e applica funzioni di attivazione adatte per classificare le immagini di cani e gatti.

In questa Sezione andremo a vedere nello specifico chi è la figura " Data Scientist " , di cosa si occupa e quali percorsi formativi sono indicati per diventarlo.

Dopo aver visto in modo generico chi è e cosa fa un Data scientist, capiamo che possano sorgere dei dubbi sulle differenze con un Data Analyst per questo in questa sezione andiamo a sviscerare punto punto ogni differenza.

Come detto in Precedenza il Data Scientist non è solo una figura aziendale, ma molto di più... Come tale dovrà imparare la giusta sequenza per arrivare a dire di essere alla soluzione del problema, o alla soluzione che implica meno perdite...

Quali sono i linguaggi più usati o richiesti nella data science ? Andiamo a vedere uno a uno, e sfatiamo qualche falso mito...

Andiamo a capire nel dettaglio uno dei tanti strumenti del data scientist. L'apprendimento automatico è ad oggi utilizzato e richiesto nella maggior parte delle aziende che trattano dati.

Ora chiariamo tutte le differenze in modo più preciso tra Machine Learning, Deep Learning e Reti Neurali. Tranquillo non abbatterti se non ti è facile capirle subito, per iniziare ad avere conoscenze base su questi argomenti servono anni di studio interdisciplianare

Dicono che i dati siano il nuovo petrolio , ma non usiamo il petrolio direttamente dalla sua fonte. Deve essere elaborato e pulito prima di utilizzarlo per scopi diversi. Lo stesso vale per i dati, non li usiamo direttamente dalla loro fonte. Deve anche essere elaborato.