Cos'è un supercomputer? Entriamo all'interno dell'Argonne National Laboratory per scoprirlo. Camminare tra le file di armadi per supercomputer nella Leadership Computing Facility dell'Argonne National Laboratory, situata a circa 40 chilometri da Chicago, è un po' come vagare attraverso una versione high-tech di "The Shining's" Overlook Maze , senza il pazzo che brandisce un'ascia. I due supercomputer principali in quel labirinto d'acciaio, chiamati Mira e Theta, comprendono 101 armadi delle dimensioni di frigoriferi standard che contengono pile di rack e pesano tra 3.450 e 4.390 libbre. ogni. Il loro totale combinato: 160 tonnellate, gran parte di quel peso dovuto ai sistemi di raffreddamento ad acqua che impediscono il surriscaldamento. Insieme a molti altri sistemi più piccoli, le macchine sono alloggiate in un data center di 25.000 piedi quadrati con soffitti bassi e pavimento piastrellato bianco. Con tutta quell'attrezzatura che ronza via, non è un posto tranquillo. Vicino ai computer, i visitatori devono parlare-urlare per essere ascoltati al di sopra di un forte ronzio costante. Sei miliardi di volte più veloce: la nuova casa del supercomputer Aurora Per quanto tentacolare sia la struttura, non è sufficiente per ospitare la bestia che presto atterrerà lì. Entro il 2021, se tutto andrà secondo i piani, un nuovo supercomputer straordinariamente potente soprannominato Aurora prenderà la residenza. E così, in preparazione del suo arrivo, è in corso un'importante espansione. Al prezzo di $ 500 milioni, Aurora sarà il primo dei tre cosiddetti supercomputer “exascale” in grado di eseguire un miliardo di miliardi (aka quintilioni) di calcoli al secondo, in cui il Dipartimento dell'Energia degli Stati Uniti (DOE), che gestisce Argonne e 17 altre nazionali laboratori, sta investendo 1,8 miliardi di $. (Un altro, soprannominato Frontier, sarà presto installato presso l'Oak Ridge National Laboratory nel Tennessee.) Non sorprende che per quel tipo di impasto, Aurora sarà in grado di compiere piccoli miracoli computazionali. Misurato come 10^18 FLOPS (che sta per operazioni in virgola mobile al secondo), il sistema sarà sei miliardi di volte più veloce del suo predecessore di molto tempo fa, l'innovativo Cray-1 del 1964. Detto in termini più tangibili per gentile concessione di Design News , “A una persona che aggiunge 1+1+1 in una calcolatrice manuale una volta al secondo, senza tempo libero per mangiare o dormire, avrebbe bisogno di 31,7 trilioni di anni per fare ciò che Aurora farà in un secondo. È tra le cinque e le dieci volte più veloce dell'attuale campione in carica di supercomputer, una mega-macchina IBM-Nvidia chiamata Summit che risiede a Oak Ridge. Sbalordire. Chi spoglierà Aurora? Ecco uno sguardo ai 10 supercomputer più veloci al mondo secondo il brain trust di TOP500 . I 10 SUPERCOMPUTER PIÙ VELOCI AL MONDO Vertice | America Sierra | America Sunway TaihuLight | Cina Tianhe-2A | America Piz Daint | Svizzera Trinità | America ABCI | Giappone SuperMUC-NG | Germania Titano | America Sequoia | America "Ci sono limitazioni a ciò che possiamo fare oggi su un supercomputer" , ha detto recentemente Mike Papka , direttore della Leadership Computing Facility, dopo aver fatto un giro dello spazio. “Con Aurora, possiamo portarli al livello successivo. In questo momento, possiamo fare simulazioni dell'evoluzione dell'universo. Ma con Aurora, saremo in grado di farlo in un modo più realistico, con l'aggiunta di più fisica e chimica. Stiamo iniziando a fare cose come cercare di capire come i diversi farmaci interagiscono tra loro e, diciamo, una qualche forma di cancro. Possiamo farlo su piccola scala ora. Saremo in grado di farlo su scala ancora più ampia con Aurora". Essendo uno dei 52 supercomputer del Dipartimento dell'Energia, Aurora sarà probabilmente l'unico sistema esascala esistente al suo debutto. (Cioè, a meno che la Cina non ne costruisca uno per primo, cosa che alcuni addetti ai lavori dicono sia piuttosto improbabile nonostante i rapporti secondo cui il paese si sta affannando a realizzarne uno entro il 2020.) In una conferenza stampa del marzo 2019 che annunciava l'installazione di Aurora, il direttore associato del laboratorio di Argonne, Rick Stevens, ha spiegato che il il sistema gestirà applicazioni di calcolo ad alte prestazioni e analisi di dati in streaming generati da acceleratori, rivelatori, telescopi e altre apparecchiature di ricerca. Rick Stevens, direttore associato del laboratorio presso l'Argonne National Laboratory, parla di Aurora, il primo computer exascale d'America. INGLESE A questo punto, però, Aurora rimane un work in progress mentre Summit ottiene la gloria. Originariamente previsto per essere pubblicato diversi anni fa in un'incarnazione molto meno potente e lanciato a metà del 2018, Summit è costato $ 200 milioni, può eseguire calcoli matematici complessi a una velocità di 200 quadrilioni(o 200 trilioni) al secondo ed è responsabile per aver strappato alla Cina il trespolo numero uno dell'America nella lista TOP500. Fisicamente imponente, è composto da più di 300 unità — di dimensioni simili a quelle di Mira e Theta — che pesano un totale di 340 tonnellate, occupano 9.250 piedi quadrati e sono alimentate da 9.216 chip di elaborazione centrale. All'interno ci sono chilometri di cavo in fibra ottica e il raffreddamento di questo colosso richiede 4.000 litri d'acqua al minuto. Inoltre, consuma energia voracemente, abbastanza per alimentare migliaia di case. Quando il "padre del supercalcolo", Seymour Cray , iniziò a costruire le sue macchine rivoluzionarie negli anni '60, un'esibizione così increspata di muscoli computazionali era incomprensibile. Più di mezzo secolo dopo, sta lentamente diventando la norma e un giorno sembrerà bizzarro come un Atari 2600 ora. Cos'è un supercomputer? I supercomputer hanno impiegato per anni una tecnica chiamata "elaborazione massicciamente parallela", in base alla quale i problemi vengono suddivisi in parti e lavorati simultaneamente da migliaia di processori rispetto al metodo "seriale" uno alla volta, ad esempio, del normale vecchio MacBook Air. Ecco un'altra buona analogia, questa da Explainthatstuff.com : È come arrivare alla cassa con un carrello pieno di articoli, ma poi dividere i tuoi articoli tra diversi amici. Ogni amico può effettuare un checkout separato con alcuni articoli e pagare separatamente. Una volta che avrete pagato tutti, potrete riunirvi di nuovo, caricare il carrello e partire. Più elementi ci sono e più amici hai, più velocemente riesce a fare le cose tramite l'elaborazione parallela, almeno, in teoria. "Devi usare il calcolo parallelo per sfruttare davvero la potenza del supercomputer", afferma la candidata al dottorato del Rensselaer Polytechnic Institute Caitlin Joann Ross, che di recente ha svolto una residenza di sei mesi all'Argonne. “Devi capire come i dati devono essere scambiati tra i processi per farlo in modo efficiente, quindi ci sono molte piccole sfide diverse che rendono molto divertente lavorare. Anche se ci sono giorni in cui può essere sicuramente frustrante”. I problemi di "debug" , dice, sono la causa principale di quella frustrazione. I calcoli che potrebbero funzionare senza problemi utilizzando quattro processori, ad esempio, potrebbero non funzionare se ne viene aggiunto un quinto. “Se tutto funziona alla perfezione”, dice Ross, “allora qualunque cosa tu stia eseguendo funziona molto più velocemente di quanto potrebbe fare su un computer con meno processori o con un solo processore. Ci sono alcuni calcoli che potrebbero richiedere settimane o mesi per essere eseguiti sul tuo laptop, ma se riesci a parallelizzarli in modo efficiente per essere eseguiti su un supercomputer, potrebbe volerci un giorno. Un'altra area del lavoro di Ross riguarda la simulazione degli stessi supercomputer, più specificamente le reti utilizzate sui supercomputer. I dati provenienti da applicazioni eseguite su supercomputer reali vengono inseriti in un simulatore, che consente di testare varie funzioni senza disattivare l'intero sistema. Qualcosa chiamato "interferenza nelle comunicazioni" è una di quelle funzioni. "Nella vita reale, diversi utenti invieranno lavori al supercomputer, che eseguirà un qualche tipo di pianificazione per determinare quando tali lavori verranno eseguiti", afferma Ross. “Di solito ci saranno più lavori diversi in esecuzione contemporaneamente sul supercomputer. Usano nodi di calcolo diversi , ma condividono le risorse di rete. Quindi la comunicazione dal lavoro di qualcun altro potrebbe rallentare il tuo lavoro, in base al modo in cui i dati vengono instradati attraverso la rete. Con le nostre simulazioni, possiamo esplorare questo tipo di situazioni e testare cose come altri protocolli di routing che potrebbero aiutare a migliorare le prestazioni della rete. Super Computer e Simulazione della realtà, tutto qui Negli ultimi decenni e fino ai giorni nostri, il principale contributo del supercalcolo alla scienza è stata la sua capacità in costante miglioramento di simulare la realtà per aiutare gli esseri umani a fare previsioni migliori sulle prestazioni e progettare prodotti migliori nei settori della produzione e del petrolio, fino a quello farmaceutico e militare. Jack Dongarra , uno dei massimi esperti di supercalcolo al mondo, paragona questa capacità all'avere una sfera di cristallo. "Diciamo che voglio capire cosa succede quando due galassie si scontrano", dice Dongarra. “Non posso davvero fare quell'esperimento. Non posso prendere due galassie e farle scontrare. Quindi devo costruire un modello ed eseguirlo su un computer. O ai vecchi tempi, quando progettavano un'auto, prendevano quell'auto e la facevano schiantare contro un muro per vedere come resisteva all'impatto. Beh, è ​​piuttosto costoso e richiede tempo. Oggi non lo facciamo molto spesso; costruiamo un modello al computer con tutta la fisica [calcoli] e lo facciamo schiantare contro un muro simulato per capire dove sono i punti deboli". A COSA SERVONO I SUPERCOMPUTER? I supercomputer sono fondamentalmente utilizzati da aziende e organizzazioni governative per simulare i risultati. Questi computer velocissimi possono essere utilizzati per qualsiasi cosa, dalla ricerca di nuovi depositi di petrolio allo sviluppo di nuovi farmaci salvavita. In effetti, i supercomputer in tutto il mondo vengono utilizzati per aiutare nella ricerca e nello sviluppo di un vaccino per il COVID-19. Le aziende, in particolare, vedono il valore monetario ( ROI , come dicono i tipi aziendali) nelle simulazioni di supercalcolo, sia che si tratti di fabbricazione di automobili, di trivellazioni petrolifere o di scoperta di nuovi farmaci. Nel 2018, gli acquisti di aziende e governi hanno contribuito a un mercato dei computer ad alte prestazioni sempre più solido . "Dei primi cinquecento computer, più della metà sono nell'industria", afferma Dongarra, che ha trascorso una prima parte della sua carriera ad Argonne. “L'industria lo prende. Stanno investendo in computer ad alte prestazioni per essere più competitivi e ottenere un vantaggio sulla concorrenza. E sentono che i soldi sono ben spesi. Stanno investendo in queste cose per aiutare a guidare i loro prodotti e l'innovazione, i loro profitti, la loro produttività e la loro redditività". Ma è più grande del semplice ROI. "L'impresa commerciale tradizionale può vedere calcoli di ritorno sull'investimento di, 'Ci ha risparmiato questa quantità di costi di test fisici' o, 'Siamo stati in grado di arrivare sul mercato più velocemente e quindi di ottenere entrate extra'", afferma Andrew Jones , un Regno Unito- consulente di calcolo ad alte prestazioni basato. "Ma un calcolo di base del ROI per HPC non è necessariamente da dove viene il valore. Se chiedi a una compagnia petrolifera, non si tratta di essere in grado di trovare petrolio il 30 percento in meno. Si tratta di essere in grado di trovare il petrolio o no". Le aziende che utilizzano il supercalcolo per apportare miglioramenti al quadro generale e aumentare l'efficienza hanno un vantaggio sui concorrenti. "E lo stesso vale per gran parte della scienza", aggiunge Jones. "Non stai necessariamente cercando un ritorno sull'investimento in un senso specifico, stai cercando capacità generali, se i nostri ricercatori sono in grado di fare scienza che sia competitivo a livello internazionale o meno.” I Super Computer e il bisogno di velocità Poiché i computer più veloci consentono ai ricercatori di ottenere più rapidamente una maggiore comprensione di qualunque cosa stiano lavorando, c'è un bisogno sempre crescente, o almeno un forte desiderio, di velocità. Dongarra la chiama "una ricerca senza fine" e le capacità di senzafine sostenute di Aurora (ancora non provate) sarebbero l'apice di quella ricerca finora. Sarà comunque uno dei tanti. Decine di supercomputer con nomi a volte epici (Titan, Excalibur) operano in altri 26 paesi in tutto il mondo. Prodotti da 36 fornitori diversi, sono guidati da 20 generazioni di processori e servono una varietà di settori e funzioni governative che vanno dalla ricerca scientifica alla difesa nazionale. Queste statistiche provengono dal sito TOP500.org . Co-fondato da Dongarra, ha tenuto sotto controllo tutto ciò che riguarda il supercalcolo dal 1993 e utilizza il suo benchmark LINPACK (che stima la velocità con cui un computer può eseguire uno o più programmi) per misurare le prestazioni. Secondo la sua ultima carrellata del più grande e più cattivo del mondo, l'America ha cinque (presto sei) della top 10, tra cui il supercomputer più veloce del pianeta a Oak Ridge's Summit e il secondo più veloce, Sierra, al Lawrence Livermore National Laboratory in California. La Cina, seconda classificata, ne ha solo due (ma presto saranno tre). Certo, il paese occupa 227 dei primi 500 posti e ha prodotto 303 delle macchine in quella lista, ma gli Stati Uniti possono ancora brandire il loro gigantesco dito di schiuma. Per adesso. Il concorso è in corso e non accenna a diminuire. "Non ci sono due maggiori trasgressori di 'guarda quanto è grande il mio sistema' rispetto agli Stati Uniti e alla Cina", afferma Nicole Hemsoth, co-fondatrice e co-editore di The Next Platform . Sebbene storicamente la Cina sia stata meno interessata alla Top 500, spiega, negli ultimi anni hanno reso il calcolo ad alte prestazioni "un punto di orgoglio nazionale", ponendo maggiore enfasi sulle "prestazioni ai vertici delle classifiche" e spendendo miliardi per raggiungere esso. Altri concorrenti exascale includono Francia e Giappone . Secondo uno studio , 10 miliardi di dollari dei 130 miliardi di dollari previsti spesi in supercomputer tra il 2018 e il 2021 andranno verso sistemi a esascala come quello previsto per Argonne. "La corsa tra i paesi è in parte reale e in parte artificiale", afferma Jones. "Quindi, per esempio, se sei il direttore di un laboratorio nazionale statunitense e stai cercando di ottenere finanziamenti per la tua prossima macchina HPC, è un ottimo argomento per dire che, 'Beh, la Cina ne ha una dieci volte più grande, quindi dobbiamo recuperare il ritardo.' L'Unione Europea e la Cina giocano la stessa partita contro gli Stati Uniti, quindi c'è un po' di tensione creata che non è necessariamente reale, ma sta aiutando a guidare la [competizione]". Anche i media giocano un ruolo significativo. I giornalisti adorano distribuire statistiche da capogiro sui supercomputer e spiegarle in modo evocativo. C'è un esempio di questo all'inizio di questa storia. Eccone un altro, dal New York Times: "Se uno stadio costruito per 100.000 persone fosse pieno e tutti i presenti avessero un laptop moderno, ci vorrebbero 20 stadi per eguagliare la potenza di fuoco del Summit". NON TI DIVERTE? I funzionari governativi si divertono anche con un po' di spavalderia nel supercalcolo, parlando della loro gigantesca potenza di elaborazione come la chiave per il miglioramento della società e, naturalmente, la prova della totale magnificenza del loro paese. John F. Kennedy, che ha dato il via alla corsa allo spazio nel 1961, sarebbe stato dappertutto. "È la competitività economica di base", afferma Jones. “Se ti allontani così lontano che la tua nazione non è più economicamente competitiva con altre nazioni di dimensioni comparabili, allora ciò porta a un intero carico di altre questioni politiche e di sicurezza da affrontare”. VELOCITÀ DI CALCOLO + POTENZA = POTENZA MILITARE Oltre agli aspetti economici e di sicurezza, aggiunge, coloro che comprendono chiaramente le implicazioni del calcolo ad alte prestazioni ne vedono gli enormi vantaggi per la scienza, il business e altri settori. "Quindi è un gioco da ragazzi che facciamo queste cose." (Certo, alcuni rapporti affermano che questi benefici sono esagerati .) Sul fronte degli armamenti nucleari, ad esempio, i supercomputer si sono dimostrati un enorme vantaggio per le cose che vanno a gonfie vele: simulazioni sofisticate hanno eliminato la necessità di test nel mondo reale. "Non sviluppano qualcosa, escono nel deserto, praticano un foro e vedono se funziona", dice Dongarra di una pratica che si è interrotta decenni fa. "Simulano quel progetto [dell'arma] su un supercomputer. Simulano anche cosa succede a quelle [armi] se rimangono su uno scaffale per così tanti anni, perché devono verificare che la scorta funzioni". In un importante aggiornamento recente, l'Air Force Research Lab - uno dei cinque centri di supercalcolo del Dipartimento della Difesa degli Stati Uniti - ha installato quattro supercomputer condivisibili su cui l'intero esercito degli Stati Uniti può condurre ricerche classificate. Il progetto è stato promosso come un modo per aiutare i ricercatori dell'aeronautica, dell'esercito e della marina a "rispondere rapidamente alle sfide più urgenti e complesse della nostra nazione, che sta anche accelerando nuove capacità per il combattente a costi inferiori per i contribuenti". Interpretalo come vuoi. Supercomputer e Intelligenza Artificiale L'intelligenza artificiale è ancora piuttosto rudimentale, ma i supercomputer lo stanno cambiando mettendo a dura prova i processi di apprendimento automatico per produrre risultati più rapidi da più dati, come in questa ricerca sulla scienza del clima . "Essere impegnati nel supercalcolo significa credere nel potere dell'algoritmo di distillare informazioni preziose e significative dall'implementazione ripetuta della logica procedurale", scrive Scott Fulton III in una storia penetrante su ZDNet. "Alla base del supercalcolo ci sono due ideali: uno che professa che la macchina di oggi alla fine raggiungerà una soluzione nuova e straordinariamente preziosa, seguito da una seconda e più sottile nozione che la macchina di oggi è un prototipo per quella di domani." Come ha dichiarato il direttore di Argonne Paul Kearns a HPCWire, Aurora è destinata all'IA di "prossima generazione" che accelererà la scoperta scientifica e renderà possibili miglioramenti in aree come previsioni meteorologiche estreme, trattamenti medici, mappatura del cervello, sviluppo di nuovi materiali. Ci aiuterà anche a comprendere ulteriormente l'universo, ha aggiunto, "e questo è solo l'inizio". Mentre Dongarra pensa che i supercomputer plasmeranno il futuro dell'intelligenza artificiale , come ciò accadrà esattamente non è del tutto prevedibile. "In una certa misura, i computer che vengono sviluppati oggi verranno utilizzati per applicazioni che richiedono intelligenza artificiale, deep learning e calcoli di neuro-networking", afferma Dongarra. "Sarà uno strumento che aiuterà gli scienziati a comprendere e risolvere alcuni dei problemi più impegnativi che abbiamo". "Sarà" - tempo futuro. Il lavoro sull'intelligenza artificiale è ancora solo una piccola percentuale di ciò che fanno i supercomputer. Per la maggior parte, dice Jones, sono "macchine del tempo" che "portano la prossima scienza da cinque anni avanti a oggi". "Il novanta percento delle installazioni HPC tradizionali esegue ancora carichi di lavoro HPC tradizionali: simulazioni ingegneristiche, fluidodinamica, modellazione meteorologica e climatica ", spiega. "E l'intelligenza artificiale è presente al livello del cinque o del 10 percento che li aumenta e aiuta a farli funzionare meglio, ma non sta ancora dominando i requisiti per l'acquisto di piattaforme HPC o anche per guidare i programmi di finanziamento HPC". Hemsoth pensa che probabilmente passeranno altri cinque anni prima che i flussi di lavoro HPC esistenti includano molta intelligenza artificiale e deep learning, entrambi i quali avranno requisiti di elaborazione diversi rispetto a quelli attuali. "Tutti stanno saltando un po' la pistola quando si tratta di intelligenza artificiale", dice. “Stanno acquistando sistemi adatti all'AI così com'è adesso. L'intelligenza artificiale sarà una parte pratica dei carichi di lavoro, ma cambierà. E il software e l'applicazione effettivi su cui devono funzionare le cose cambieranno, il che cambierà l'hardware di cui hai bisogno. Questa roba si sta evolvendo rapidamente, ma con cicli di produzione hardware molto lunghi, specialmente se sei un laboratorio nazionale e devi procurarti questa roba da tre a cinque anni prima ancora di avere la macchina. Il futuro dei SuperComputer "Il miglioramento dell'umanità è un nobile obiettivo da raggiungere". Un altro rompicapo: il tuo smartphone attuale è veloce come lo era un supercomputer nel 1994, uno che aveva 1.000 processori e faceva simulazioni nucleari. (C'è un'app per questo?) Va da sé, quindi, che lo smartphone (o come si chiama) che hai in un quarto di secolo potrebbe teoricamente essere al livello di Aurora. Il punto è che questa roba è veloce - e sta solo diventando più veloce. Ecco come lo riassume Dongarra: “Abbiamo raggiunto i teraflop nel 1997 su una macchina dei Sandia National Laboratories. Questo è stato 10 12 teraflops. Poi, nel 2008, abbiamo raggiunto i petaflop — 10 15 — a Los Alamos. Ora siamo sul punto di raggiungere l'esascala, con 10 18 operazioni, intorno all'inizio del 2020 o del 2021. Probabilmente tra 10 o 11 anni, saremo a zettascale : 10 21 operazioni al secondo. Quando ho iniziato con l'informatica, stavamo facendo megaflop: 10 6 operazioni. Quindi le cose cambiano. Ci sono cambiamenti nell'architettura, cambiamenti nel software e nelle applicazioni che devono andare di pari passo. Passare al livello successivo è una progressione naturale”. Una storia recente su TOP500.com intitolata "Il supercalcolo si sta dirigendo verso una crisi esistenziale", dipinge un quadro delle cose a venire in cui le simulazioni passano in secondo piano. "L'apprendimento automatico, in particolare, potrebbe arrivare a dominare la maggior parte dei domini informatici, incluso l'HPC (e persino l'analisi dei dati) nel prossimo decennio e mezzo", scrive l'autore Michael Feldman. "Mentre oggi viene utilizzato principalmente come passaggio ausiliario nel calcolo scientifico tradizionale, sia per le simulazioni di pre-elaborazione che di post-elaborazione, in alcuni casi, come la scoperta di farmaci, potrebbe plausibilmente sostituire del tutto le simulazioni". Qualunque sia la forma che assumeranno i supercomputer, Papka di Argonne afferma che diventeranno sempre più potenti e trasformativi, influenzando tutto, dal pedone al profondo, dalla progettazione di batterie per auto elettriche più efficienti a, forse, l'eradicazione di malattie a lungo combattute come il cancro. O così spera. "Il miglioramento dell'umanità", dice Papka, "è un nobile obiettivo da raggiungere".

Indice Tipologie di Dataset: I cinque principali strumenti di ricerca dataset gratis Set di dati governativi per l'apprendimento automatico Set di dati finanziari ed economici per l'apprendimento automatico Set di dati di immagini per la visione artificiale Set di dati per la sentiment analysis Set di dati per l'elaborazione del linguaggio naturale Set di dati per veicoli autonomi In questo articolo abbiamo raccolto 60 set di dati per l'apprendimento automatico, che vanno da dati altamente specifici a set di dati di prodotti Amazon. Prima di iniziare ad aggregare questi dati, è importante verificare alcune cose. Innanzitutto, assicurati che i set di dati non siano "pompati", poiché probabilmente non vorrai perdere tempo a setacciare e ripulire i dati da solo. In secondo luogo, tieni presente che i set di dati con meno righe e colonne richiedono meno tempo in generale e sono anche più facili da utilizzare . I cinque principali strumenti di ricerca dataset gratis Quando si padroneggia l'apprendimento automatico, fare pratica con diversi set di dati è un ottimo punto di partenza. Fortunatamente, trovarli è facile. Kaggle : questo sito di data science contiene un insieme diversificato di set di dati interessanti e forniti in modo indipendente per l'apprendimento automatico. Se stai cercando set di dati di nicchia, il motore di ricerca di Kaggle ti consente di specificare le categorie per assicurarti che i set di dati che trovi si adattino alla tua fattura. UCI Machine Learning Repository : questo pilastro dei set di dati aperti è stato un punto di riferimento per decenni. Poiché molti dei set di dati sono forniti dall'utente, è imperativo controllarne la qualità poiché i livelli di pulizia possono variare. Vale la pena notare, tuttavia, che la maggior parte dei set di dati sono puliti, il che rende questo repository un punto di riferimento. Gli utenti possono anche scaricare i dati senza bisogno di registrarsi. Ricerca di set di dati di Google : la ricerca di set di dati contiene oltre 25 milioni di set di dati provenienti da tutto il Web. Che siano ospitati sul sito di un editore, su un dominio governativo o sul blog di un ricercatore, Dataset Search può trovarlo. AWS Open Data Registry : ovviamente anche Amazon ha le mani nel barattolo dei cookie del set di dati aperto. Il colosso dello shopping porta la sua intraprendenza caratteristica nel gioco di ricerca di set di dati. Un vantaggio chiave che differenzia AWS Open Data Registry è la sua funzione di feedback degli utenti, che consente agli utenti di aggiungere e modificare i set di dati. L'esperienza con AWS è anche altamente preferita nel mercato del lavoro. Set di dati ML di Wikipedia : questa pagina di Wikipedia presenta diversi set di dati per l'apprendimento automatico, inclusi segnali, immagini, suoni e testo, solo per citarne alcuni. Set di dati governativi per l'apprendimento automatico Se stai cercando dati demografici per i tuoi algoritmi di machine learning, non cercare oltre questi portali di dati governativi. I modelli ML formati tramite i dati del governo pubblico possono consentire ai responsabili delle politiche di riconoscere e anticipare le tendenze che informano le decisioni politiche preventive. Data USA : Data USA offre una fantastica gamma di dati pubblici statunitensi visualizzati in modo potente. Le informazioni sono digeribili e facilmente accessibili, rendendo facile vagliare e selezionare se è giusto per te. Portale Open Data dell'UE : questo portale di dati aperti offre oltre un milione di set di dati in 36 paesi europei pubblicati da rinomate istituzioni dell'UE. Il sito ha un'interfaccia facile da usare che ti consente di cercare set di dati specifici in una varietà di categorie tra cui energia, sport, scienza ed economia. Data.gov : questo sito è fantastico per chiunque cerchi di scaricare una moltitudine di fonti di dati disponibili pubblicamente dalle agenzie governative degli Stati Uniti. I dati sono diversi e vanno dai dati di bilancio ai punteggi delle prestazioni scolastiche. Le informazioni spesso richiedono ulteriori ricerche, che è qualcosa da tenere a mente. Dati sanitari statunitensi : un ricco repository che presenta naturalmente tonnellate di set di dati sui dati sanitari statunitensi. Il servizio dati del Regno Unito : questo archivio di dati presenta la più grande raccolta di dati sociali, economici e demografici del Regno Unito. Finanze del sistema scolastico : un archivio favoloso per chiunque sia interessato ai dati finanziari dell'istruzione come entrate, spese, debito e risorse dei sistemi scolastici pubblici elementari e secondari. Le statistiche su questo sito coprono anche i sistemi scolastici negli Stati Uniti, incluso il Distretto di Columbia. Il National Center for Education Statistics degli Stati Uniti: questo archivio contiene informazioni sulle istituzioni educative e sui dati demografici non solo dagli Stati Uniti, ma anche da tutto il mondo. Set di dati finanziari ed economici per l'apprendimento automatico Naturalmente il settore finanziario sta abbracciando il Machine Learning a braccia aperte. Poiché i record quantitativi finanziari ed economici sono in genere tenuti meticolosamente, la finanza e l'economia sono un ottimo argomento per implementare un modello AI o ML. Sta già accadendo, poiché molte società di investimento utilizzano algoritmi per guidare le loro scelte di azioni, previsioni e operazioni. L'apprendimento automatico viene utilizzato anche nel campo dell'economia per cose come testare modelli economici o analizzare e prevedere il comportamento delle popolazioni. American Economic Association (AEA) : L'AEA è una fonte fantastica per i dati macroeconomici statunitensi. Quandl : Un'altra grande fonte di dati economici e finanziari, in particolare per costruire modelli predittivi su azioni e indicatori economici. Dati del FMI : il Fondo monetario internazionale tiene traccia e conserva meticolosamente i registri relativi alle riserve valutarie, ai risultati degli investimenti, ai prezzi delle materie prime, ai tassi di debito e alle finanze internazionali. Dati aperti della Banca mondiale : i set di dati della Banca mondiale coprono la demografia della popolazione insieme a un numero elevato di indicatori economici e di sviluppo in tutto il mondo. Dati di mercato del Financial Times : ottimo per informazioni aggiornate su materie prime, cambi e altri mercati finanziari mondiali. Google Trends : Google Trends ti dà la libertà di esaminare e analizzare tutte le attività di ricerca su Internet e offre anche scorci su quali storie sono di tendenza in tutto il mondo. Set di dati di immagini per la visione artificiale Chiunque desideri addestrare applicazioni di visione artificiale come veicoli autonomi, riconoscimento facciale e tecnologia di imaging medico avrà bisogno di un database di immagini. Questo elenco contiene una serie diversificata di applicazioni che si riveleranno utili. VisualQA : se hai una comprensione della visione e del linguaggio, questo set di dati è utile in quanto contiene domande complesse relative a oltre 265.000 immagini. Labelme : questo set di dati per l'apprendimento automatico è già annotato, il che lo rende pronto e pronto per qualsiasi applicazione di visione artificiale. ImageNet : il set di dati di apprendimento automatico per i nuovi algoritmi, questo set di dati è organizzato secondo la gerarchia di WordNet, il che significa che ogni nodo è in realtà solo tonnellate di immagini. Riconoscimento scena interna : questo set di dati altamente specificato contiene immagini utili per i modelli di riconoscimento scena. Genoma visivo : oltre 100.000 immagini altamente dettagliate e didascalie. Stanford Dogs Dataset : ottimo per gli amanti dei cani tra noi, questo set di dati contiene oltre 20.000 immagini di oltre 120 diverse razze di cani. Immagini aperte di Google : oltre 9 milioni di URL di immagini annotate in 6.000 categorie. Facce etichettate nella casa selvaggia : set di dati particolarmente utile per le applicazioni che coinvolgono il riconoscimento facciale. COIL-100 : contiene 100 oggetti che vengono ripresi su più angolazioni per una vista completa a 360 gradi. CIFAR-10 : il set di dati CIFAR-10 è composto da 60000 immagini a colori 32×32 in 10 classi, con 6000 immagini per classe. Ci sono immagini di allenamento da 50K e immagini di prova da 10K. Cityscapes : Cityscapes contiene annotazioni a livello di pixel di alta qualità di 5.000 fotogrammi oltre a un set più ampio di 20.000 fotogrammi con annotazioni scadenti. IMDB-Wiki : in questo set di dati sono presenti oltre 500K+ immagini di volti che sono state raccolte sia su IMDB che su Wikipedia. Fashion MNIST : Questo è un set di dati delle immagini degli articoli di Zalando. Contiene un training set di 60.000 esempi e un test set di 10.000 esempi. MS COCO : questo set di dati contiene foto di vari oggetti e contiene oltre 2 milioni di istanze etichettate su oltre 300K immagini. MPII Human Pose Dataset : questo set di dati include 25K immagini contenenti oltre 40K persone con articolazioni del corpo annotate. È perfetto per la valutazione della stima articolata della posa umana. Set di dati per la sentiment analysis Esistono innumerevoli modi per migliorare qualsiasi algoritmo di analisi del sentiment. Questi grandi set di dati altamente specializzati possono essere d'aiuto. Set di dati di analisi del sentiment multidominio : un tesoro di recensioni di prodotti Amazon positive e negative (da 1 a 5 stelle) per i prodotti più vecchi. Dati sui prodotti Amazon : con 142,8 milioni di set di dati di recensioni Amazon, questo set di dati SA include recensioni aggregate su Amazon tra il 1996 e il 2014. Twitter US Airline Sentiment : dati Twitter sulle compagnie aeree statunitensi risalenti a febbraio 2015 che sono già stati classificati in base alla classe di sentiment (positivo, neutro, negativo). IMDB Sentiment : questo set di dati più piccolo (e più vecchio) è perfetto per la classificazione binaria del sentimento e presenta oltre 25.000 recensioni di film. Sentiment140 : uno dei set di dati più popolari che contiene oltre 160.000 tweet che sono stati controllati per le emoticon (che sono stati successivamente rimossi). Stanford Sentiment Treebank : set di dati contenente oltre 10.000 file HTML Rotten Tomatoes con annotazioni sui sentimenti basate su una scala 1 (negativa) e 25 (positiva). Recensioni cartacee : questo set di dati è composto da recensioni in lingua inglese e spagnola su informatica e informatica. Il set di dati viene valutato utilizzando una scala a cinque punti, dove -2 è il più negativo e 2 il più positivo. Lexicoder Sentiment Dictionary : questo dizionario è progettato per essere utilizzato in conformità con Lexicoder, che aiuta nella codifica automatica del sentimento della copertura delle notizie, del discorso legislativo e di altri testi. Lessici dei sentimenti per 81 lingue : questo set di dati contiene oltre 81 lingue esotiche con lessici dei sentimenti positivi e negativi, con i sentimenti analizzati e basati sui lessici dei sentimenti inglesi. Opin-Rank Review Dataset : questo dataset di auto contiene una serie di recensioni sui modelli prodotti tra il 2007 e il 2009. Contiene anche i dati sulle recensioni degli hotel. Set di dati per l'elaborazione del linguaggio naturale L'elenco seguente contiene diversi set di dati per varie attività di elaborazione della PNL, inclusi il riconoscimento vocale e i chatbot. Enron Dataset : dati e-mail di gestione senior organizzati in cartelle da Enron. UCI's Spambase : un succoso set di dati sullo spam perfetto per il filtraggio dello spam. Recensioni su Amazon : ancora un altro tesoro contenente 35 milioni di recensioni su Amazon in 18 anni con recensioni di prodotti, informazioni sugli utenti e persino la visualizzazione del testo in chiaro. Recensioni di Yelp : 5 milioni di recensioni di Yelp in un set di dati aperto. Google Books Ngrams : questa libreria di parole è abbondante per qualsiasi algoritmo di PNL. SMS Spam Collection in inglese : oltre 5500 messaggi SMS di spam (in inglese). Rischio : oltre 200.000 domande dal classico quiz show. Elenco eBook Gutenberg : un elenco annotato degli ebook del Progetto Gutenberg. Blogger Corpus : uno stuolo di blog (600K+) con un minimo di 200 occorrenze in ciascuna delle parole inglesi più comunemente usate. Wikipedia Links Data : oltre 1,9 miliardi di parole su 4 milioni di articoli, questo set di dati contiene l'intero testo di Wikipedia. Set di dati per veicoli autonomi I veicoli autonomi richiedono grandi quantità di set di dati di alta qualità per interpretare l'ambiente circostante e reagire di conseguenza. Berkeley DeepDrive BDD100K : questo set di dati AI a guida autonoma è considerato il più grande del suo genere. Presenta oltre 100.000 video di 1.100 ore di guida in diversi orari, condizioni meteorologiche e di guida. Comma.ai : set di dati con 7 ore di guida in autostrada che dettaglia anche le coordinate GPS dell'auto, la velocità, l'accelerazione e gli angoli di sterzata. L'auto robotica di Oxford: set di dati di Oxford, Regno Unito con 100 ripetizioni di un singolo percorso in diverse ore del giorno, condizioni meteorologiche e di guida (traffico, condizioni meteorologiche, pedoni). LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets : set di dati con informazioni su segnali stradali, rilevamento di veicoli, semafori e modelli di traiettoria. Cityscapes Dataset : un insieme diversificato di dati di scene di strada in 50 città diverse. Baidu Apolloscapes : questo set di dati include 26 diversi elementi semantici tra cui lampioni, pedoni, edifici, biciclette, automobili e altro ancora. Landmarks : set di dati di Google open source progettato per distinguere tra formazioni naturali e punti di riferimento creati dall'uomo. Questo set di dati include oltre due milioni di immagini in 30 mila punti di riferimento in tutto il mondo. Landmarks-v2 : con il miglioramento della tecnologia di classificazione delle immagini, Google ha deciso di rilasciare un altro set di dati per aiutare con i punti di riferimento. Questo set di dati ancora più grande include cinque milioni di immagini con più di 200 mila punti di riferimento in tutto il mondo. PandaSet : PandaSet sta lavorando per promuovere e far progredire la guida autonoma e la ricerca e sviluppo ML. Questo set di dati include oltre 48.000 immagini della fotocamera, oltre 16.000 scansioni LiDar, oltre 100 scene di 8 secondi ciascuna, 28 classi di annotazioni, 37 etichette di segmentazione semantica e si estende all'intera suite di sensori. nuScenes : questo set di dati su larga scala per veicoli autonomi utilizza l'intera suite di sensori di una vera auto a guida autonoma su strada. Questo vasto set di dati include immagini della fotocamera da 1,4 milioni, scansioni LiDar da 390K, informazioni cartografiche intime e altro ancora. OpenImageV5 : questo set di dati è costituito da oltre 9 milioni di immagini annotate ed etichettate in migliaia di categorie di oggetti. Waymo Open Dataset : questo set di dati di sensori multimodali open source e di alta qualità viene estratto dai veicoli a guida autonoma Waymo in una serie diversificata di ambienti. Commenta qui sotto con altri link a dataset interessanti Sfruttiamo il potere della condivisione

La scienza dei dati, una delle carriere in più rapida crescita nella tecnologia, è un campo interdisciplinare che ci aiuta ad analizzare e dare un senso al mondo che ci circonda. A causa del mercato del lavoro in forte espansione e della crescente dipendenza delle aziende da soluzioni basate sui dati, questa domanda non rallenterà presto. Fortunatamente, diventare uno scienziato dei dati non richiede una laurea. Finché sei aperto all'apprendimento di cose nuove e sei disposto a dedicare tempo e impegno, puoi diventare uno scienziato dei dati. La domanda ora è: da dove si inizia per diventare Data scientist ? Internet è pieno di tutorial su ogni aspetto della scienza dei dati, come le basi dell'apprendimento automatico, l'elaborazione del linguaggio naturale, il riconoscimento vocale e tutti i tipi di incredibili magie della scienza dei dati. Ma, per un principiante, quella quantità di informazioni può essere travolgente e portare qualcuno ad arrendersi prima ancora di iniziare. Ciò di cui hai bisogno è una roadmap strutturata che definisca chiaramente ciò che devi imparare (e in quale ordine) per diventare un data scientist insieme alle competenze necessarie per affinare il tuo percorso di apprendimento della scienza dei dati. PER DIVENTARE UN DATA SCIENTIST DEVI SAPERE : Programmazione Banche dati Matematica: Teoria delle Probabilità, Statistica e Nozioni di Algebra Lineare Controllo versione Nozioni di base sulla scienza dei dati: ricerca di set di dati, comunicazione scientifica e visualizzazione dei dati Nozioni di base sull'apprendimento automatico Convalida delle serie temporali e del modello Reti neurali Apprendimento profondo Elaborazione del linguaggio naturale Usa questa tabella di marcia per dare il via alla tua carriera nella scienza dei dati. 1. Programmazione Se non conosci la tecnologia, la programmazione è il miglior punto di partenza. Attualmente, i due linguaggi di programmazione utilizzati dalla maggior parte dei data scientist sono Python e R. R : Un linguaggio di programmazione per il calcolo statistico, ampiamente utilizzato per lo sviluppo di software statistici e analisi dei dati. Python : un linguaggio di programmazione di alto livello e di uso generale. Python è ampiamente utilizzato in molte applicazioni e campi, dalla semplice programmazione all'informatica quantistica. Poiché Python è un linguaggio di programmazione adatto ai principianti, è un ottimo punto di partenza con la scienza dei dati (e forse altri campi in futuro). A causa della popolarità di Python, ci sono molte risorse disponibili per impararlo. Alcuni di voi potrebbero già sapere come programmare e potrebbero passare alla scienza dei dati da un altro campo tecnico. In tal caso, puoi saltare questo passaggio e andare avanti al passaggio successivo del viaggio. 2. Database Puoi pensare alla scienza dei dati come all'arte di raccontare una storia usando i dati, ma devi essere in grado di accedere effettivamente ai dati per raccontare la tua storia. In altre parole, ogni volta che lavori su un progetto di data science, avrai bisogno di dati per analizzare, visualizzare e creare un progetto valido. I dati di cui hai bisogno sono spesso archiviati in alcuni database. Un passaggio essenziale per distinguersi come data scientist è interagire e comunicare con i database in modo efficace. Ad esempio, avere le competenze per progettare un semplice database può portarti al livello successivo. Per comunicare con un database, dovrai parlare il suo linguaggio: SQL, che sta per Structured Query Language e lo usiamo per comunicare con tutti i tipi di database. Le mie risorse preferite per imparare SQL sono CodeAcademy , Khan Academy e l'apprendimento interattivo, SQLCourse . 3. Matematica Il cuore della scienza dei dati è la matematica. Per capire come funzionano i diversi concetti di scienza dei dati, è necessario avere una certa comprensione della matematica dietro di essi, comprese le basi della teoria della probabilità, della statistica e dell'algebra lineare per comprendere la scienza dei dati. Ora, so che la matematica è l'unica cosa che potrebbe far scappare qualcuno prima di intraprendere una carriera nella scienza dei dati. Tuttavia, la maggior parte degli strumenti che utilizzerai nella tua carriera eliminerà l'implementazione della matematica stessa nei tuoi progetti, ma vorrai comunque una certa comprensione dei principi fondamentali. Non lasciare che la matematica ti intimidisca dall'esplorare il mondo della scienza dei dati! direi che ne vale la pena. Ci sono alcuni materiali utili su Coursera che possono aiutarti ad affrontare la matematica di cui hai bisogno. Competenze matematiche in scienze dei dati Matematica per la specializzazione in Data Science 4. Controllo del Git Nello sviluppo del software in generale e nella scienza dei dati in particolare, uno dei concetti più importanti che puoi apprendere è il controllo della versione. Ogni volta che lavori su un progetto di data science, dovrai scrivere diversi file di codice, esplorare set di dati e collaborare con altri data scientist. Dovrai gestire tutte le modifiche al codice tramite il controllo della versione, ovvero Git. Git è un sistema di controllo della versione utilizzato per tenere traccia delle modifiche al codice sorgente durante il processo di sviluppo del software. Le coordinate Git funzionano tra un gruppo di programmatori o tengono traccia delle modifiche in qualsiasi set di file da un singolo programmatore. Sebbene Git sia un sistema, alcuni siti Web ti consentono di utilizzare Git facilmente senza dover interagire molto con la riga di comando (anche se alla fine ti sposterai alla riga di comando), come GitHub o GitLab . Fortunatamente, ci sono molte risorse per aiutarti a comprendere la funzionalità interna di Git; le mie scelte migliori sono BitBucket Learn Git Tutorial e questa lezione del corso Harvard CS50. 5. Nozioni di base sulla scienza dei dati La scienza dei dati è un termine ampio e include molti concetti e tecnologie diversi. Quindi, prima di immergerti nel grande mare della scienza dei dati, devi prima familiarizzare con alcune nozioni di base. Trovare set di dati : ci sono due modi per avviare qualsiasi progetto di data science; hai un set di dati che desideri utilizzare per creare un progetto oppure hai una domanda e devi trovare un set di dati per rispondere. Esplorare i set di dati e scegliere quello giusto per il tuo progetto è un'abilità importante da acquisire. Comunicazione scientifica : in qualità di data scientist, dovrai comunicare con un pubblico generale per fornire il tuo processo e i risultati. Quindi, dovrai sviluppare le tue capacità di comunicazione scientifica e di parlare in pubblico per spiegare concetti complessi usando termini semplici. Visualizzazione efficace : l'unico modo per convalidare i risultati è visualizzarli. La visualizzazione svolge un ruolo importante nella scienza dei dati, dall'esplorazione dei dati alla consegna dei risultati. Acquisire familiarità con una visualizzazione efficace dei dati può farti risparmiare un sacco di tempo e fatica mentre lavori al tuo progetto. 6. Nozioni di base sull'apprendimento automatico Quindi, hai lavorato sulle tue capacità di programmazione, hai rispolverato i tuoi calcoli e ti sei tuffato nei database. Ora sei pronto per iniziare la parte divertente: applicare ciò che hai imparato finora per costruire il tuo primo progetto. Ora è il momento di passare all'apprendimento automatico. È qui che inizi ad apprendere ed esplorare algoritmi e tecniche di base, come la regressione lineare e logistica, gli alberi decisionali, i Bayes ingenui e le macchine vettoriali di supporto (SVM). Inizierai anche a scoprire i diversi pacchetti Python o R per organizzare e implementare i tuoi dati. Potrai usare Scikit-learn , SciPy e NumPy . Imparerai anche come ripulire i tuoi dati per avere posizioni e risultati più accurati. È qui che potrai sperimentare cosa puoi fare con la scienza dei dati e potrai vedere l'impatto che il campo ha sulla nostra vita quotidiana. Il posto migliore per iniziare a conoscere i diversi aspetti dell'apprendimento automatico sono i vari articoli su Intelligenzaartificialeitalia.net . 7. Serie storiche e convalida del modello È tempo di approfondire l'apprendimento automatico. I tuoi dati non rimarranno stagnanti; è spesso in qualche modo legato al tempo. Le serie temporali sono punti dati ordinati in base al tempo. Più comunemente, le serie temporali sono sequenze di dati prese in punti successivi equidistanti nel tempo, il che le rende dati a tempo discreto. Le serie temporali ti mostrano come il tempo modifica i tuoi dati. Ciò consente di ottenere informazioni su tendenze, periodicità dei dati e prevedere il comportamento futuro dei dati. Quando si tratta di serie temporali, è necessario lavorare su due componenti principali: Analisi dei dati delle serie temporali. Dati di serie temporali di previsione. Costruire modelli per prevedere il comportamento futuro non è sufficiente; devi anche convalidare l'accuratezza del modello. Qui imparerai come creare e testare i modelli in modo efficiente. Inoltre, imparerai come stimare la soglia di errore per ogni progetto e come mantenere i tuoi modelli entro intervalli accettabili. 8. Reti neurali Le reti neurali (Artificial Neural Networks o ANN) sono un paradigma di programmazione ispirato alla biologia che consente a un computer di apprendere dai dati osservativi. Le ANN sono iniziate come un approccio per imitare l'architettura del cervello umano per eseguire diversi compiti di apprendimento. Per assomigliare al cervello umano, una RNA contiene gli stessi componenti di una cellula umana. Quindi, ANN contiene una raccolta di neuroni; ogni neurone rappresenta un nodo connesso ad un altro tramite link. Questi collegamenti corrispondono alle connessioni biologiche assone-sinapsi-dendrite. Inoltre, ciascuno di questi collegamenti ha un peso che determina la forza che un nodo ha su un altro. L'apprendimento di ANN ti consente di affrontare una gamma più ampia di attività, tra cui il riconoscimento della scrittura a mano, il riconoscimento di modelli e l'identificazione del volto. ANN rappresenta la logica di base che devi conoscere per procedere al passaggio successivo del tuo viaggio nella scienza dei dati, il deep learning. 9. Apprendimento profondo Le reti neurali sono paradigmi che alimentano il deep learning. Il deep learning rappresenta un potente insieme di tecniche che sfruttano il potere di apprendimento delle reti neurali. Puoi utilizzare le reti neurali e il deep learning per affrontare le soluzioni ottimali a molti problemi in vari campi, tra cui il riconoscimento delle immagini, il riconoscimento vocale e l'elaborazione del linguaggio naturale. Ormai avrai familiarità con molti pacchetti Python che trattano diversi aspetti della scienza dei dati. In questo passaggio, avrai la possibilità di provare pacchetti popolari come Keras e TensorFlow. Inoltre, a questo punto, sarai abbastanza abile da leggere i recenti progressi della ricerca nella scienza dei dati e forse sviluppare i tuoi algoritmi. 10. Elaborazione del linguaggio naturale Sei quasi alla fine. Puoi già vedere il traguardo. Finora hai affrontato molti concetti teorici e pratici, dalla semplice matematica ai complessi concetti di deep learning. Allora, qual è il prossimo? È il mio sottocampo preferito della scienza dei dati: l'elaborazione del linguaggio naturale (NLP). L'elaborazione del linguaggio naturale è un ramo entusiasmante dell'intelligenza artificiale che ti consente di utilizzare la potenza dell'apprendimento automatico per insegnare al computer a comprendere ed elaborare le lingue umane. Ciò includerà il riconoscimento vocale, l'applicazione di sintesi vocale (e la sintesi vocale), gli assistenti virtuali (come Siri e BERT) e tutti i tipi di diversi robot conversazionali. Eccoci alla fine della strada. Ma ogni fine è davvero un inizio. Proprio come qualsiasi altro campo legato alla tecnologia, non c'è davvero fine. Il campo si sta sviluppando rapidamente; nuovi algoritmi e tecniche sono in fase di ricerca mentre leggi questo articolo. Quindi, essere uno scienziato dei dati significa che sarai uno studente per tutta la vita. Svilupperai le tue conoscenze e il tuo stile man mano che procedi. Probabilmente svilupperai un'attrazione per un sottocampo specifico, scaverai ancora più a fondo e forse anche specializzerai. Incontrerai blocchi stradali e deviazioni lungo la strada. Mantieni una mente aperta, sii paziente e dedica tempo e sforzi per raggiungere la tua destinazione. La cosa più importante da ricordare mentre intraprendi questo viaggio è: puoi farcela.

So che anche tu almeno una volta hai cercato un canale Tv, completamente dedicato al mondo dell'Intelligenza Artificiale, e non lo hai mai trovato... Giacinto Fiore e Pasquale Viscanti hanno avuto un idea rivoluzionaria Hanno creato una piattaforma con i dei video di approfondimento e ispirazione dedicati al mondo dell’Intelligenza Artificiale. All'interno della piattaforma, i migliori Manager al Mondo ti raccontano come l’Intelligenza Artificiale può mettere il turbo al tuo business. Indice Come è nata AIPLAY ? Cosa Include la Piattaforma e che numeri conta ? Trailer delle prossime uscite ! Quali sono gli obiettivi di AIPLAY ? Quali Big ci sono in AIPLAY ? Quanto Costa ? Regalo Fine Articolo ! Come è nata AIPLAY ? Come raccontano Giacinto Fiore e Pasquale Viscanti ad un intervista su La Repubblica : "Lavoravamo insieme in un’azienda che oggi fa parte del Gruppo Zucchetti. Stavamo nella stessa stanza: è qui che l’intelligenza artificiale ha iniziato ad affacciarsi nelle nostre vite. Volevamo comprendere cosa fosse e come poterla raccontare sul mercato. Su Google trovavamo tanti docenti universitari con le lezioni frontali agli alunni, articoli scientifici. Quindi abbiamo iniziato a fare colloqui con le persone che conoscevamo per farci spiegare un po’ più a fondo cosa fosse l’intelligenza artificiale. Così ci è venuta l’idea di rendere queste lezioni disponibili a tutti, ovviamente con il consenso degli intervistati. Nel febbraio del 2019 abbiamo pubblicato la prima puntata con i dati dell'Osservatorio del Politecnico di Milano. Ma era ancora un hobby. Poi a febbraio 2020 è scattato il lockdown: a quel punto abbiamo deciso di dedicarci totalmente a questo progetto perché si avvertiva che la IA sarebbe esplosa. A maggio 2020 abbiamo fatto debuttare la AI Week, evento online sull'intelligenza artificiale, dove abbiamo coinvolto speaker e sponsor, aziende del settore che hanno investito e realizzato workshop. Nel 2021 finalmente arriva AI Play, la nostra piattaforma che vogliamo fare diventare una sorta di Netflix dell'intelligenza artificiale. Gli utenti possono accedere gratuitamente, ma per avere a disposizione tutto il catalogo di video, oltre quelli del professor Luciano Floridi e di Federico Faggin, inventore del microprocessore, è necessario sottoscrivere un accesso premium. " FONTE La Repubblica Che cosa include la Piattaforma AIPLAY ? Proprio come scrivono sulla loro home page : Al momento la piattaforma di AIPLAY conta : +150 Esperti di Intelligenza Artificiale intervistati +200 Ore di Video di formazione e approfondimenti +90 Aziende coinvolte che operano nel mondo A.I. LIVE Ogni mese con i grandi esperti di innovazione e A.I. e non pensare che sia finita qui ! Giacinto Fiore e Pasquale Viscanti stanno creando grazie ad AIPLAY un Network tra aziende che include : +50 Video di Demo Piattaforme di I.A. +100 Use Cases reliazzati per settore +1.000 Incontri di Business generati Attualmente i principali Manager ed Imprenditori intervistati fanno parte delle seguenti aziende: Trailer Delle Prossime Uscite Non vi sveleremo chi c'è e di cosa si parlerà in questi trailer, ma vi consigliamo di vederli tutti... Quali sono gli Obiettivi di AIPLAY Come affermano Giacinto Fiore e Pasquale Viscanti ad un intervista su La Repubblica : "L'Osservatorio e AIPLAY nascono per rispondere a 3 criticità peculiari del mercato italiano: la prima è la mancanza di comunicazione all’interno dell’ecosistema di aziende che producono IA, e che quindi si trovano spesso a riprodurre cose già pronte; la seconda è la mancanza di un reparto marketing all’interno di queste aziende e di un reparto vendite che siano pronti a portarle sul mercato; la terza è che i manager, alla guida dei 4 milioni di aziende italiane, ancora non hanno compreso esattamente che cos’è la IA e come possono sfruttarla al meglio. " FONTE La Repubblica Tra i Big dell'I.A. ci sono ... Al momento sono molti e di alto rilievo le persone ( manager, imprenditori e ricercatori ) che stanno contribuendo a questo progetto. Tra le Prossime Partecipazioni ci saranno : Quanto è il prezzo di tutto questo ? Come detto all'inizio dell'articolo AIPLAY è un ambizioso progetto che promette di diventare la Tv on-demand sull'Intelligenza Artificiale, dedicata a Manager, Imprenditori e dipendenti. Nonostante questo Giacinto Fiore e Pasquale Viscanti hanno comunque scelto di creare due versioni per rendere il tutto accessibile a chiunque. Andiamole a vedere : Quanto costa la Versione Premium ? Sul sito la versione premium, è a 11,70€ attualmente scontata a 34,70€ se si acquista il pacchetto annuale. Ma Abbiamo un REGALO PER TE Se sei interessato a questo progetto e vorresti iscriverti alla vesione PROFESSIONAL, per usufruire di tutti i servizi non puoi ASSOLUTAMENTE perdere questa offerta. Abbiamo deciso di stringere una piccola partnership con i creatori di AIPLAY per REGALARVI UN ULTERIORE SCONTO del 20% Per un Totale di SOLO 2,31€ al mese, poco più di 27€ in un intero anno Per BLOCCARE l'OFFERTA a tempo Limitato Clicca su questo LINK Inserisci all'Interno della Casella con scritto "Coupon" il nostro codice " IAITALIA " Goditi il nostro regalo Gratuito Video Tutorial :

La scienza dei dati in finanza ha lo scopo di estrarre conoscenza da un'enorme quantità di dati impiegando matematica e statistica. E molte tecniche diverse vengono impiegate per raggiungere questo obiettivo poiché una buona ricerca porta a risultati migliori che portano a un profitto per le istituzioni finanziarie. La scienza dei dati è diventata estremamente rilevante nel settore finanziario, che viene utilizzato principalmente per la gestione del rischio e l'analisi del rischio. Le aziende valutano anche i modelli di dati tramite software di business intelligence. Attraverso l'uso della Data Science, è aumentata l'accuratezza nell'identificazione di irregolarità e frodi. Ciò ha consentito di ridurre i rischi e le truffe, mitigare le perdite e preservare l'immagine dell'istituto finanziario. Data science e Finance vanno di pari passo poiché Finance è il fulcro dei dati. Le istituzioni finanziarie sono state tra i primi pionieri e utilizzatori dell'analisi dei dati. In questo blog parleremo delle nuove applicazioni della data science nel settore finanziario e di come i suoi sviluppi rivoluzionano la finanza. Discuteremo anche di come varie aziende utilizzano la scienza dei dati per controllare le proprie spese finanziarie. Che cos'è la scienza dei dati? Secondo Wikipedia - La scienza dei dati è un campo interdisciplinare che utilizza metodi, processi, algoritmi e sistemi scientifici per estrarre informazioni sulla bacchetta della conoscenza da molti dati strutturali e non strutturati. La scienza dei dati è correlata al data mining, all'apprendimento automatico e ai big data. In parole semplici, la scienza dei dati è la raccolta di dati ottenuti da fonti strutturate e non strutturate in modo da estrarre informazioni preziose. Le fonti di dati possono includere sondaggi online o manuali, dati sui clienti al dettaglio e informazioni e azioni sull'utilizzo dei social media. Questi dati vengono utilizzati per modellare le azioni di una rete o di una base di clienti per prevedere comportamenti e modelli futuri. Questa ricerca può essere estesa a una specifica comunità campione, come clienti al dettaglio o consumatori di social media, previsioni del tempo, apprendimento automatico e una vasta gamma di altre discipline. Tali discipline includono ML, AI, statistica, matematica, informatica e analisi e molte altre. Qual è il ruolo della scienza dei dati nella finanza? L'apprendimento automatico, i big data e l'intelligenza artificiale sono opzioni affascinanti e futuristiche per molti sviluppatori, uomini d'affari e dipendenti aziendali. Tuttavia, le organizzazioni del settore finanziario, a causa dei loro problemi di sicurezza, hanno spesso una resistenza alle nuove tecnologie. Il mondo finanziario, infatti, è maggiormente guidato da sviluppi all'avanguardia. Mentre l'apprendimento automatico può rendere efficienti le procedure di prestito riducendo le frodi, le applicazioni basate sull'intelligenza artificiale possono fornire agli utenti raccomandazioni avanzate. Fin dalla sua nascita, la scienza dei dati ha aiutato l'evoluzione di molti settori. In realtà è una cosa che gli analisti finanziari hanno fatto affidamento sui dati per trarre molte informazioni utili. La crescita della scienza dei dati e dell'apprendimento automatico, tuttavia, ha portato a un enorme miglioramento nel settore. Oggi, algoritmi automatizzati e metodi analitici avanzati vengono utilizzati insieme per superare la concorrenza più che mai. Per stare al passo con le ultime tendenze e comprenderne l'utilizzo, discuteremo il valore della scienza dei dati nella finanza fornendo molti esempi. Utilizzo della scienza dei dati in finanza La scienza dei dati è ampiamente utilizzata in aree come l'analisi dei rischi, la gestione dei clienti , il rilevamento delle frodi e il trading algoritmico. Esploreremo ciascuno di questi e ti forniremo applicazioni della scienza dei dati nell'industria finanziaria . Analisi del rischio Inizialmente, i dati venivano elaborati in batch e non in tempo reale, creando problemi per diversi settori che avevano bisogno di dati in tempo reale per ottenere una prospettiva delle condizioni attuali. Tuttavia, con i miglioramenti della tecnologia e la crescita di pipeline di dati dinamici, l'accesso ai dati può ora essere effettuato con una latenza minima. Con questa scienza dei dati nell'applicazione finanziaria , le organizzazioni sono in grado di monitorare acquisti, punteggi di credito e altri parametri finanziari senza problemi di latenza. Analisi dei clienti Le società finanziarie possono formulare ipotesi su come è probabile che ciascun cliente si comporti in base a modelli comportamentali precedenti. Utilizzando app socio-economiche, possono suddividere i clienti in gruppi e fare previsioni su quanti soldi ogni cliente si aspetta di ricevere in futuro. L'azienda separa i clienti in classi distinte in base a determinati attributi, come età, occupazione, indirizzo, ecc., utilizzando tecniche di data science e machine learning senza supervisione. Quindi, creando modelli predittivi, decidono quali di queste caratteristiche sono più importanti per ciascuna parte. Assegniamo il valore atteso di ogni cliente in base a queste informazioni. Intercettazione di una frode Per le società finanziarie, la frode è un grosso problema. I rischi di frode sono aumentati con il numero di transazioni in corso. Detto questo, con l'avvento dei big data e dei software analitici, le società finanziarie si sono messe in grado di tenere traccia delle frodi. La frode con carta di credito è tra le frodi più comunemente praticate dalle società finanziarie. L'identificazione di questa forma di frode è attribuita allo sviluppo di algoritmi che hanno migliorato l'accuratezza del rilevamento delle anomalie. Inoltre, questi rilevamenti avvertono le aziende di irregolarità nell'acquisto finanziario, inducendole a limitare l'account per ridurre i danni. Trading algoritmico L'aspetto più critico dei mercati finanziari è il trading algoritmico. Esistono equazioni matematiche complesse e metodi computazionali alla velocità della luce nel trading algoritmico che consentono alle società finanziarie di formulare nuove tecniche di trading. I Big Data e la scienza dei dati hanno avuto una grande influenza sul trading algoritmico ed è diventato l'aspetto più significativo della scienza dei dati. I dati presenti nel trading algoritmico sono costituiti da un gran numero di flussi di dati e includono un modello che analizza i flussi di dati sottostanti e li definisce. L'obiettivo del motore analitico è fare previsioni per il futuro dell'azienda con una maggiore conoscenza dei grandi set di dati. Personalizzazioni approfondite Le aziende riconoscono che una delle componenti essenziali per essere sostenibili nell'economia di oggi è aumentare l'interazione con i propri clienti attraverso connessioni personali di alta qualità. L'obiettivo è esaminare l'esperienza dei clienti digitali e adattarla tenendo conto delle esigenze e dei desideri dei clienti. L'intelligenza artificiale sta facendo passi da gigante nella comprensione del linguaggio e delle emozioni umane, il che offre un livello completamente nuovo di personalizzazione del cliente. I data engineer possono anche creare modelli che analizzano le azioni dei consumatori e scoprono circostanze in cui i clienti richiedono consulenza finanziaria. Gestione dei dati dei clienti C'è una grande quantità di variazioni nella struttura e nel volume dei dati finanziari oggi: dal comportamento dei social media e dalle interazioni con lo smartphone alle statistiche aziendali e alle informazioni sulle transazioni. Anche i professionisti della finanza devono gestire dati semi-strutturati o non strutturati e il loro recupero manuale è un ostacolo significativo. Per la maggior parte delle organizzazioni, tuttavia, è chiaro che l'integrazione di metodi di apprendimento automatico per la gestione dei processi è semplicemente un requisito per l'estrazione di dati reali. Strumenti di intelligenza artificiale come Natural Language Processing, Data Mining e Text Analytics, aiutano a trasformare i dati in informazioni che portano a una migliore governance dei dati e a soluzioni aziendali efficaci. Analisi predittiva L'analisi è stata oggi al centro dei servizi finanziari. È necessario prestare particolare attenzione all'analisi predittiva che mostra le tendenze nei dati che prevedono l'evento futuro che potrebbe verificarsi ora. Attraverso l'analisi di social media, notizie e altre fonti di informazione, queste analisi avanzate hanno conquistato applicazioni fondamentali come la previsione dei costi e il valore della vita per i consumatori, potenziali eventi della vita, fatturato previsto e movimenti del mercato azionario. Più significativamente, questi approcci possono aiutare a rispondere alla difficile domanda: come intervenire correttamente. Il processo decisionale Gli operatori finanziari, i dirigenti e le parti interessate sono tenuti a giudicare le condizioni del mercato su base giornaliera e a prendere decisioni strategiche. Questo processo decisionale sta diventando intelligente solo con la scienza dei dati. Spinta da dati passati e presenti, la scienza dei dati consente agli appassionati di finanza di determinare in un dato momento la fattibilità del trading. Inoltre, queste previsioni future rendono facile giudicare i mercati in movimento come entrare in un mercato ribassista o rialzista. La conoscenza di queste variabili aiuta i gestori finanziari a costruire e investire in un valido portafoglio di SIP al momento giusto. Alcune piattaforme di analisi si spingono così lontano da indicare quando e come procedere verso la fase successiva o quando prelevare i fondi e quando versare denaro. Conclusione La scienza dei dati in finanza offre un'enorme opportunità per le società finanziarie di stare al passo con la concorrenza. Esistono grandi quantità di dati finanziari in continua evoluzione che generano la necessità di incorporare l'apprendimento automatico e le tecnologie di intelligenza artificiale in più aree aziendali. Esistono numerose posizioni di Data Science nel campo della finanza. La Data Science viene utilizzata anche nell'area della gestione e dell'analisi dei rischi. Le aziende utilizzano sempre più la gestione del portafoglio clienti di Data Science per valutare i modelli di dati tramite software di business intelligence. Le società finanziarie utilizzano l'analisi dei dati per identificare transazioni insolite e truffe assicurative per il rilevamento delle frodi. La scienza dei dati viene utilizzata anche nel trading algoritmico, dove l'apprendimento automatico svolge un ruolo significativo nel fare previsioni future dell'azienda. Cerchiamo sempre di fare del nostro meglio per condividere post preziosi, informativi e utili per i nostri lettori. E accogliamo con favore il tuo feedback su eventuali informazioni errate o se desideri condividere ulteriori informazioni sulla scienza dei dati in ambito finanziario. Puoi commentare nella sezione commenti qui sotto. Grazie e a presto!

Python, grazie alla sua enorme community che contribuisce al suo sviluppo, ha decine di migliaia di librerie pronte per ogni tipo di utilizzo. Tra le tante librerie le più diffuse che puoi utilizzare per il Machine Learning e AI: Scikit-learn Keras TensorFlow NLTK PyBrain Vedremo più approfonditamente ognuna di queste librerie più avnti. Le Librerie più usate vengono messe a disposizione all'interno della piattaforma PyPI (Python Package Index). Ad oggi PyPi è la più grande raccolta di librerie facilmente accessibile. Il software PIP è uno strumento che ti permette di scaricare, aggiornare e disinstallare i pacchetti del repository di cui hai bisogno. Installare il software PIP / PIP3 Su Ubuntu e Debian sudo apt-get install python-pip sudo apt-get install python3-pip #per python 3 Se Fedora sudo yum install python-pip sudo yum install python3-pip #per python 3 Su Mac sudo easy_install pip sudo easy_install pip3 #per python 3 Come scaricare, gestire e disinstallare le librerie di Python Utilizzare PIP per la gestione delle librerie Una volta installato pip, vi basterà recarvi sul terminale del vostro computer. Nel caso volete installare una libreria dovrete digitare: pip install nomeLibreria pip3 install nomeLibreria #per python 3 #per scaricare più librerie da un file di testo pip install -r requirements.txt pip3 install -r requirements.txt #per python 3 Per disinstallare una libreria : pip uninstall nomeLibreria pip3 uninstall nomeLibreria#per python 3 Per vedere quali librerie sono installate sul vostro computer: pip list pip3 list #per python 3 Aggiornare il PIP Per aggiornare il software pip digitate si terminale: pip install --upgrade pip pip3 install --upgrade pip3 #per python 3 Letture consigliate per "Come scaricare,gestire e disinstallare le librerie di Python " Perchè Python per l'A.I. Migliori IDE Python per il machine learning e data science Importare file excel, csv e html con Python e Pandas L'Intelligenza Artificiale Spiegata Semplice Come elaborare le immagini con NumPy e Python Riconoscimento facciale con Python Filtro collaborativo cos'è e come implementarlo con python Trucchi Python per la data science Intelligenza Artificiale (IA) e Python Come si Relazionano?

BrainControl AAC*, la gamma di dispositivi medici basati sull’Intelligenza Artificiale, è da oggi presente con una nuova release, in grado di eliminare in maniera ancor più facile e immediata le barriere che inibiscono alle persone affette da gravi patologie neuromotorie i rapporti con il mondo esterno. Tre sono le soluzioni che compongono BrainControl AAC, compatibili con i differenti gradi di mobilità e interazione del paziente: BRAINCONTROL BCI, la soluzione più avveniristica, permette al paziente di selezionare tramite il pensiero le risposte alle domande poste e di riversarle su un dispositivo informatico; BRAINCONTROL SENSORY sfruttai movimenti residui volontari del paziente e permette a quest’ultimo di interagire e comunicare attraverso un monitor; BRAINCONTROL AVATAR, l’alter ego robotico checonsente di visitare da remoto e in maniera del tutto indipendente istallazioni, musei, spazi espositivi ed eventi in genere. La release 2.0 presenta alcune importanti novità studiate appositamente per rendere più immediata la comunicazione tra il paziente e il mondo esterno. Queste le nuove funzionalità più rilevanti: Grafica totalmente rinnovata. Sono state apportate significative modifiche a livello di grafica e di colori con l’obiettivo di rendere l’applicazione più user friendly; Personalizzazione Frasario. La griglia del frasario è ancor più personalizzabile. Ora è infatti possibile scegliere il colore dello sfondo e del testo delle caselle, inserire GIF come immagine e scegliere di inserire un audio post selezione diverso da quello della modalità scansione; Scansione a rotazione. E’possibile impostare una modalità di scansione che presenta sempre al centro dello schermo la cella scansionata. In questo modo sarà ancora più agevole seguire la scansione; Integrazione caschetto Epoc X. Una nuova versione di caschetto, più comodo e pratico da indossare; Tastiera qwerty. Adesso è possibile utilizzare anche questo tipo di tastiera per comunicare. Tale funzionalità è più adatta all’interazione tramite BrainControl Sensory. Facebook e Youtube. Il social network e la piattaforma video più utilizzati sono ora presenti nel software. Queste due funzionalità sono pensate per essere utilizzate con interazione standard all’interno di BrainControl Sensory. BrainControl: libertà senza barriere. BrainControl è un marchio di proprietà di LiquidWeb Srl, azienda nata a Siena nel 2010 e operativa nel settore HCI (Human Computer Interface). Il progetto BrainControl riceve dal 2020 fondi dall’Unione Europea grazie al Programma per la Ricerca e l’Innovazione Horizon2020. Sempre nel 2020 ha vinto il titolo di migliore Start Up all’interno della categoria Med Tech di B Heroes, programma per l’innovazione e la promozione di nuovi business grazie a mentorship, investimenti, networking e comunicazione. Siamo un’azienda giovane e dinamica, orgogliosi del lavoro che portiamo avanti e profondamente motivati dalla convinzione di poter realmente aiutare le persone a migliorare la qualità della loro vita. Empatia, propensione all’ ascolto e cooperazione sono i valori alla base della nostra attività. Per maggiori informazioni : Ufficio Stampa: DuerreComunicazione di Roberta Riva Mob: 3468548236 Email: roberta.riva@duerrecomunicazione.com

Ventiquattro politiche per accelerare, nei prossimi tre anni, l’innovazione e le potenzialità dell’IA nel tessuto economico e sociale del Paese Scarica Gratuitamente le Comunicazioni Ufficiali La promessa dell'Italia sull'Intelligenza Artificiale L'Italia ha adottato il Piano Strategico 2022-2024 per l'Intelligenza Artificiale (IA), adottato dal nuovo Consiglio dei ministri, che è il risultato del lavoro congiunto dell'Università e del Ministero della Ricerca, del Ministero dello Sviluppo Economico e del Ministro della Tecnologia. Innovazione e trasformazione digitale, grazie al supporto del National Artificial Intelligence Strategy Working Group. Secondo la strategia europea, il piano delinea ventiquattro politiche da attuare nei prossimi tre anni per potenziare il sistema di intelligenza artificiale italiano attraverso la creazione e il potenziamento di competenze, programmi di ricerca, sviluppo e applicazioni di intelligenza artificiale. Queste politiche mirano a rendere l'Italia un centro di intelligenza artificiale competitivo a livello globale rafforzando la ricerca e incoraggiando il trasferimento tecnologico. Per far fronte a queste sfide, sono state individuate le fonti di investimento, europee e nazionali per sostenere ciascuna politica. Aree prioritarie e politiche di intervento Tra le iniziative dedicate ai talenti e alle competenze, si prevede di intervenire per aumentare il numero dei dottorati di ricerca e attirare in Italia i migliori ricercatori nel campo della ricerca di base e applicata. Allo stesso tempo, il piano include anche politiche per promuovere il curriculum delle materie STEM e lo sviluppo della carriera e per rafforzare le competenze digitali e di intelligenza artificiale. Il piano strategico comprende anche le politiche necessarie per rafforzare la struttura dell'ecosistema italiano della ricerca sull'intelligenza artificiale e promuovere la cooperazione tra le comunità accademiche e di ricerca, l'industria, le istituzioni pubbliche e la società. L'obiettivo è, tra l'altro, istituire una nuova cattedra di ricerca sull'intelligenza artificiale, promuovere progetti che incoraggino i professionisti del settore a tornare in Italia e fornire finanziamenti per piattaforme per condividere dati e software a livello nazionale. L'ultimo ambito, infine, riguarda le politiche volte ad ampliare l'applicazione dell'intelligenza artificiale nell'industria e nella PA. Le misure a sostegno delle imprese sono finalizzate a sostenere la trasformazione 4.0, sostenere la nascita e la crescita di imprese innovative di intelligenza artificiale, e supportare la sperimentazione e la certificazione dei prodotti di intelligenza artificiale. Gli interventi della pubblica amministrazione mirano a creare un'infrastruttura dati per utilizzare in sicurezza il potenziale dei big data che genera servizi pubblici, semplificare e personalizzare l'erogazione dei servizi pubblici e l'innovazione amministrativa, rafforzando l'ecosistema. GovTech in Italia. Quest'ultima misura, ad esempio, prevede l'introduzione di telefonate periodiche per identificare e supportare le start-up che forniscono soluzioni basate sull'intelligenza artificiale in grado di risolvere problemi critici nel settore pubblico. Per garantire una governance efficace e monitorare lo stato di attuazione della strategia, e per coordinare tutte le iniziative di governo sul tema, nasce anche il gruppo di lavoro permanente sull'IA in seno al Comitato Interministeriale per la Transizione Digitale. INTELLIGENZA ARTIFICIALE ITALIA Il Comunicato Stampa Ufficiale Intelligenza Artificiale: l’Italia lancia la strategia nazionale Ventiquattro politiche per accelerare, nei prossimi tre anni, l’innovazione e le potenzialità dell’IA nel tessuto economico e sociale del Paese Messa: “Il sistema italiano della ricerca e della formazione è in prima fila. Investiamo sui giovani, soprattutto donne, e creiamo le condizioni perché arrivino sempre più ricercatori dall’estero”. Giorgetti: “Con il Programma Strategico puntiamo a colmare il ritardo nello sviluppo e nell'adozione di soluzioni innovative dando nuovo impulso alla transizione digitale del nostro sistema produttivo”. Colao: “Nella strategia previsti programmi di accelerazione per start-up con soluzioni innovative per la PA e investimenti dedicati anche tramite il Fondo innovazione”. Roma 24 novembre 2021 - L’Italia ha adottato, con l’approvazione in Consiglio dei ministri, il Programma Strategico per l’Intelligenza Artificiale (IA) 2022-2024, frutto del lavoro congiunto del Ministero dell’Università e della Ricerca, del Ministero dello Sviluppo Economico e del Ministro per l’innovazione tecnologica e la transizione digitale. In linea con la Strategia Europea, il Programma delinea ventiquattro politiche da implementare nei prossimi tre anni per potenziare il sistema IA in Italia, attraverso creazione e potenziamento di competenze, ricerca, programmi di sviluppo e applicazioni dell’IA. Queste politiche hanno l’obiettivo di rendere l’Italia un centro sull’intelligenza artificiale competitivo a livello globale, rafforzando la ricerca e incentivando il trasferimento tecnologico. Per rispondere a queste sfide sono state individuate le fonti di investimento europee e nazionali per sostenere ciascuna politica. “Il sistema italiano della ricerca e della formazione è pronto a guidare il potenziamento di questo settore” ha dichiarato il Ministro dell’Università e della Ricerca Maria Cristina Messa. “La strategia è una straordinaria occasione di crescita competitiva: creiamo le condizioni per i giovani italiani, soprattutto donne, che decidono di investire in corsi di studio e nella ricerca sull’intelligenza artificiale di poterlo fare, ai massimi livelli, rimanendo nel nostro Paese. E stimoliamo scambi e incontri anche con tanti ricercatori provenienti da tutto il mondo”. "Con il Programma Strategico per l'Intelligenza Artificiale puntiamo a colmare il ritardo nello sviluppo e nell'adozione di soluzioni innovative in questo ambito tecnologico, dando nuovo impulso alla transizione digitale del nostro sistema produttivo”, dichiara Giancarlo Giorgetti, Ministro dello Sviluppo economico. “L’intelligenza Artificiale è lo strumento con cui il nostro Paese nei prossimi anni - aggiunge - vuole rafforzare l'interazione tra centri di ricerca e impresa, in modo da creare le premesse per uno sviluppo basato sulla capacità di innovazione." “La strategia è la base per lanciare programmi e investimenti concreti per rendere l’Italia competitiva a livello internazionale e con un sistema pubblico più efficiente” commenta Vittorio Colao, Ministro per l’innovazione tecnologica e la transizione digitale. “Prevediamo programmi di accelerazione per le start-up che propongono soluzioni innovative per le PA e iniziative ad hoc per alzare notevolmente la qualità di processi e servizi pubblici e migliorare il rapporto cittadini-Stato. Su questo punto lavoreremo di concerto con il Ministro per la Pubblica Amministrazione utilizzando anche investimenti presenti nel Fondo Innovazione”. Le aree prioritarie e le politiche di intervento All’interno delle iniziative dedicate a talenti e competenze sono previsti interventi per aumentare il numero di dottorati e attrarre in Italia i migliori ricercatori, sia in ambito di ricerca fondamentale sia applicata. Al contempo, il programma include politiche per promuovere corsi e carriere nelle materie STEM e per rafforzare le competenze digitali e in Intelligenza Artificiale. Il programma strategico, inoltre, racchiude le politiche necessarie a rafforzare la struttura dell’ecosistema di ricerca italiano nell’IA, favorendo le collaborazioni tra il mondo accademico e della ricerca, l'industria, gli enti pubblici e la società. Si punta, tra l’altro, alla creazione di nuove cattedre di ricerca sull’IA, a promuovere progetti per incentivare il rientro in Italia di professionisti del settore, a finanziare piattaforme per la condivisione di dati e software a livello nazionale. Infine, l’ultima area riguarda le politiche volte ad ampliare l'applicazione dell'IA nelle industrie e nella PA. Le misure a favore delle imprese hanno lo scopo di supportare la Transizione 4.0, favorire la nascita e la crescita di imprese innovative dell'IA e supportarle nella sperimentazione e certificazione dei prodotti di IA. Gli interventi per la Pubblica Amministrazione sono volti alla creazione di infrastrutture dati per sfruttare in sicurezza il potenziale dei big data che genera la PA, alla semplificazione e personalizzazione dell’offerta dei servizi pubblici e all’innovazione delle amministrazioni, tramite il rafforzamento dell’ecosistema GovTech in Italia. Quest’ultima misura, per esempio, prevede l’introduzione di bandi periodici per identificare e supportare le start-up che offrono soluzioni basate sull'IA che possono risolvere problemi critici del settore pubblico. Per garantire un’efficace governance, per monitorare lo stato di attuazione della strategia, e per coordinare tutte le iniziative di governo sul tema, nasce anche il gruppo di lavoro permanente sull'IA in seno al Comitato Interministeriale per la Transizione Digitale. Si ringraziano per la collaborazione i componenti del gruppo di lavoro sulla Strategia Nazionale per l’Intelligenza Artificiale, composto da Barbara Caputo, Isabella Castiglioni, Marco Conti, Rita Cucchiara, Juan Carlos de Martin, Fosca Giannotti, Giuseppe Magnifico, Michela Milano, Giovanni Miragliotta.

Diciamoci la verità, capire cosa accade durante la fase di apprendimento automatico è complicato. Ci sono innumerevoli parametri, iperparametri, variabili, layer, etc.. disponibili e molto da monitorare. Fortunatamente, c'è TensorBoard, che semplifica il processo. Quando si sviluppano modelli di apprendimento automatico, ci sono molti fattori: quante epoche per l'addestramento, la metrica di perdita o persino la struttura del modello. Ora non vogliamo dirti che grazie a TensorBoard aumenterai la precisione dei tuoi modelli del 10% o 30%, ma ti assicuriamo che riuscirai a capire esattamente cosa porta all'errore il tuo modello per poi sistemare i tuoi dati. Questo articolo discuterà alcune funzionalità di TensorBoard e come puoi configurare TensorBoard per il tuo prossimo progetto di machine learning o deep learning. In particolare, l'attenzione sarà focalizzata sull'utilizzo di TensorBoard con modelli basati su TensorFlow e Keras. Per determine una configurazione ottimale del modello, è necessario eseguire esperimenti. E come tutti i data scientist sanno, è necessario monitorare e valutare questi esperimenti in modo efficace. Fortunatamente, TensorBoard ha molte funzionalità integrate che puoi utilizzare per capire rapidamente cosa sta succedendo all'interno del tuo modello. Come Configuare TensorBoard sul tuo Pc La configurazione di TensorBoard è un processo semplice. Con solo poche righe di codice, puoi tenere traccia delle metriche chiave del tuo modello di machine learning. Se vuoi seguirci passo passo, la prima cosa da fare è aprire un notebook e caricare l'estensione Tensorboard, con 1 semplicissima riga di codice : %load_ext tensorboard Caricata l'estensione TensorBoard successivamente, avrai bisogno di alcuni dati. Qui sto usando il set di dati MNIST integrato in TensorFlow. I dati vengono rimodellati per consentire l'uso di livelli convoluzionali 2D. Dopo che i dati sono stati preparati, è necessario creare il modello. Qui ho esagerato un po' e ho parametrizzato ogni variabile. Questa scelta viene fatta per cambiare rapidamente diversi aspetti del modello senza troppi problemi. Questa struttura evita anche di avere valori in cui non è chiaro cosa sta cambiando il valore. La struttura è semplice. Ma questa struttura di base mostra una varietà di livelli diversi, che puoi analizzare in TensorBoard. Il modello contiene uno strato convoluzionale 2D seguito da uno strato di pooling, uno strato dropout, un appiattimento dell'output e uno strato denso. C'è anche un adeguamento al tasso di apprendimento. A differenza dell'impostazione di un tasso di apprendimento fisso, lo scheduler rende il tasso di apprendimento flessibile e aiuta con la convergenza. Per aggiungere la funzionalità TensorBoard al modello TensorBoard esistente basato su Keras, è necessario aggiungere un callback durante la fase di addestramento del modello di adattamento. Il calcolo dell'istogramma dovrebbe essere abilitato per tenere traccia dei progressi in modo efficace, e questo viene fatto impostando il parametro historgram_freq su 1. La funzione di callback richiede una directory di log per memorizzare i risultati dell'addestramento del modello. Pertanto, è utile includere alcuni ordini strutturati nei registri per riferimento futuro. L'ora corrente viene utilizzata qui. Una volta che il modello è stato creato, compilato e adattato, i registri dovrebbero essere compressi. Pieno di tutti i dettagli del tuo modello durante l'allenamento. Pronto per essere analizzato. Per visualizzare i risultati del processo di formazione all'interno di TensorBoard, non resta che eseguire l'estensione. Componenti di TensorBoard TensorBoard è suddiviso in diversi componenti. Questi componenti consentono di tenere traccia di diverse metriche come accuratezza, errore quadratico medio o perdita di registro. Consentono inoltre la visualizzazione del modello come grafico e molto altro ancora. Sto mostrando le schede scalari, grafici, distribuzioni, istogrammi e serie temporali in questo post. Ma un elenco delle altre visualizzazioni disponibili si trova nel menu a discesa inattivo. TensorBoard ha anche alcune opzioni di stile. Ho usato la modalità oscura per alcune delle immagini qui. Valori Scalari Gli scalari sono la prima scheda che vedrai all'apertura di TensorBoard. L'attenzione qui è sulle prestazioni del modello in più epoche. Qui vengono mostrati sia la funzione di perdita dei modelli che tutte le metriche che hai monitorato. Una caratteristica essenziale di questa scheda è la funzione di levigatura. Quando si ha a che fare con molte epoche o con un modello precario, la tendenza generale può andare persa. Pertanto, vuoi assicurarti che il tuo modello stia migliorando durante l'allenamento e non ristagni. Aumentando il livellamento, è possibile visualizzare le tendenze complessive del modello durante il processo di addestramento. La scheda scalari è fondamentale per identificare quando un modello è overfitting. Ad esempio, quando la tua metrica di allenamento continua a migliorare ma non c'è un aumento nel grafico di convalida, potresti essere in overfitting sul set di convalida. Grafici La scheda dei grafici ti consente di visualizzare la struttura del modello che hai creato. In sostanza, mostra cosa sta succedendo dietro le quinte. Questi dettagli sono utili quando è necessario condividere la struttura dei grafici con altri. Inoltre, è disponibile la possibilità di caricare o scaricare grafici. Oltre alla struttura del modello di base, il grafico mostra anche come vengono utilizzate le diverse metriche e l'ottimizzatore. Qui ho selezionato il nodo sequenziale con il grafico. Una volta selezionato, viene mostrata la struttura dei modelli. I dettagli sono visibili all'interno del riquadro rosso nell'immagine sottostante. Distribuzioni e istogrammi Le schede distribuzioni e istogrammi sono piuttosto simili. Tuttavia, consentono di visualizzare le stesse informazioni attraverso visualizzazioni diverse. La scheda delle distribuzioni offre una buona panoramica delle modifiche dei pesi del modello nel tempo. Questa prospettiva serve come indicatore iniziale per vedere se qualcosa è andato storto. La visualizzazione degli istogrammi fornisce una suddivisione più dettagliata dei valori esatti appresi dal modello. Queste due visualizzazioni vengono utilizzate per determinare quando il modello si basa eccessivamente su un piccolo insieme di pesi. O se i pesi convergono su molte epoche. Serie temporali L'ultima scheda mostrata qui in TensorBoard è la scheda delle serie temporali. Questa vista è abbastanza simile alla vista scalare. Tuttavia, una distinzione sono le osservazioni della metrica di destinazione per ogni iterazione dell'addestramento anziché per ogni epoca. L'osservazione del training del modello in questo modo è molto più granulare. Questo tipo di analisi è migliore quando il modello non converge e l'andamento delle epoche non rivela alcuna risposta. Conclusioni TensorBoard è uno strumento potente. Attraverso diversi componenti e visualizzazioni, puoi analizzare rapidamente i tuoi modelli di machine learning e deep learning. Lo strumento è facile da configurare e fornisce preziose informazioni su come addestrare meglio il tuo modello. Qui ti ho mostrato solo un esempio di ciò che è possibile con TensorBoard. Sentiti libero di copiare il codice ed esplorare lo strumento da solo.

Indice Perchè è importante saper creare un programma di Machine Learning ? Perchè hai difficoltà a seguire i tutorial degli altri ? Cosa Utilizzeremo per creare un programma con solo il browser? Passaggio 1. Creazione di un taccuino python con Google Colab Passaggio 2. Importare le librerie su Google colab Passaggio 3. Come importare Dataset su Google Colab Passaggio 4. Addestrare un Modello di Machine Learning su Google Colab Passaggio 5. Fare previsioni con Python utilizzando Google Colab Conclusioni Perchè è importante saper creare un programma di Machine Learning ? L'apprendimento automatico (ML) è di tendenza e ogni azienda vuole sfruttare il machine learning per aiutarla a migliorare i propri prodotti o servizi. Pertanto, abbiamo osservato una crescente domanda di ingegneri ML e tale richiesta ha attirato l'attenzione di molte persone. Tuttavia, il machine learning può sembrare scoraggiante per molti, specialmente per coloro che hanno poca esperienza di programmazione o di lavoro relativa ai dati. Perchè hai difficoltà a seguire i tutorial degli altri ? Una ragione probabile è che ci vuole una grande quantità di sforzi per impostare il computer, permettendo loro di sviluppare tutti i modelli ML. Ci Pensiamo noi...Ti faremo creare il tuo primo script di machine learning con python, utilizzando solo un browser Cosa Utilizzeremo ? In questo articolo vorrei presentare Google Colab, uno strumento gratuito (con opzioni di aggiornamento a pagamento, però) per l'apprendimento e la creazione di modelli ML. Ancora più importante, come scoprirai, non ha alcuna configurazione per te - è pronto per l'uso ora - con l'unico requisito di avere un account Google. Se non ne hai uno, registrati in modo da poter seguire il tutorial. Suppongo che tu non sappia molto di ML, ma sei molto entusiasta di apprendere il ML. Non importa quanto Python conosci. Spiegherò i passaggi principali usando il più possibile termini comprensibili anche per chi è alle prime armi. Senza ulteriori indugi, iniziamo. Se vuoi vedere il codice sorgente, puoi accedere al Notebook passando nell'area progetti . Troverai il Link alla fine dell articolo. Passaggio 1. Creazione di un taccuino in Colab In Colab, lavori con i taccuini (*.ipynb), proprio come lavori con i documenti (*.docx) in Microsoft Word. Quindi, il primo passo per usare Colab è creare un nuovo Notebook andando su: https://colab.research.google.com/ . Dopo aver fatto clic sul pulsante "New notebook", vedrai che Colab crea un nuovo taccuino con un nome predefinito di Untitled1.ipynb. Per il bene dell'attuale tutorial, chiamiamolo first_ml_model.ipynb o come vuoi. D'ora in poi lavoreremo su questo file. Passaggio 2. Importare le librerie su Google colab Quando creiamo il nostro modello, abbiamo bisogno di librerie di codici sviluppate da sviluppatori esperti di machine learning. In sostanza, queste librerie fungono da set di strumenti fornendo funzionalità predefinite per l'elaborazione dei dati e la costruzione del modello. In questo tutorial, utilizzeremo principalmente le seguenti librerie. scikit-learn : una libreria ML che consiste in una varietà di funzioni di elaborazione dati e algoritmi ML (ad es. regressione, classificazione e clustering). Questa libreria è anche conosciuta come sklearn. pandas : una libreria di data science specializzata principalmente nella pre-elaborazione di dati simili a fogli di calcolo prima di creare modelli ML. Nel taccuino di Google Colab, ogni unità di lavoro è nota come cella e usiamo una serie di celle per svolgere i nostri lavori di machine learning. In ogni cella, di solito svolgiamo un compito specifico. Per aggiungere una cella, fai semplicemente clic + Code su in alto, come mostrato di seguito. Puoi aggiungere le tue note sul codice facendo clic su + Text. Con il codice creato, eseguendo la cella seguente, puoi importare le librerie necessarie per il presente tutorial. Una piccola Nota, se stai cercando di configurare un computer per il ML, devi installare tutte queste librerie oltre alla configurazione di Python. Mentre su Google Colab per creare il tuo primo programma di Machine learning avrai solo bisogno del nostro semplice tutorial. Passaggio 3. Come importare Dataset su Colab Per l'attuale tutorial, utilizzeremo il set di dati sulla qualità del vino rosso. Puoi trovare maggiori informazioni su questo set di dati su kaggle.com , un popolare sito Web di data science e ML che presenta una serie di concorsi. Puoi anche trovare le informazioni del set di dati su UCI , che è il principale repository di dati ML. Tranquillo il Dataset sarà incluso nella cartella file del relativo progetto Il dataset del vino è spesso usato come esempio per mostrare i modelli ML e, quindi, è comodamente disponibile nella libreria sklearn. Tieni presente che il set di dati in sklearn è stato modificato per servire meglio come set di dati giocattolo per l'addestramento e l'apprendimento ML. I dati sono riportati di seguito. Lo screenshot sopra mostra le caratteristiche dei dati. In ML, utilizziamo le " caratteristiche " per studiare quali fattori possono essere importanti per la previsione corretta. Come puoi vedere, ci sono 12 funzioni disponibili e sono potenzialmente importanti per la qualità del vino rosso, come l'alcol e l'acido malico. Un ML specifico è preoccupato per la classificazione. Ogni record di dati ha un'etichetta che mostra la sua classe e le classi di tutti i record sono conosciute come "destinazione" del set di dati. Nel set di dati del vino rosso, ci sono tre classi per le etichette e possiamo controllare le etichette, come mostrato di seguito: Tieni presente che in una tipica pipeline, di solito è necessario dedicare un sacco di tempo alla preparazione del set di dati. Alcune preparazioni comuni includono l'identificazione e la rimozione/ricodifica di valori anomali, la gestione dei dati mancanti, la ricodifica one-hot (necessaria per alcuni modelli), la riduzione della dimensionalità, la selezione delle funzionalità, il ridimensionamento e molti altri. Poiché il set di dati è stato ripulito come un set di dati giocattolo in sklearn , non dobbiamo preoccuparci di questi preparativi. Passaggio 4. Addestrare un Modello di Machine Learning su Google Colab Il passaggio successivo consiste nell'addestrare il modello ML. Forse ti starai chiedendo qual è il punto di addestrare un modello ML. Bene, per diversi casi d'uso, ci sono scopi diversi. Ma in generale, lo scopo dell'addestramento di un modello ML è più o meno quello di fare previsioni su cose che non hanno mai visto. Il modello riguarda come fare buone previsioni. Il modo per creare un modello si chiama training, utilizzando i dati esistenti per identificare un modo corretto per fare previsioni. Esistono molti modi diversi per costruire un modello, come K-nearest neighbors, SVC, random forest, e gradient boosting, solo per citarne alcuni. Ai fini del presente tutorial che mostra come creare un modello ML utilizzando Google Colab, utilizziamo un modello prontamente disponibile in sklearn: il classificatore di foreste casuali. Una cosa da notare è che abbiamo un solo set di dati. Per testare le prestazioni del modello, divideremo il set di dati in due parti, una per l'addestramento e l'altra per il test. Possiamo semplicemente usare il train_test_split , come mostrato di seguito. Il set di dati di addestramento ha 142 record, mentre il set di dati di test ha 36 record, approssimativamente in un rapporto di 4:1 (si noti che test_size=0.2 per i test viene utilizzato il 20% con arrotondamenti se necessario del set di dati originale). La cosa bella di sklearn è che fa un sacco di lavoro pesante per noi rendendo molti classificatori preconfigurati in modo tale da poterli usare con poche righe di codice. Nello screenshot qui sotto, creiamo prima un classificatore forestale casuale. In sostanza, crea il framework in cui inserire i nostri dati per costruire il modello. Utilizzando classifier.fit, stiamo addestrando il modello per generare i parametri del modello, in modo tale che il modello possa essere utilizzato per previsioni future. Passaggio 5. Fare previsioni con Python utilizzando Google Colab Con il modello addestrato di sklearn, possiamo testare le prestazioni del modello sul set di dati di test che abbiamo creato in precedenza. Come mostrato di seguito, abbiamo ottenuto una previsione di accuratezza del 97,2%. Tieni presente che raggiungere un livello elevato come questo in un set di dati giocattolo non è atipico, ma è considerato molto alto nei progetti reali. Se vuoi dare un'occhiata più da vicino alla previsione del nostro modello, questo è il link al progetto. All'interno troverai una cartella.zip contenente il file .ipynb per aprirlo con Colab, il file python per farlo girare in locale, il set di dati in formato csv e il pdf del progetto. Conclusioni creazione primo programma di machine learning con Python e Google Colab In questo articolo, abbiamo utilizzato Google Colab come editor di codice per mostrarti come creare un modello ML per fare previsioni su un set di dati giocattolo. Tuttavia, ti mostra che Google Colab è uno strumento facile da usare che richiede configurazioni minime per iniziare il tuo percorso di apprendimento del machine learning. Quando ti senti a tuo agio con le terminologie e i concetti relativi a Google Colab, Python e ML. Puoi esplorare altri IDE Python, come PyCharm, per un lavoro ML più avanzato con una migliore esperienza di codifica.

Da qualche anno, sono arrivati sul mercato nuovi strumenti progettati per semplificare l'interazione tra uomo e computer: Chatbot o Assistenti virtuali . Nel settore bancario, i chatbot e gli assistenti virtuali sono alcuni degli strumenti più recenti del settore progettati per semplificare l'interazione tra uomo e computer. Che cos'è un chatbot? Un chatbot è un software di intelligenza artificiale (AI) in grado di simulare una conversazione (o una chat) con un utente mediante il linguaggio naturale utilizzando come interfaccia applicazioni di messaggistica, siti Web, app mobili o tramite smartwatch. Perché i chatbot sono importanti? Un chatbot è spesso descritto come una delle espressioni più avanzate e promettenti di interazione tra uomo e macchina. Tuttavia, da un punto di vista tecnologico, un chatbot rappresenta solo la naturale evoluzione di un sistema di Question Answering che sfrutta il Natural Language Processing (NLP). Formulare risposte alle domande in linguaggio naturale è uno degli esempi più tipici di elaborazione del linguaggio naturale applicato nelle applicazioni finali di varie aziende. Come funzionano i Chatbot I chatbot funzionano analizzando e identificando l'intento della richiesta dell'utente di estrarre entità rilevanti, che è il compito più importante di un chatbot. Una volta eseguita l'analisi, all'utente viene fornita una risposta appropriata. I chatbot funzionano adottando tre metodi di classificazione. Chat bot a Corrispondenza I bot utilizzano le corrispondenze di pattern per raggruppare il testo e producono una risposta appropriata da parte dei client. Artificial Intelligence Markup Language (AIML) è un modello strutturato standard di questi modelli. Un bot è in grado di ottenere la risposta giusta nel pattern correlato. I bot reagiscono a qualsiasi cosa relativa ai modelli correlati. Chat bot a Comprensione del linguaggio naturale (NLU) La comprensione del linguaggio naturale (NLU) è la capacità del chatbot di comprendere un essere umano. È il processo di conversione del testo in dati strutturati che una macchina può comprendere. NLU segue tre concetti specifici : entità, contesto e aspettative Chat bot a Elaborazione del linguaggio naturale (PNL) I bot di elaborazione del linguaggio naturale (NLP) sono progettati per convertire il testo o gli input vocali dell'utente in dati strutturati. I dati vengono ulteriormente utilizzati per scegliere una risposta pertinente. NLP include i passaggi importanti come tokenization, analisi chatbot sentiment , il riconoscimento dell'entità, e la dipendenza analisi. Principali Tipi di chatbot I chatbot elaborano i dati per fornire risposte rapide a tutti i tipi di richieste degli utenti con regole predefinite e chatbot basati sull'intelligenza artificiale. Esistono due tipi di chatbot. Chatbot basati su regole I chatbot basati su regole, detti anche bot decision-tree, utilizzano una serie di regole definite. Queste regole sono la base per i tipi di problemi con cui il chatbot ha familiarità e per i quali può fornire soluzioni. Alcuni punti da ricordare sui chatbot basati su regole: Questi bot seguono regole predeterminate. Quindi diventa facile usare il bot per scenari più semplici. Le interazioni con i chatbot basati su regole sono altamente strutturate e sono più applicabili alle funzioni di assistenza clienti. I bot basati su regole sono ideali per rispondere a domande comuni come domande sull'orario di lavoro, sullo stato della consegna o sui dettagli di tracciamento. Chatbot con intelligenza artificiale conversazionale I chatbot conversazionali combinano la potenza dell'apprendimento automatico e della PNL per comprendere il contesto e l'intento di una domanda prima di formulare una risposta. Sono guidati da script di chatbot e generano le proprie risposte a domande più complicate utilizzando risposte in linguaggio naturale. Più usi e addestri questi bot, più apprendono e meglio operano con l'utente. Le capacità di comunicazione conversazionale della tecnologia chatbot consentono loro di fornire ciò che i clienti stanno cercando. Differenze tra chatbot basati su regole e chatbot conversazionali : I chatbot conversazionali possono comprendere il contesto e l'intento di conversazioni complesse e cercare di fornire risposte più pertinenti. I chatbot conversazionali applicano l'intelligenza predittiva e l'analisi del sentiment per comprendere da vicino le emozioni dei clienti. I chatbot di conversazionali imparano dal comportamento degli utenti e forniscono conversazioni più personalizzate. Perché i chatbot sono importanti per la tua azienda? L'80% dei marketer prevede di iniziare a utilizzare un chatbot in un modo o nell'altro. È un motivo significativo per cui i marchi stanno investendo nel miglioramento dell'esperienza del cliente. I chatbot basati sull'intelligenza artificiale aumentano l'efficienza operativa e riducono i costi alle aziende, offrendo allo stesso tempo comodità per i clienti. Le aziende possono automatizzare le domande frequenti e ridurre la necessità di interazione umana. Di seguito sono riportati i motivi principali per cui sempre più aziende stanno adottando la strategia chatbot e in che modo sono una formula vincente per acquisire e fidelizzare i clienti. Quali Vantaggi porta ad un'Azienda l'utilizzo dei Chatbot : Riduci i tempi di attesa dei clienti : il 21% dei consumatori considera i chatbot il modo più semplice per contattare un'azienda . I bot sono un modo più intelligente per garantire che i clienti ricevano la risposta immediata che stanno cercando senza farli aspettare in coda. Disponibilità 24×7 : i bot sono sempre disponibili per coinvolgere i clienti con risposte immediate alle domande più comuni da loro poste. Il principale vantaggio potenziale dell'utilizzo dei chatbot è il servizio clienti 24 ore su 24. Migliore coinvolgimento dei clienti : i bot conversazionali possono coinvolgere i clienti 24 ore su 24 avviando una conservazione proattiva e offrendo consigli personalizzati che migliorano l'esperienza del cliente. Risparmia sui costi del servizio clienti : i chatbot aiuteranno le aziende a risparmiare più di 8 miliardi € all'anno. I bot possono essere facilmente ridimensionati, il che consente di risparmiare sui costi dell'assistenza clienti per l'assunzione di più risorse, sui costi dell'infrastruttura, ecc. Automatizza la qualificazione e le vendite dei lead : puoi automatizzare il tuo funnel di vendita con i chatbot per prequalificare i lead e indirizzarli al team giusto per un ulteriore nutrimento. Essere in grado di coinvolgere i clienti istantaneamente aumenta il numero di lead e i tassi di conversione. Come costruire un chatbot? I chatbot o gli assistenti virtuali aiutano ad automatizzare le principali funzioni aziendali come vendite, supporto e marketing. Ecco le sei fasi principali che ti aiuteranno a creare il tuo primo chatbot per fornire supporto conversazionale ai tuoi clienti. Definisci i tuoi obiettivi aziendali : devi delineare le funzioni aziendali che devono essere automatizzate. Cosa farà esattamente il tuo chatbot? Scegli il canale giusto per interagire con i tuoi clienti : identifica i canali che i tuoi clienti preferiscono per comunicare con te attraverso il tuo sito web, app mobile, Facebook Messenger, Telegram o altre piattaforme di messaggistica. Addestra il tuo bot per dare la risposta giusta : puoi addestrare il tuo bot con domande frequenti complete a seconda delle tue esigenze aziendali. Ciò aiuterà il bot a fornire risposte pertinenti ai tuoi clienti o visitatori. Dai al tuo chatbot una voce e una personalità : puoi migliorare la personalità del tuo bot dando un nome e un'immagine che integrino il messaggio del tuo marchio. Crea un approccio equilibrato : la maggior parte dei chatbot potrebbe non essere così efficace e i clienti a un certo punto cercano supporto via chat. Puoi definire in quale fase particolare i tuoi clienti possono avere la possibilità di connettersi con l'agente umano. Test, avvio e iterazione : dopo aver definito il flusso del bot, è possibile verificare se soddisfa correttamente o meno il caso d'uso. Una volta avviato il bot, devi misurare le prestazioni del bot ed eseguire le iterazioni richieste di volta in volta. Puoi scegliere uno dei due modi per creare chatbot. Sono i seguenti: #1. Usa una piattaforma chatbot Le piattaforme di chatbot sono un vantaggio per le aziende che vogliono costruire il proprio chatbot senza troppi sforzi e tempo. Ecco i criteri per selezionare una piattaforma bot. Facile da usare : una piattaforma per chatbot già pronta per l'uso comprende il modello predefinito e semplifica la creazione del bot secondo le tue esigenze e la sua distribuzione su più canali. Nessuna codifica : con zero codifica, puoi creare un chatbot con uno sviluppo minimo con meno sforzo e tempo e per un migliore coinvolgimento dei clienti. Analytics : l'analisi dei bot aiuta a misurare la soddisfazione del cliente, quali sono le ricerche riuscite e quelle fallite per le risposte dei bot. Misurando queste metriche, puoi identificare le query chiave richieste dai tuoi clienti e addestrare il tuo bot di conseguenza. Chat dal vivo : puoi cercare una piattaforma bot che supporti sia la chat dal vivo che il chatbot. I bot possono gestire le query più semplici e quelle complesse possono essere trasferite per il supporto umano. #2. Costruisci da zero il tuo chatbot È consigliabile creare un bot completamente da zero se i requisiti aziendali sono unici o molto complessi. In tali scenari, è molto probabile che le piattaforme bot pronte per l'uso non siano in grado di eliminare la soluzione specifica di cui la tua azienda ha bisogno. Linee guida da seguire: identifica i tuoi requisiti aziendali e costruisci il bot per il tuo caso d'uso chiave. Utilizza la piattaforma giusta che copre il bot e la chat dal vivo come un toolkit completo, in modo che il tuo team possa comprendere meglio il percorso del cliente e avere un controllo migliore sulle conversazioni dei clienti. Iscriviti al nostro sito, presto arriverà il tutorial... Esempi di casi d'uso di chatbot I chatbot fungono da catalizzatore per migliorare le prestazioni quando vengono distribuiti in diverse funzioni aziendali e settori. Ecco i casi d'uso chiave di come i clienti ottengono il massimo dai chatbot conversazionali. Utilizzare chatbot per l'Assistenza clienti I rapporti di Business Insider affermano che il 67% dei consumatori in tutto il mondo ha utilizzato un chatbot per l'assistenza clienti . Il servizio clienti è una delle funzioni aziendali chiave in cui i chatbot hanno un grande impatto. Con i chatbot AI, le aziende possono risparmiare sui costi dell'assistenza clienti e migliorare le metriche chiave della produttività che migliorano l' esperienza del servizio clienti . Alcuni casi d'uso chiave del servizio clienti sono i seguenti: Supporto del sito Web : i clienti di oggi si aspettano una risposta in tempo reale. Le aziende stanno adottando la tecnologia chatbot per offrire un tempestivo coinvolgimento dei clienti. Helpdesk IT : i chatbot possono aiutare il tuo helpdesk IT ad aumentare la produttività del tuo team e aumentare l'efficienza. Supporto in-app : avere un bot per gestire le domande frequenti all'interno delle applicazioni migliora il coinvolgimento degli utenti. Consente alle aziende di inviare notifiche per mantenere aggiornati i clienti. Il chatbot bancario HDFC Eva per il servizio clienti è un ottimo esempio Il settore finanziario e il chatbot creano un'ottima partnership. Ne beneficiano sia le banche che i loro clienti. Eva è il primo chatbot bancario conversazionale abilitato all'intelligenza artificiale dell'India. Eva utilizza il più recente Natural Language Processing (NLP) per comprendere le richieste degli utenti e fornisce informazioni rilevanti in tempi di attesa pari a zero. Utilizzare chatbot per creare Saldi La lead generation è la funzione più importante di ogni azienda. Con i chatbot, puoi prequalificare i tuoi lead e automatizzare il tuo funnel di vendita. Puoi farlo inviando i lead direttamente al tuo CRM o trasferirli ai rappresentanti di vendita per assisterli ulteriormente. I principali casi d'uso dei bot di vendita sono: Segmenta il tuo pubblico : i bot ti consentono di identificare gli interessi sui prodotti di visitatori e clienti. In base a ciò puoi segmentare il tuo pubblico di destinazione. Lead pre-qualificazione : i bot, programmati con un questionario di vendita predefinito, convertono i visitatori del tuo sito Web in potenziali clienti. Quindi vengono indirizzati al livello successivo del funnel di vendita. Prenotazioni: i robot aiutano a pianificare gli appuntamenti per l'ospitalità o l'assistenza sanitaria e anche a effettuare prenotazioni per servizi personali. Esempio di bot di lead generation – VainuBot La compilazione dei moduli è una parte vitale della generazione di lead che può essere automatizzata con i chatbot. Quando unisci chatbot e lead generation, la tua azienda può accogliere un buon numero di lead. Vainu , un noto servizio di analisi dei dati ha creato VainuBot per i lead di prequalifica. Utilizzare chatbot per il Marketing I bot possono imparare dall'interazione dell'utente e condividere informazioni rilevanti sul tuo marchio, prodotti e servizi. In sostanza, è in grado di effettuare upselling e cross-selling in modo personalizzato, colloquiale e coinvolgente. Il 57% delle aziende concorda sul fatto che i chatbot forniscano un ROI elevato con il minimo sforzo. I casi d'uso di marketing per un migliore coinvolgimento del cliente sono: Consigli sui prodotti : con i bot, puoi consigliare prodotti o offerte combinate in base al percorso del cliente. Avvia una conversazione proattiva : il bot può avviare una conversazione proattiva mentre il cliente è bloccato all'interno del prodotto e guidarlo nella giusta direzione. Notifiche personalizzate : puoi conoscere il comportamento dei tuoi clienti e migliorare le tue conversazioni personalizzandole. Un ottimo esempio di chatbot di marketing: Spotify Il bot di Facebook Messenger di Spotify semplifica la ricerca, l'ascolto e la condivisione di musica per i suoi clienti. Una volta iniziato, riceverai consigli sulle playlist in base al tuo umore, a ciò che stai facendo o al genere musicale che desideri. Il Futuro dei chatbot Ora, poiché sai cos'è un chatbot e quanto sia importante la tecnologia dei bot per la tua azienda. Sarai sicuramente d'accordo sul fatto che i bot hanno cambiato drasticamente il modo in cui le aziende interagiscono con i propri clienti. Le tecnologie chatbot diventeranno una parte vitale della strategia di coinvolgimento dei clienti in futuro. Nel prossimo futuro, i robot avanzeranno per migliorare le capacità umane e gli agenti umani per essere più innovativi nella gestione delle attività strategiche.

Il machine learning è un'innovazione moderna che ha aiutato l'uomo a migliorare non solo molti processi industriali e professionali, ma anche a far progredire la vita di tutti i giorni. Ma cos'è l'apprendimento automatico? È un sottoinsieme dell'intelligenza artificiale, che si concentra sull'utilizzo di tecniche statistiche per costruire sistemi informatici intelligenti al fine di apprendere dai database a sua disposizione. Attualmente, l'apprendimento automatico è stato utilizzato in più campi e settori. Ad esempio, diagnosi medica, elaborazione di immagini, previsione, classificazione, associazione di apprendimento, regressione, ecc. I sistemi intelligenti basati su algoritmi di apprendimento automatico hanno la capacità di apprendere dall'esperienza passata o dai dati storici. Le applicazioni di machine learning forniscono risultati sulla base dell'esperienza passata. In questo articolo, discuteremo 10 esempi di vita reale di come l'apprendimento automatico sta aiutando a creare una tecnologia migliore per alimentare le idee di oggi. Esempio di Machine Learning 1) Riconoscimento delle immagini Il riconoscimento delle immagini è uno degli usi più comuni del machine learning. Esistono molte situazioni in cui è possibile classificare l'oggetto come immagine digitale . Ad esempio, nel caso di un'immagine in bianco e nero, l'intensità di ciascun pixel viene utilizzata come una delle misurazioni. Nelle immagini a colori, ogni pixel fornisce 3 misurazioni di intensità in tre diversi colori: rosso, verde e blu (RGB). L'apprendimento automatico può essere utilizzato anche per il rilevamento dei volti in un'immagine . C'è una categoria separata per ogni persona in un database di più persone. L'apprendimento automatico viene utilizzato anche per il riconoscimento dei caratteri per distinguere le lettere scritte a mano e quelle stampate. Possiamo segmentare un pezzo di scrittura in immagini più piccole, ciascuna contenente un singolo carattere. Esempio di Machine Learning 2) Riconoscimento vocale Il riconoscimento vocale è la traduzione delle parole pronunciate nel testo. È anche noto come riconoscimento vocale del computer o riconoscimento vocale automatico. Qui, un'applicazione software può riconoscere le parole pronunciate in una clip o file audio e quindi convertire l'audio in un file di testo. La misura in questa applicazione può essere un insieme di numeri che rappresentano il segnale vocale. Possiamo anche segmentare il segnale vocale per intensità in diverse bande tempo-frequenza. Il riconoscimento vocale viene utilizzato in applicazioni come l'interfaccia utente vocale, le ricerche vocali e altro ancora. Le interfacce utente vocali includono la composizione vocale, l'instradamento delle chiamate e il controllo dell'appliance. Può essere utilizzato anche un semplice inserimento dati e la preparazione di documenti strutturati. Esempio di Machine Learning 3) Diagnosi medica L'apprendimento automatico può essere utilizzato nelle tecniche e negli strumenti che possono aiutare nella diagnosi delle malattie . Viene utilizzato per l'analisi dei parametri clinici e la loro combinazione per la previsione di esempio della prognosi della progressione della malattia per l'estrazione di conoscenze mediche per la ricerca dell'esito, per la pianificazione della terapia e il monitoraggio del paziente. Queste sono le implementazioni di successo dei metodi di apprendimento automatico. Può aiutare nell'integrazione di sistemi informatici nel settore sanitario. Esempio di Machine Learning 4) Arbitraggio statistico In finanza, l'arbitraggio si riferisce alle strategie di trading automatizzato che sono a breve termine e coinvolgono un gran numero di titoli. In queste strategie, l'utente si concentra sull'implementazione dell'algoritmo di negoziazione per un insieme di titoli sulla base di quantità come le correlazioni storiche e le variabili economiche generali. I metodi di apprendimento automatico vengono applicati per ottenere una strategia di arbitraggio dell'indice. Applichiamo la regressione lineare e la Support Vector Machine ai prezzi di un flusso di azioni. Esempio di Machine Learning 5) Associazioni di apprendimento Le associazioni di apprendimento sono il processo di sviluppo di intuizioni sulle varie associazioni tra i prodotti. Un buon esempio è come i prodotti non correlati possono essere associati tra loro. Una delle applicazioni del machine learning è studiare le associazioni tra i prodotti che le persone acquistano. Se una persona acquista un prodotto, gli verranno mostrati prodotti simili perché c'è una relazione tra i due prodotti. Quando nuovi prodotti vengono lanciati sul mercato, vengono associati a quelli vecchi per aumentarne le vendite. Esempio di Machine Learning 6) Classificazione Una classificazione è un processo di collocamento di ogni individuo sotto studio in molte classi. La classificazione aiuta ad analizzare le misurazioni di un oggetto per identificare la categoria a cui appartiene quell'oggetto. Per stabilire una relazione efficiente, gli analisti utilizzano i dati. Ad esempio, prima che una banca decida di erogare prestiti, valuta i clienti sulla loro capacità di pagare i prestiti. Considerando fattori come i guadagni, i risparmi e la storia finanziaria del cliente, possiamo farlo. Queste informazioni sono tratte dai dati passati sul prestito. Esempio di Machine Learning 7) Predizione L'apprendimento automatico può essere utilizzato anche nei sistemi di previsione. Considerando l'esempio del prestito, per calcolare la probabilità di un guasto, il sistema dovrà classificare i dati disponibili in gruppi. È definito da un insieme di regole prescritte dagli analisti. Una volta effettuata la classificazione, possiamo calcolare la probabilità del guasto. Questi calcoli possono essere eseguiti in tutti i settori per vari scopi. Fare previsioni è una delle migliori applicazioni di machine learning. Esempio di Machine Learning 8) Estrazione L'estrazione di informazioni è una delle migliori applicazioni del machine learning . È il processo di estrazione di informazioni strutturate dai dati non strutturati. Ad esempio, le pagine Web, gli articoli, i blog, i rapporti aziendali e le e-mail. Il database relazionale mantiene l'output prodotto dall'estrazione delle informazioni. Il processo di estrazione prende un insieme di documenti come input ed emette i dati strutturati. Esempio di Machine Learning 9) Regressione Possiamo anche implementare l'apprendimento automatico anche nella regressione. Nella regressione, possiamo utilizzare il principio dell'apprendimento automatico per ottimizzare i parametri. Può anche essere usato per diminuire l'errore di approssimazione e calcolare il risultato più vicino possibile. Possiamo anche utilizzare l'apprendimento automatico per l'ottimizzazione della funzione. Possiamo anche scegliere di modificare gli input per ottenere il risultato più vicino possibile. Esempio di Machine Learning 10) Servizi finanziari L'apprendimento automatico ha un grande potenziale nel settore finanziario e bancario . È la forza trainante della popolarità dei servizi finanziari. L'apprendimento automatico può aiutare le banche e gli istituti finanziari a prendere decisioni più intelligenti. L'apprendimento automatico può aiutare i servizi finanziari a individuare la chiusura di un conto prima che si verifichi. Può anche monitorare il modello di spesa dei clienti. L'apprendimento automatico può anche eseguire l'analisi di mercato. Le macchine intelligenti possono essere addestrate per monitorare i modelli di spesa. Gli algoritmi possono identificare facilmente le tende e possono reagire in tempo reale. Conclusione In poche parole, possiamo dire che l'apprendimento automatico è un'incredibile svolta nel campo dell'intelligenza artificiale. E mentre l'apprendimento automatico ha alcune implicazioni spaventose, queste applicazioni di apprendimento automatico sono uno dei modi attraverso i quali la tecnologia può migliorare le nostre vite.

Che cosa è l'analisi esplorativa dei dati ? L'analisi esplorativa dei dati si riferisce al processo critico di eseguire indagini iniziali sui dati in modo da scoprire modelli, individuare anomalie, testare ipotesi e verificare ipotesi con l'aiuto di statistiche riassuntive e rappresentazioni grafiche. È una buona pratica comprendere prima i dati e cercare di raccogliere il maggior numero di informazioni da essi. L'EDA consiste nel dare un senso ai dati in mano, prima di partire con l'implementare mille modelli predittivi e milioni di layer . Analisi esplorativa dei dati EDA - Un esempio pratico step by step Per condividere la mia conoscenza del concetto e delle tecniche che conosco, prenderò un esempio di variante del set di dati sulla qualità del vino disponibile su UCI Machine Learning Repository e cercherò di acquisire il maggior numero di informazioni dal set di dati utilizzando EDA. Siccome ci teniamo a condividere con voi tutto il materiale che usiamo per scrivere gli articoli vi lasciamo qui tutti i file che potrebbero servirvi per seguirci mentre programmate. Per cominciare, ho importato le librerie necessarie (per questo esempio pandas, numpy, matplotlib e seaborn) e caricato il set di dati. Nota: qualsiasi deduzione che ho potuto estrarre, l'ho menzionata con punti elenco. I dati originali sono separati dal delimitatore “ ; “ in un dato set di dati. Per dare un'occhiata più da vicino ai dati ci si è avvalso della funzione “ .head()” della libreria pandas che restituisce le prime cinque osservazioni del set di dati. Analogamente “.tail()” restituisce le ultime cinque osservazioni del set di dati. Ho scoperto il numero totale di righe e colonne nel set di dati utilizzando ".shape". Il set di dati comprende 4898 osservazioni(righe) e 12 caratteristiche(colonne). Di cui una è variabile dipendente e il resto 11 sono variabili indipendenti - caratteristiche fisico-chimiche. È anche una buona pratica conoscere le colonne e i loro tipi di dati corrispondenti, oltre a scoprire se contengono valori null o meno. I dati hanno solo valori float e interi. Nessuna colonna variabile ha valori nulli/mancanti. La funzione description() in pandas è molto utile per ottenere varie statistiche di riepilogo. Questa funzione restituisce il conteggio, la media, la deviazione standard, i valori minimo e massimo e i quantili dei dati. Qui, come puoi notare, il valore medio è inferiore al valore mediano di ciascuna colonna che è rappresentato dal 50% (50° percentile) nella colonna dell'indice. C'è in particolare una grande differenza tra il 75% e i valori massimi dei predittori "zucchero residuo", "anidride solforosa libera", "anidride solforosa totale". Quindi le osservazioni 1 e 2 suggeriscono che ci sono valori estremi-Outlier nel nostro set di dati. Alcune informazioni chiave semplicemente guardando alla variabile dipendente sono le seguenti: La variabile target/Variabile dipendente è di natura discreta e categorica. La scala del punteggio di "qualità" varia da 1 a 10; dove 1 è scarso e 10 è il migliore. 1,2 e 10 Le valutazioni di qualità non sono fornite da alcuna osservazione. Solo i punteggi ottenuti sono compresi tra 3 e 9. Questo ci dice il conteggio dei voti di ogni punteggio di qualità in ordine decrescente. la “qualità” ha la maggior parte dei valori concentrati nelle categorie 5, 6 e 7. Solo poche osservazioni fatte per le categorie 3 e 9. Ho avuto una buona visione dei dati. Ma questa è la cosa con Data Science più ti coinvolgi più è difficile per te smettere di esplorare. Ora esploriamo i dati con bellissimi grafici. Python ha una libreria di visualizzazione, Seaborn , che si basa su matplotlib. Fornisce grafici statistici molto interessanti per eseguire analisi sia univariate che multivariate . Per utilizzare la regressione lineare per la modellazione, è necessario rimuovere le variabili correlate per migliorare il modello. È possibile trovare le correlazioni utilizzando la funzione ".corr()" e visualizzare la matrice di correlazione utilizzando una mappa di calore in seaborn. Analisi esplorativa dati con la Mappa di calore e Correlazione Le tonalità scure rappresentano una correlazione positiva mentre le tonalità più chiare rappresentano una correlazione negativa. Se imposti annot=True, otterrai i valori in base ai quali le caratteristiche sono correlate tra loro nelle celle della griglia. È buona norma rimuovere le variabili correlate durante la selezione delle funzioni. Qui possiamo dedurre che "densità" ha una forte correlazione positiva con "zucchero residuo" mentre ha una forte correlazione negativa con "alcol". "anidride solforosa libera" e "acido citrico" non hanno quasi alcuna correlazione con la "qualità". Poiché la correlazione è zero, possiamo dedurre che non esiste una relazione lineare tra questi due predittori. Tuttavia, è sicuro eliminare queste funzionalità nel caso in cui si applichi il modello di regressione lineare al set di dati. Un diagramma a scatola (o diagramma a scatola e baffi) mostra la distribuzione dei dati quantitativi in ​​un modo che facilita i confronti tra le variabili. Il riquadro mostra i quartili del set di dati mentre i baffi si estendono per mostrare il resto della distribuzione. Il diagramma a scatola (noto anche come diagramma a scatola e baffi) è un modo standardizzato di visualizzare la distribuzione dei dati in base al riepilogo di cinque numeri: Minimo Primo quartile Mediano Terzo quartile Massimo. Nel box plot più semplice il rettangolo centrale si estende dal primo quartile al terzo quartile (l'intervallo interquartile o IQR). Un segmento all'interno del rettangolo mostra la mediana e i "baffi" sopra e sotto la casella mostrano le posizioni del minimo e del massimo. Gli outlier sono 3×IQR o più al di sopra del terzo quartile o 3×IQR o più al di sotto del primo quartile. Nel nostro set di dati, ad eccezione di "alcol", tutte le altre colonne delle caratteristiche mostrano valori anomali. Ora per verificare la linearità delle variabili è una buona pratica tracciare il grafico della distribuzione e cercare l'asimmetria delle caratteristiche. La stima della densità del kernel (kde) è uno strumento molto utile per tracciare la forma di una distribuzione. La colonna "pH" sembra essere distribuita normalmente rimanenti tutte le variabili indipendenti sono asimmetriche a destra/asimmetriche positivamente. Infine, per riassumere tutta l'analisi esplorativa dei dati è un approccio filosofico e artistico per valutare ogni sfumatura dai dati al primo incontro. Puoi dare un'occhiata all'intero progetto qui e provare con approcci diversi, ad es. prova un grafico a coppie e condividi tutte le inferenze che potresti trarre da esso o se non sono riuscito a catturare alcuna informazione utile nel mio approccio, condividi anche questo nei commenti.

La maggior parte delle aziende sta nuotando nei dati in questo momento, ma meno dell'1% dei dati della maggior parte delle organizzazioni viene utilizzato e molto meno viene analizzato per prendere decisioni significative. Non c'è dubbio che la tua azienda avrà bisogno di diventare più intelligente. L'innovazione e il cambiamento sono la nuova norma e le aziende che non riescono ad adattarsi alla rivoluzione dell'intelligence rischiano di essere lasciate indietro. È tempo di ripensare al modo in cui tutti facciamo affari. Individuare le tendenze nei dati prima di iniziare Ogni azienda è unica e le tue priorità di intelligenza artificiale potrebbero essere molto diverse dai tuoi concorrenti. Inizia esaminando prima i tuoi dati e vedi se riesci a individuare le tendenze, quindi usa queste informazioni per vedere dove l'intelligenza artificiale potrebbe davvero aggiungere valore alla tua attività. Hai la possibilità di raccogliere enormi quantità di dati sulle abitudini e le preferenze dei tuoi clienti: quanto spesso usano i tuoi prodotti e servizi quando li usano e altro ancora. Prima di ripensare ai tuoi prodotti, servizi e processi, usa i tuoi dati per creare un quadro dettagliato dei comportamenti dei tuoi clienti. Esistono tre modi tipici di utilizzare l'intelligenza artificiale : prodotti, servizi e processi, ma rientrano in due prospettive. La prospettiva esterna significa che guardi la tua attività dal punto di vista del tuo cliente e trovi modi per semplificargli la vita risolvendo i suoi problemi e anticipando le sue esigenze. La prospettiva interna è comune nelle aziende di maggior successo, oggi non sono solo incentrate sul cliente, sono incentrate sui dipendenti. I processi interni ottimizzati, alimentati da informazioni sull'intelligenza artificiale, aiutano ad attrarre e trattenere i migliori talenti e a mantenere i dipendenti felici e impegnati nel loro lavoro. Fai come Netflix: Implementa un Intelligenza Artificiale in Grado di offrire prodotti/servizi personalizzati Migliori informazioni sui clienti ti aiutano a fornire servizi più intelligenti e altamente personalizzati. Aziende come Amazon utilizzano i dati che raccolgono automaticamente dai propri clienti per creare uno dei motori di raccomandazione dei prodotti più efficaci al mondo. Il servizio di streaming di Netlfix fa la stessa cosa. L'intelligenza artificiale di Netflix non si limita a fornire consigli generali per film o programmi televisivi, ma offre suggerimenti altamente personalizzati in base all'ora del giorno che guardi, agli attori che ti piacciono e ad altri comportamenti di visualizzazione. Se hai visto diversi film che includono Robert De Niro nel cast, Netflix può consigliarti un altro film di De Niro, anche un film in cui interpreta un piccolo ruolo. Se De Niro non appare nell'immagine di anteprima del film normalmente utilizzata da Netflix, l'intelligenza artificiale può attirare la tua attenzione con un'immagine diversa che lo include. Quell'immagine personalizzata renderà il film più allettante per te e renderà più probabile che continuerai a guardarlo. L'obiettivo di Netflix è quello di mettere davanti a te il film giusto al momento giusto. In che modo la tua azienda può personalizzare i tuoi servizi in modo che presentino le opzioni perfette ai tuoi clienti nel punto preciso in cui sono necessari? La massiccia espansione dei prodotti intelligenti L'IoT significa che molti prodotti di uso quotidiano stanno diventando più intelligenti. Ora possiamo integrare una maggiore potenza di calcolo e sensori piccoli ed economici nei prodotti, darci la possibilità di creare smart TV, smartphone, dispositivi di monitoraggio della salute e altro ancora. Prevedo che molto presto avremo l'intelligenza artificiale in quasi tutti i prodotti. Suona inverosimile? Pensa a questo: esiste già un "pannolino intelligente" abilitato all'intelligenza artificiale che utilizza un sensore di umidità integrato per inviare un avviso al telefono o guardare quando è necessario cambiare un pannolino. C'è anche uno spazzolino intelligente sul mercato che rileva quanto bene ti sei lavato i denti. Puoi utilizzare un'app sul telefono per vedere se ci sono aree che devi pulire meglio. Prodotti più intelligenti come questi non solo migliorano la vita dei clienti, ma offrono anche enormi vantaggi aziendali in termini di fidelizzazione e soddisfazione dei clienti, recensioni più positive e aumento delle entrate. Semplificare i processi aziendali con l'Intelligenza Artificiale Le aziende di maggior successo al mondo utilizzano anche l'intelligenza artificiale per ottimizzare, semplificare e automatizzare i propri processi aziendali lungo l'intera catena di approvvigionamento. Puoi incorporare l'intelligenza artificiale praticamente in qualsiasi funzione aziendale, tra cui risorse umane, produzione, marketing, vendite, controllo qualità, IT e finanze. Inizia identificando quali aree sono le maggiori priorità per la tua attività e dove l'intelligenza artificiale può potenzialmente aggiungere il maggior valore. Non aggiungere l'intelligenza artificiale solo per il gusto di farlo: guarda cosa vuole ottenere la tua azienda, quindi determina come l'intelligenza artificiale può aiutarti a raggiungerlo. Trasforma il tuo business con l'intelligenza artificiale Le aziende possono utilizzare l'intelligenza artificiale per migliorare i propri risultati di business in tre modi principali: fornire servizi più intelligenti, creare prodotti intelligenti e migliorare i processi aziendali con l'intelligenza artificiale. Raccomando che ogni azienda esamini tutti e tre gli aspetti, poiché stanno sviluppando una strategia di intelligenza artificiale. Le aziende basate sui prodotti possono trarre vantaggio dal pensare ai servizi abilitati all'intelligenza artificiale e viceversa. Tutte le aziende dovrebbero considerare le possibilità di migliorare i propri processi aziendali con l'IA.

Questa Spiegazione è appartenente ad una Serie di Articoli. Prima di iniziare a leggere ti consigliamo di guardare gli articoli precedenti : Lo Strumento "mente" Il servomeccanismo mentale Gli Engrammi : Le Immagini della Mente Che cosa è un concetto Gli stati Attenzionali Le funzioni attenzionali Il concetto di variabile La sovrapposizione degli effetti La Curiosità Come secondo esempio riprenderei in considerazione le “attività percettive” per vedere quale possa essere la differenza fra la percezione semplice e quella complessa: la percezione semplice si compone di varie funzioni attenzionali elementari, queste sono date da dei concetti "funzione" che servono per definire il ritmo attenzionale e le correlazioni che si possono effettuare sull’oggetto in esame, per poter comprendere bene questo tipo di percezione si dovrebbe far riferimento alla metodologia percettiva dei bambini che in sostanza comporta l’utilizzo del maggior numero possibile degli organi sensori per poter ottenere le varie sequenze di stati attenzionali che daranno luogo alla acquisizione mentale dell’oggetto preso in esame attenzionalmente, il bambino piccolo in altre parole mette in rapporto le sue azioni con le reazioni dell’oggetto di gioco e lo fa in tutti i modi possibili poiché non può ancora avere dei sistemi di associazione o categoriali più complessi che sono alla base della percezione che invece ha l’adulto, ovvero anche un bambino che sta ormai apprendendo l’associazione del pensiero con le azioni che svolge; la percezione semplice quindi non fa riferimento alla attività cognitiva tramite il sistema associativo, basti pensare che quando noi vediamo un qualsiasi oggetto siamo in grado di dichiararne la pesantezza o la ruvidità ed altre caratteristiche, poiché associamo quelli che potrebbero essere i ritmi degli stati attenzionali dati dal toccarlo, senza per questo provare a toccarlo e né riproducendo questi ritmi a livello mentale ma soltanto associando il costrutto attenzionale che abbiamo in memoria relativo alla pesantezza o alla ruvidità o ad altre categorizzazioni, in altri casi siamo in grado di associare ad una musica, un paesaggio o delle scene, o possiamo fare anche il contrario, gli esempi più classici derivano dal condizionamento pubblicitario, a me succede spesso di associare una musica che mi piace ad un prodotto che è stato pubblicizzato con questa musica, devo dire mio malgrado, in quanto preferirei associare delle altre cose; comunque alla fine di questo ragionamento è necessario chiarire che la percezione semplice si ha qualora tutte le attività mentali elementari di correlazione siano rivolte espressamente a ciò che è oggetto di attenzione e questo significa che i nostri limiti sono dati dalle possibilità di intervento degli organi preposti all’acquisizione dei dati che possono farci assumere determinati ritmi attenzionali e le attività correlative siano effettuate sui rapporti fra le varie "pluralità" che compongono l’oggetto e sulle relazioni che questo è in grado di assumere con il contesto delle cose osservate o il mondo esterno, mentre per la percezione complessa dobbiamo far riferimento alla “sovrapposizione degli effetti” chiamata in causa dalle attività associative che introducono nel complesso sistema di acquisizione delle informazioni il nostro campo di conoscenza attraverso l’attività cognitiva. Un’altra cosa che dobbiamo osservare è che le attività associative sono il frutto della variazione della controreazione che noi facciamo per operare l’analisi percettiva e quindi bisogna richiamare in causa l’immaginazione in quanto ricordo che è proprio questa la grandezza che combinando i vari concetti funzione elementari in ’B(i)’ dà la possibilità di associare attraverso per esempio variazioni di questo genere: B(i)="uguale", B(i) = “equivalente”, B(i)="e" oppure B(i)="o", altrimenti B(i)="anche" o B(i)="simile" ecc.; è ovvio che ogniqualvolta noi facciamo un processo mentale di questo genere creiamo per così dire dei “percorsi preferenziali” delle informazioni elaborate e questi percorsi daranno vita ai vari engrammi che avremmo a disposizione per favorire la ricerca in memoria dei dati che abbiamo analizzato per il passato, come ripeto questi engrammi saranno dati dalle “associazioni delle operazioni che avremmo svolto per appropriarci di nuovi costrutti”. (nota: con le conoscenze odierne potremmo affermare che è il frutto del processo di “training” della rete neurale) Nel prossimo articolo della serie parleremo di Cognizione, vi lascio una piccola immagine spoiler ....