Allego anche i grafici di tensorboard

Ciao Paolo, in primis grazie mille per la celere risposta e il supporto. Ho usato il codice che mi hai fornito apportando delle piccole modifiche che provo a riportare di seguito   df['SCADENZA'] = pd.to_datetime(df['SCADENZA'], format='%d/%m/%Y').astype("int64") / 10**9 df['TARGET'] = pd.to_datetime(df['DATA_INVIO_FILE'], format='%d/%m/%Y', errors='coerce').notna().astype(int) df['DATA_INVIO_FILE'] = pd.to_datetime(df['DATA_INVIO_FILE'], format='%d/%m/%Y', errors='coerce').astype("int64") / 10**9 def clean_numeric(df, columns): for col in columns: df.loc[:, col] = (df[col] .astype(str) .str.strip() .str.replace('.', '') .str.replace(',', '.') .str.replace('-', '') .replace('', np.nan) .astype(float)) return df .... def ML(mode): conn = sqlite3.connect('../MachineLearning.db') query = "SELECT SCADENZA,PORTAF,TIPO_CR,LAG,TIPO_DOCUMENTO,TIPO_FF,FACTOR,PERC,NETTOSPLIT,IMPORTO1,IMPORTO2,DATA_INVIO_FILE FROM Dati" # Assuming TARGET is also in this query df = pd.read_sql_query(query, conn) conn.close() numerical_features = ['PERC', 'NETTOSPLIT', 'IMPORTO1', 'IMPORTO2'] df = clean_numeric(df, numerical_features) numerical_features.extend(['SCADENZA', 'DATA_INVIO_FILE']) categorical_features = ['PORTAF', 'TIPO_CR', 'LAG', 'TIPO_DOCUMENTO', 'TIPO_FF', 'FACTOR'] .....Olltre ad aver aggiungo la scrittura dei csv per alcuni punti per vedere i dati come vengono elaborati. Allego il codice completo. Purtroppo continua ad andare Overfitting. Sto analizzando i dati elaborati, per capire: Cosa Estrae Come li "Converte" Su cosa si Addestra e cosa mi tira fuori alla fine dell'addestramento Nel mentre tu hai qualche altro consiglio da potermi fornire ?

import sqlite3 import pandas as pd from sklearn.compose import ColumnTransformer from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.model_selection import train_test_split from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.callbacks import TensorBoard from imblearn.over_sampling import SMOTE def preprocess_data(df): # Gestione dei valori mancanti df.fillna(method='ffill', inplace=True) # Conversione delle date in timestamp df['SCADENZA'] = pd.to_datetime(df['SCADENZA']).astype(int) / 10**9 df['DATA_INVIO_FILE'] = pd.to_datetime(df['DATA_INVIO_FILE']).astype(int) / 10**9 # Separazione delle features e target features = df.drop(columns=['TARGET']) target = df['TARGET'] return features, target def build_preprocessor(numerical_features, categorical_features): preprocessor = ColumnTransformer( transformers=[ ('num', StandardScaler(), numerical_features), ('cat', OneHotEncoder(), categorical_features) ]) return preprocessor def build_model(input_shape): model = Sequential([ Dense(64, activation='relu'), Dropout(0.3), Dense(32, activation='relu'), Dropout(0.3), Dense(1, activation='sigmoid') ]) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) return model def ML(mode): conn = sqlite3.connect('../MachineLearning.db') query = "SELECT * FROM Dati" # Assuming TARGET is also in this query df = pd.read_sql_query(query, conn) conn.close() numerical_features = ['PERC', 'NETTOSPLIT', 'IMPORTO1', 'IMPORTO2', 'SCADENZA', 'DATA_INVIO_FILE'] categorical_features = ['PORTAF', 'TIPO_CR', 'LAG', 'TIPO_DOC', 'TIPO_FF', 'FACTOR'] features, target = preprocess_data(df) preprocessor = build_preprocessor(numerical_features, categorical_features) X = preprocessor.fit_transform(features) y = target.values # Bilanciamento del dataset smote = SMOTE(random_state=42) X_res, y_res = smote.fit_resample(X, y) # Training e validation split X_train, X_val, y_train, y_val = train_test_split(X_res, y_res, test_size=0.2, random_state=42) if mode == 'train': model = build_model(X_train.shape[1]) log_dir = './logs' tensorboard_callback = TensorBoard(log_dir=log_dir, histogram_freq=1) model.fit(X_train, y_train, epochs=10, batch_size=32, validation_data=(X_val, y_val), callbacks=[tensorboard_callback]) model.save('data/trained_model.h5') print("Addestramento completato. Il modello è stato salvato in 'trained_model.h5'.") print(f"TensorBoard logs salvati in: {log_dir}") elif mode == 'predict': model = tf.keras.models.load_model('data/trained_model.h5') X_predict = preprocessor.transform(features) # Assuming predict_df corresponds to some portion of features predictions = model.predict(X_predict) df['PREDICTION'] = (predictions > 0.5).astype(int) df.to_csv('risultati_previsione.csv', index=False) print("Predizione completata. I risultati sono stati salvati in 'risultati_previsione.csv'.") # Usage example: ML('train') or ML('predict')

Quando vuoi, sai che qualche dritta, se ci riesco te la posso indicare, tieni presente che, forse, per fare ciò da te richiesto, l percorso è lungo e dovrai approcciarti a TensorFlow, Keras, Pandas e ad altri moduli basilari per il trattamento dei dati e delle immagini. In questo senso, potresti prendere una spunto ad esempio da qui: https://amslaurea.unibo.it/17606/1/tesi.pdf

O nel browser o con tkinter, ad esempio.... (python lavora come terminale di solito....) ma puoi usare qualcosa del genere per il web: ... from http import server PAGE="""\ testo """ .... try: address = ('', 8000) server = StreamingServer(address, StreamingHandler) server.serve_forever() finally: camera.stop_recording()

Non vedo l'allegato... puoi fare copia incolla almeno del testo dell'errore?

Come allievo devo dire che sono una frana, completamente, perchè quel piccolo esempio che mi hai fatto è come far comprendere il greco ad un turco (che non abbia studiato greco!). Voglio dire che se non riesco ad afferrare l'uso, non riesco a capire. Ho trovato qualche porzione di codice per sistemi esperti, che naturalmente non girano, perchè ci sono sempre errori, e non riesco a comprenderli. Ho l'impressione di essermi messo in un'impresa titanica..... Sono un coraggioso ma non fino a questo punto. Abbi tanta pazienza....

Se non hai tanta fretta, a breve dovrebbe uscire questo libro in edicola, che forse potrebbe esserti utile, ma se hai tanta fretta allora il mio consiglio è quello di vedere alcuni tutorial su python, se credi, ti posso dare dei suggerimenti.

Complimenti per il risultato della ricerca! Se vuoi, ho trovato anche un'altro link: https://amslaurea.unibo.it/17606/1/tesi.pdf

Perfect! Grazie😘

Ciao Romeo, gentile come sempre. Per tornare un attimo (con una macchina del tempo virtuale) a quei fascinosi anni 80, ti dirò che dopo aver usato i vari Sinclair ZX 80, 81, sono passato ai vari Sharp e finalmente approdato in Apple perchè ho vinto un concorso di programmazione progettando una contabilità per azienda agraria partendo da un testo che trattava questo argomento. In palio c'era un Mac 128 k, che ho espanso, poi passato a tutti i tipi di mac da allora, e finalmente all' iMac attuale.Mi sono anche lanciato nella musica elettronica di cui sono un grande appassionato, costruendo sintetizzatori, organi, batterie elettroniche e diavolerie varie per non farmi mancare nulla. Il Commodore 64, che adoro, l'ho nuovamente usato durante il lockdown del 2020 e ne sono ancora ammirato ora! Venendo all'interfaccia io uso Atom, e per allargare ancora un po' il discorso sulle mie aspettative ti dirò che mi piacerebbe arrivare ad un progetto che, partendo da una base di conoscenza sui vegetali, che riporti le caratteristiche specifiche di ogni specie, la scandagliasse in base alle mie richieste e al termine sapesse indicarmi la specie con quelle particolari caratteristiche. In basic era stato abbastanza semplice, ma non so nulla di python e quindi ho bisogno di aiuto. Grazie per avermi letto e spero che la cosa mi riesca, con il tuo aiuto. Ezio

Da dove vorresti partire? riconoscimento di immagini o basi di programmazione in python?

Grazie per la fiducia, cercherò di rendermi utile.... il libro uscirà, quanto prima, in italiano, in spagnolo ed in inglese, poi in altre lingue... Si tratta di un testo abbastanza eterogeneo in quanto dedicato alla robotica "Human friendly", come riportato dal sito https://thecorpora.com/a-book-on-robotics-in-education-by-romeo-ceccato/ ma se vuoi incominciare dalle basi, intanto vediamo di scegliere una GUI, io ad esempio, al momento uso VS Code, ma ce ne sono altre che possono essere utilizzate per iniziare a fare coding con python. L'ambiente di lavoro che utilizzo, al momento è Ubuntu, e come avrai intuito, sono a favore del software libero (Linux). In questo periodo sto lavorando al progetto di Q.bo STEM e quindi uso raspberry come HW di riferimento per le mie applicazioni, che comprendono anche il riconoscimento di immagini, oltre che NLP. Mi ha incuriosito il fatto del tuo approccio del 1985.... il che significa che "non sei di primo pelo"... io all'epoca vendevo i Commodore 64... i Vic 20.... e credo che anche tu abbia qualche capello bianco come me.... quindi è un piacere, per me, se ti posso essere utile.

Non ti preoccupare e non sentirti un allievo.... siamo due amici che si aiutano a vicenda, incominciamo con andare a cercare degli help... tipo: https://docs.python.org/3/tutorial/ e poi incominciamo dalla riga di comando, seguendo alcuni esempi che trovi quì: https://docs.python.org/3/tutorial/interpreter.html Sappimi dire, che .... assieme potremmo anche studiare il sumero ( e non per scherzo)... Vedi che in questo modo con python si usa il CLI (terminale).... infatti questo linguaggio ha il pregio di essere formalmente testuale..... e immediato (in quanto non viene compilato ma interpretato)..... poi non avere nessun problema a fare delle domande, se non rispondo io ci sarà sicuramente qualcuno più bravo di me...

Ciao Ho visto con molto piacere che avete pubblicato un articolo su pytorch, appena ho il tempo lo leggo con attenzione... Per il gruppo di studio non so se sono abbastanza preparato in quando mi sto avvicinando alle basi di pytorch seguendo la guida di Daniel Voigt Godoy e sono diciamo alle prime armi con il mondo AI... Mi piace l'idea di creare una piccola community x affrontare assieme lo studio e magari arrivare a qualche progetto utile... Per cominciare come suggerito creo un gruppo wapp e vediamo se si raccolgono interessati... Si accettano consigli x come impostare il gruppo (contenuti, lezioni, sessoni, obiettivi, ...)