Ciao Martina,

grazie mille per quanto hai scritto.

Vorrei allenare un modello BERT sul testo biblico (il Dataset ce l'ho) per poi chiedergli di completare delle frasi tratte da una parte di testo biblico sul quale non si è allenato.

Vorrei poi analizzare le sue risposte tramite XAI (individuando risposte alternative sulla base di counterfactual explanation) per individuare dei pattern che mi aiuterebbero a comprendere il comportamento delle parole in base al contesto in cui si trovano.

Vorrei poi rendere il tutto disponibile attraverso un'interfaccia web.

Ho controllato non sembra esserci nulla sul testo biblico

Ciao Elia, ultimamente anche io mi sono appassionata alla Xai.

Da quando ne ho letto su questo sito : https://www.intelligenzaartificialeitalia.net/post/intelligenza-artificiale-spiegabile-come-spiegare-un-modello-al-tuo-capo

Per quanto riguarda l'implementazione di un modello BERT ti consiglio vivamente di usare quelli disponibili su HuggingFace, troverai oltre 8mila modelli già allenati, sicuramente ci sarà quello che cerchi. ( https://huggingface.co/models?search=bert )

Per implementare un qualsiasi modello ti serviranno solo 3 righe di codice

from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='bert-base-uncased')
>>> unmasker("Hello I'm a [MASK] model.")

[{'sequence': "[CLS] hello i'm a fashion model. [SEP]",
  'score': 0.1073106899857521,
  'token': 4827,
  'token_str': 'fashion'},
 {'sequence': "[CLS] hello i'm a role model. [SEP]",
  'score': 0.08774490654468536,
  'token': 2535,
  'token_str': 'role'},
 {'sequence': "[CLS] hello i'm a new model. [SEP]",
  'score': 0.05338378623127937,
  'token': 2047,
  'token_str': 'new'},
 {'sequence': "[CLS] hello i'm a super model. [SEP]",
  'score': 0.04667217284440994,
  'token': 3565,
  'token_str': 'super'},
 {'sequence': "[CLS] hello i'm a fine model. [SEP]",
  'score': 0.027095865458250046,
  'token': 2986,
  'token_str': 'fine'}]

Più nello specifico cosa volevi fare ?