I transformers sono dei modelli di deep learning che adottano il meccanismo della self-attention, attribuendo un peso diverso al significato di ciascuna parte dei dati di input. Nascono nell'ambito dell'elaborazione del linguaggio naturale (NLP), ma sono così flessibili da essere applicati con successo anche in ambito riconoscimento visuale.
Come le reti neurali ricorrenti (RNN), i transfomers sono progettati per gestire dati di input sequenziali, come il linguaggio naturale, per attività come la traduzione e il riepilogo del testo. Tuttavia, a differenza degli RNN, i transformers non elaborano necessariamente i dati in ordine.
Piuttosto, il meccanismo di attenzione fornisce il contesto per qualsiasi posizione nella sequenza di input e conferisce significato a ciascuna parola nella frase.
Questa funzione consente una maggiore parallelizzazione rispetto agli RNN e quindi riduce i tempi di addestramento.

Il seminario ha un taglio divulgativo e allo stesso tempo applicativo per evidenziare le problematiche che stiamo affrontando con i progetti di AI. Qui la registrazione del Seminario.

Le tematiche affrontate e le applicazioni proposte ricadono nell'ambito degli Accordi per l'Innovazione MIA Fashion, https://ict.enea.it/mia/ e T-WINNING, https://ict.enea.it/t-winning/).