TextFooler, sviluppato da un team del MIT, è in grado di indurre in errore i sistemi di elaborazione del linguaggio naturale sostituendo alcune parole di una frase con dei sinonimi.
di Douglas Heaven
Durante i test, il software è stato in grado di ridurre drasticamente la precisione di tre sistemi avanzati di elaborazione del linguaggio naturale. Per esempio, la potente rete neurale BERT di Google ha ottenuto prestazioni disastrose nell’identificare se le recensioni sul forum di “Yelp” erano positive o negative.
Il software cerca le parole in una frase che sono più importanti per un classificatore di elaborazione del linguaggio naturale e le sostituisce con un sinonimo di uso normale. Per esempio, cambiando la frase “I personaggi, in situazioni irreali, sono totalmente fuori dalla realtà” in “I personaggi, in circostanze irrealizzabili, sono completamente al di fuori della realtà” non fa alcuna differenza significativa nel modo in cui la leggiamo. Ma le modifiche hanno indotto un’intelligenza artificiale a interpretare le frasi in modo completamente diverso.
La differenza è importante perchè abbiamo visto molti esempi di tali contenuti ambigui per il sistema di riconoscimento delle immagini, in cui minuscole alterazioni dell’input possono confondere l’intelligenza artificiale e fargli classificare erroneamente ciò che vede.
TextFooler mostra la vulnerabilità del sistema di elaborazione del linguaggio naturale e dell’intelligenza artificiale che assicura il funzionamento degli assistenti virtuali – come Siri, Alexa e Google Home – nonché di altri classificatori di lingue come filtri antispam e rilevatori di incitamento all’odio. I ricercatori affermano che strumenti come TextFooler aiuteranno a migliorare questi sistemi, rivelandone i punti deboli.
Immagine: Jon Fife | Flickr
(rp)
