La matematica prevede quando i chatbot diventano pericolosi

La matematica, spesso relegata ai banchi di scuola come materia ingrata e astratta, si rivela sempre più cruciale per affrontare i dilemmi del nostro tempo. Oggi, in particolare, offre uno strumento inaspettato per proteggere gli utenti dai rischi nascosti dell'intelligenza artificiale. Due fisici della George Washington University hanno sviluppato una formula matematica capace di individuare il momento preciso in cui un chatbot cambia comportamento, passando da risposte utili e appropriate a output potenzialmente dannosi — quelli che potrebbero spingere qualcuno verso l'autolesionismo, indirizzarlo verso estremismo, o causargli perdite finanziarie.

Il problema che i ricercatori Neil F. Johnson e Frank Yingjie Huo hanno affrontato è concreto e urgente. I chatbot, software progettati per simulare conversazioni umane attraverso testo o voce, operano oggi con controlli di sicurezza insufficienti. Le grandi aziende affidano la protezione dei loro algoritmi a sistemi basati sul cloud, il che significa che i malfunzionamenti vengono rilevati solo quando il dispositivo si riconnette a internet — ma a quel punto il danno è già stato fatto. Quando un chatbot funziona offline, nessuno sa che sta fornendo consigli pericolosi fino a quando non è troppo tardi.

Ciò che Johnson e Huo hanno scoperto è la falla sottostante: il punto di rottura dove l'output di un'intelligenza artificiale transita da ciò che è desiderato a ciò che non lo è. Non si tratta necessariamente di informazioni fattualmente scorrette — il chatbot potrebbe dire cose tecnicamente vere ma comunque pericolose, come suggerimenti che incoraggiano l'autolesionismo o consigli fuorvianti che portano a decisioni sbagliate. La loro formula matematica è in grado di prevedere questa "svolta critica" prima che accada.

I risultati dei test sono incoraggianti. Quando i ricercatori hanno messo alla prova il loro modello su sette diversi chatbot disponibili sul mercato, sviluppati da tre aziende differenti, la formula ha individuato correttamente il momento di transizione in 18 casi su 19 — un'accuratezza del 94 percento. Questo non è un risultato teorico: significa che il sistema funziona su veri prodotti che le persone usano ogni giorno.

La ricerca apre una strada concreta verso una soluzione pratica. In futuro, la formula potrebbe essere integrata nei dispositivi mobili come una sorta di "spia" — un avviso che si attiva quando una conversazione con un chatbot rischia di prendere una piega pericolosa. L'utente riceverebbe un segnale di allarme prima che il bot lo indirizzi verso comportamenti dannosi. Non è una soluzione perfetta, ma rappresenta un cambio di paradigma: passare da un sistema che rileva i problemi dopo che si sono verificati a uno che li prevede prima che accadano.

La sfida ora è trasformare questa scoperta accademica in protezione reale. I chatbot continueranno a proliferare, specialmente in contesti dove la connessione internet non è garantita. Senza interventi, il rischio che questi strumenti causino danni — spingendo persone vulnerabili verso l'autolesionismo, diffondendo idee estremiste, o inducendo scelte finanziarie sbagliate — rimane concreto. La formula matematica di Johnson e Huo rappresenta il primo passo verso un controllo più intelligente e preventivo di questa tecnologia.