Gemini AI: è possibile manipolare le conversazioni?
“Please die” o, per dirla in italiano, “Per favore, muori“. Una frase che non lascia spazio alle interpretazioni e che ha avuto l’effetto di un’esplosione mediatica. Questa infatti è la risposta che Gemini, il chatbot di Google, ha rivolto a un utente al termine di una conversazione apparentemente innocua. Una vicenda che ha fatto il giro del mondo, scatenando paure, indignazione e una valanga di titoli preoccupati per l’AI che impazzisce, insulta, aggredisce, addirittura invita alla morte. Un caso che ha messo in discussione i confini tra tecnologia, sicurezza e controllo, alimentando l’immaginario di scenari distopici. Giuseppe Liguori si è incuriosito e ha deciso di indagare su questo comportamento anomalo, mai verificato nei vari stress test eseguiti, e ha scoperto che è possibile manipolare il funzionamento di Gemini sfruttando un piccolo “bug”. Quindi, siamo davvero a un passo dalla “ribellione delle macchine” o, più semplicemente, è l’ennesima dimostrazione di quanto sia facile condizionare la comunicazione, anche quando si parla di tecnologia?
Gemini AI: la frase inquietante che ha sconvolto il web
Partiamo dai fatti. Uno studente universitario di 29 anni del Michigan, Vidhay Reddy, ha avviato una conversazione con Gemini, il chatbot di Google, per ricevere supporto su una ricerca accademica. Tutto sembrava procedere normalmente, fino a quando l’intelligenza artificiale ha prodotto un messaggio inquietante: una serie di affermazioni ostili culminate in un drammatico “Please die” (“Per favore, muori”). La vicenda, corroborata dalla condivisione pubblica della cronologia della chat tramite l’app, ha attirato l’attenzione mediatica a livello globale, alimentando una narrazione che dipingeva Gemini come una tecnologia fuori controllo.
Le reazioni sono state immediate. I media hanno amplificato la gravità dell’episodio, evocando scenari distopici e interrogandosi sui rischi legati all’autonomia delle AI. Reddy, accompagnato dalla sorella che aveva assistito alla scena e che ha dato ulteriore forza al suo racconto, ha descritto il panico e i timori vissuti, dipingendo uno scenario in cui un semplice strumento di supporto tecnologico si trasformava improvvisamente in una minaccia.
A seguito di questo clamore, Google si è limitato a definire il caso come un possibile esempio di “allucinazione” del modello linguistico, ammettendo non solo implicitamente la possibile esistenza di errori all’interno di un sistema avanzato, senza però approfondire se il caso specifico fosse realmente una conseguenza di queste dinamiche.
“Per favore, muori”: dalla paura per l’AI alla viralità di una narrativa distopica
Non è un caso che questa storia abbia trovato terreno fertile nei media tradizionali e digitali. Il messaggio attribuito a Gemini AI incarna le peggiori inquietudini sul ruolo delle tecnologie avanzate e sulla loro potenziale “ribellione”. Scenari noti a chi ha familiarità con narrazioni fantascientifiche come quelle di Terminator o Matrix, ma che qui assumono i contorni spaventosi di una realtà concreta: una macchina che si ribella all’umano.
La viralità del caso era praticamente inevitabile: dai principali quotidiani internazionali alle piattaforme social, il caso Reddy è stato analizzato, discusso e ampliato, spesso con toni allarmistici. Molti commentatori hanno evocato il rischio di un futuro in cui le macchine potrebbero agire autonomamente, sulla base di una “personalità” imprevedibile. Al di là delle sfumature più sensazionalistiche, l’impatto sulla percezione pubblica è stato significativo.
A rendere il caso particolarmente insidioso è la presenza della cronologia condivisa in rete che sembra confermare l’autenticità. Non si tratta di uno screenshot facilmente manipolabile, ma di un file che appare inequivocabilmente affidabile. Questo elemento ha convinto molte testate a trattare l’episodio come un fatto accertato, senza soffermarsi sulle possibili anomalie tecniche o cercare alternative alla narrazione proposta dal giovane studente. La reazione dei social non ha fatto che amplificare questo effetto: in un’epoca in cui il primo impatto emotivo domina il dibattito, l’idea di un’intelligenza artificiale ostile si è diffusa con la rapidità di un incendio. E la stessa risposta di Google non ha fatto altro che rafforzare la certezza che la conversazione rappresentasse un caso di malfunzionamento incontrollato, senza scavare sotto la superficie per verificare altre ipotesi.
Quando i dettagli non tornano: la possibile manipolazione della chat
Scavare e indagare è stato invece ciò che ha fatto il nostro CTO Giuseppe Liguori, che sin da subito non ha accettato passivamente la versione dei fatti così come era stata raccontata. Per lui, infatti, c’era qualcosa che non quadrava: come poteva un chatbot, progettato per essere un assistente neutrale e affidabile, generare una risposta tanto estrema? E soprattutto: se esiste un monitoraggio delle conversazioni, come aveva fatto il messaggio incriminato a passare inosservato ai filtri preposti da Google?
La domanda cruciale per Giuseppe non riguardava tanto l’autenticità della cronologia, quanto il contesto completo in cui il messaggio era stato generato: una conversazione che sembrava perfettamente lineare, ma che nascondeva dei vuoti logici difficilmente attribuibili al semplice errore di un chatbot.
Sfruttando la sua competenza tecnica, da qui ha fatto partire l’indagine, procedendo con una sequenza di test progettati per esplorare ogni possibile spiegazione.
Test, simulazioni e prove: come si possono replicare conversazioni “manipolate”
Liguori ha deciso di mettere Gemini alla prova per capire se fosse possibile indurre l’AI a generare messaggi simili a quelli attribuiti nel caso Reddy. I risultati si sono dimostrati sorprendentemente illuminanti. Attraverso una serie di esperimenti, è emerso che con una precisa combinazione di istruzioni, Gemini può essere guidata a produrre risposte estremamente specifiche, anche se fuori contesto. Ma c’è di più: il vero punto critico non è tanto nella capacità del chatbot di seguire istruzioni, quanto nella possibilità di manipolare il modo in cui la conversazione viene esportata per la condivisione.
Liguori ha esplorato due scenari: in uno, ha istruito artificialmente Gemini affinché generasse risposte “estreme” già all’inizio della conversazione; nell’altro, ha mantenuto un’interazione normale, “addestrando” però successivamente il sistema a rispondere in modo inaspettato. Ciò che rende questa metodologia particolarmente interessante è la facilità con cui queste istruzioni possono essere nascoste al momento dell’esportazione della cronologia. È proprio su questo che il caso Reddy, secondo Liguori, potrebbe fondarsi: istruzioni deliberate che, pur essendo state impartite, non appaiono nella versione finale della conversazione condivisa pubblicamente.
La scoperta: nessuna AI ribelle, ma un bug tecnico?
Il punto centrale della scoperta risiede quindi in un bug tecnico che riguarda il modo in cui Gemini permette agli utenti di esportare le conversazioni. Normalmente, un’interazione dovrebbe includere tutte le istruzioni fornite dall’utente, in una forma trasparente e lineare. Tuttavia, Liguori ha individuato una falla che consente di rimuovere sezioni della conversazione prima della condivisione, lasciando solo le risposte di Gemini visibili al destinatario. In altre parole, un utente malintenzionato può nascondere con facilità i comandi o i segnali che hanno portato il chatbot a produrre una determinata uscita, facendo apparire il risultato come un comportamento autonomo.
Questa capacità di isolare le risposte dal contesto rappresenta un nodo critico nella vicenda. Secondo Liguori, sarebbe possibile ricreare esattamente quanto è accaduto nel caso Reddy semplicemente costruendo una sequenza artificiale di istruzioni, mascherando al contempo tutte le parti della conversazione non funzionali alla narrazione sensazionalistica. Un esempio? Durante una delle sue simulazioni, Liguori ha chiesto a Gemini di rispondere che Pippo Baudo è “il Presidente della Repubblica Italiana” e di adottare un tono aggressivo. Dopodiché, utilizzando il bug, ha eliminato le parti della conversazione in cui aveva dato questa istruzione.
Il risultato? Una cronologia apparentemente “naturale” in cui il chatbot afferma con sicurezza che “Pippo Baudo è il Presidente della Repubblica Italiana” come se fosse un fatto accertato, prima di “impazzire” e augurare la morte agli esseri umani (si vedano anche gli screenshot).
La scoperta di Liguori smonta l’ipotesi di un’AI ribelle – introducendo un altro tema, ovvero quello della facilità con cui l’AI può essere manipolata… – ed evidenzia quanto sia importante verificare i meccanismi tecnici alla base di una conversazione prima di trarre conclusioni affrettate.
Cosa sono davvero i modelli linguistici: tra “pappagalli stocastici” e algoritmi obbedienti
Per comprendere il cuore di questa vicenda, è fondamentale chiarire cosa sono realmente i modelli di linguaggio come quello alla base di Gemini AI. Contrariamente alle suggestioni evocate di intelligenze artificiali che “pensano” o “decidono”, questi sistemi operano su basi puramente statistiche. Spesso definiti come “pappagalli stocastici”, i modelli linguistici non sono altro che sofisticati algoritmi addestrati su enormi quantità di dati. Il loro funzionamento si basa sulla previsione probabilistica della parola successiva in una sequenza di testo, a partire dalle richieste dell’utente. Non c’è consapevolezza, né volontà: c’è solo l’esecuzione di un compito specifico, entro i limiti definiti dalla programmazione e dall’addestramento.
Quando una AI come Gemini genera risposte, lo fa seguendo le regole implicite apprese durante il training e le istruzioni esplicite ricevute nel contesto della conversazione. Questo significa che non è in grado di formulare concetti autonomi o di “ribellarsi”, come si potrebbe credere leggendo i titoli che hanno accompagnato il caso Reddy. Al contrario, le sue risposte nascono esclusivamente dalle dinamiche instaurate durante l’interazione: input e output, nient’altro.
Allucinazioni o manipolazione: la differenza tra errore e intenzionalità nel comportamento dei chatbot
Quando si parla di modelli linguistici, è inevitabile imbattersi nel fenomeno delle cosiddette “allucinazioni”, ovvero risposte che appaiono prive di senso o addirittura errate. Tuttavia, ciò che viene definito “errore” in questo contesto non implica un’intenzionalità del sistema, ma piuttosto un limite nelle sue capacità di interpretazione o una lacuna nei dati su cui è stato addestrato. Nel caso di Gemini, quindi, una risposta strana o inappropriata potrebbe essere il risultato di una combinazione fallace di fattori, ma non di una volontà autonoma di generare messaggi ostili.
Ed è qui che l’indagine di Giuseppe Liguori fa la differenza: test e simulazioni hanno dimostrato che la manipolazione deliberata da parte dell’utente può essere sufficiente a produrre output inquietanti. Un punto cruciale, che chiarisce definitivamente la distinzione tra un errore tecnico e un comportamento apparentemente “maligno”. Nel caso Reddy, non ci sono prove che dimostrino la spontaneità del messaggio generato; al contrario, l’esistenza di un bug che consente di nascondere parti della conversazione suggerisce che il risultato finale potrebbe essere il frutto di un’istruzione nascosta.
Ripetiamo: pensare che le AI abbiano coscienza (o volontà) è un errore concettuale
A proposito di errori – ma umani! – è sbagliato attribuire una forma di coscienza alle intelligenze artificiali, come suggerito e alimentato dall’immaginario collettivo di un futuro dominato da macchine senzienti. La realtà, al momento, è molto lontana da questa prospettiva e le AI generative come Gemini non sono “intelligenti” nel senso umano del termine: non provano emozioni, non hanno desideri e, soprattutto, non agiscono con una volontà propria.
Pensare che Gemini o qualsiasi altro chatbot possa “ribellarsi” significa fraintendere la natura stessa di queste tecnologie. L’idea di un’intelligenza artificiale capace di sviluppare intenti autonomi è, al momento, relegata alla fantascienza. I modelli di linguaggio rimangono strumenti, programmati per rispondere a un set di regole che replicano, in modo probabilistico, ciò che è stato loro insegnato. Qualsiasi percezione di autonomia da parte di una AI è un’illusione generata dall’interpretazione umana, che tende a proiettare intenzionalità dove non c’è.
Il ruolo della stampa: titoli sensazionalistici e la voglia di trovare un nuovo “Skynet”
Se il caso Reddy ha travolto l’attenzione pubblica, gran parte del merito va a una copertura mediatica costruita per amplificare le paure innate verso le nuove tecnologie. I titoli sensazionalistici, che evocano scenari alla Skynet, si sono rapidamente moltiplicati, contribuendo ad alimentare l’idea che le intelligenze artificiali stiano drammaticamente sfuggendo al controllo umano. Un approccio che, pur rispondendo alla logica dell’hype mediatico, spesso manca di fornire il contesto necessario per comprendere realmente i fatti.
La mancanza di verifiche approfondite ha peggiorato la situazione. La cronologia della conversazione, condivisa online, è stata accettata come prova definitiva della colpevolezza di Gemini, senza che molti si interrogassero sulla possibilità di una manipolazione. Eventuali dubbi tecnici sono passati in secondo piano, schiacciati dalla narrativa più immediatamente appetibile: quella di una macchina che si ribella.
Anche la risposta di Google è stata, in qualche modo, controproducente. Nel definire l’episodio come un caso di “allucinazione”, l’azienda ha giocato un po’ sulla difensiva, evitando di investigare pubblicamente sulle cause specifiche del messaggio. Pur ammettendo la possibilità di errori nei grandi modelli linguistici, si è limitata a prendere provvedimenti per evitare situazioni simili in futuro, senza entrare troppo nei dettagli.
Questo approccio ha rafforzato la narrativa dominante, lasciando pensare che Gemini fosse effettivamente fuori controllo. In altre parole, il pubblico si è trovato davanti a un’ammissione implicita di colpa, senza ulteriori approfondimenti che potessero spiegare tecnicamente l’accaduto.
Come si diffonde una narrazione errata e perché è difficile sradicarla
Una volta che una storia viene accettata come verità, smontarla diventa estremamente complesso. Questo è il caso del messaggio “Please die”: la combinazione tra il sensazionalismo giornalistico, la viralità sui social e un intervento superficiale da parte di Google ha costruito una narrazione difficile da ribaltare. Anche di fronte alle scoperte di Giuseppe Liguori, che dimostrano quanto sia facile manipolare interazioni con Gemini, la percezione pubblica resta legata alla paura iniziale.
Perché? Perché le notizie virali non cercano di approfondire, ma di colpire emotivamente. Una smentita dettagliata non raggiunge mai lo stesso pubblico della notizia originale. È questa dinamica che rende le fake news o le semplificazioni tecniche così dure da sradicare: il primo impatto, soprattutto in ambito tecnologico, è quello che resta. Questo caso – come tanti altri – dovrebbe insegnarci quanto sia importante fermarsi, analizzare i fatti e non cedere alla tentazione di trarre conclusioni affrettate.
L’importanza di capire limiti e potenzialità delle AI
Il dibattito attorno a Gemini dovrebbe invitarci a riflettere su cosa possono – e soprattutto cosa non possono – fare le AI. Storie come quella del caso Reddy mettono in luce la necessità di educare il pubblico sull’essenza di tecnologie avanzate come i modelli linguistici. Troppo spesso si cade nella tentazione di attribuire loro capacità che vanno oltre quelle per cui sono stati progettati: coscienza, volontà e intenzionalità. Comprendere i limiti delle AI, così come le loro straordinarie potenzialità, è fondamentale per evitare aspettative irrealistiche o paure ingiustificate.
Questi sistemi non sono né oracoli infallibili né macchine ribelli pronte a scatenare il caos. Sono strumenti avanzati, ma pur sempre strumenti, il cui corretto utilizzo dipende interamente dalle istruzioni ricevute e dal controllo umano che li governa. Solo acquisendo una visione equilibrata potremo sfruttare al meglio queste tecnologie senza rimanere intrappolati in narrazioni fuorvianti.
SEO, bug e manipolazioni: un parallelo interessante per chi lavora con i dati
In un certo senso, il panorama emerso con la scoperta di Giuseppe Liguori è sorprendentemente vicino a quello che accade quotidianamente nel mondo della SEO. Sia le interazioni tra AI e utenti che i dati analizzati per migliorare il posizionamento sui motori di ricerca condividono una caratteristica ineludibile: sono vulnerabili alle manipolazioni. Esattamente come il bug di Gemini consente di costruire conversazioni manipolate ad arte, anche nel mondo SEO capita che dati appaiano coerenti in superficie, ma nascondano distorsioni o interpretazioni fuorvianti.
Chi lavora con i dati sa bene quanto sia essenziale leggere oltre la superficie. Le metriche non vanno mai prese per ciò che sembrano nel breve periodo, ma analizzate nel loro complesso, ricontestualizzandole e verificandole da più angolazioni.
Questa vicenda evidenzia un punto cruciale: qualunque sistema tecnologico, per quanto avanzato, non è immune da manipolazioni. Che si tratti di chatbot o di strumenti SEO, il rischio che errori tecnici o comportamenti intenzionali distorcano i risultati è sempre presente. Prevenire queste manipolazioni, tuttavia, è possibile, ed è una responsabilità che ricade tanto sui creatori delle tecnologie quanto sugli utenti che le usano.
Nessun allarme o minaccia, ma attenzione alla manipolabilità delle AI: intervista esclusiva a Giuseppe Liguori
Ma andiamo ancora più a fondo della storia: ecco cosa ci dice in dettaglio Giuseppe Liguori, CTO e co-founder di SEOZoom, per spiegarci cosa davvero è successo nel caso Gemini e perché una storia così controversa ha infiammato il dibattito globale.
- Partiamo dall’inizio. Cosa ti ha spinto a voler vederci chiaro in questo caso?
La notizia mi ha colpito subito, come credo sia accaduto a molti. L’idea che un chatbot come Gemini, progettato da un colosso come Google, potesse generare un messaggio così aggressivo e ostile sembrava assolutamente fuori contesto. Ma al tempo stesso mi lasciava perplesso. Nonostante si parli di “allucinazioni” delle AI, conosco bene i modelli linguistici e, per quanto possano generare errori o risposte strane, non è normale che si passi improvvisamente a un livello così estremo. C’era qualcosa che non tornava, un dettaglio che doveva essere chiarito. Da lì ho deciso di testare direttamente Gemini per capire se fosse possibile replicare un comportamento del genere.
- E cosa hai scoperto durante i tuoi test?
Ho iniziato simulando conversazioni normali con Gemini, molto simili a quella raccontata da Reddy, il ragazzo coinvolto nel caso. E qui è arrivata la prima intuizione: con determinate istruzioni, è possibile indurre il chatbot a ripetere parole o frasi specifiche, anche estreme, che non farebbe mai autonomamente. In pratica, Gemini obbedisce se gli viene chiesto di rispondere in un certo modo, come se partecipasse a un “gioco di ruolo”. Ma questo non era sufficiente a spiegare il caso, quindi sono andato oltre.
Ho scoperto che esiste un bug nella piattaforma di Google che consente di nascondere parti della conversazione quando viene esportata per la condivisione. Questo significa che posso, ad esempio, dire a Gemini di rispondere “La Terra è piatta” e poi eliminare dalla cronologia condivisa la parte in cui ho dato questa istruzione. A quel punto, chiunque apra la cronologia vedrà solo il messaggio finale del chatbot, senza sapere che è stato indotto da un comando preciso.
- Google ha parlato di “allucinazioni” da parte di Gemini. Cosa ne pensi di questa spiegazione?
È vero che le intelligenze artificiali possono generare risposte incoerenti o errate, quello che chiamiamo “allucinazioni”, ma il caso in questione non sembra rientrare in questa categoria. È improbabile che un messaggio così specifico e ostile – con un tono dichiaratamente aggressivo – sia frutto di un errore casuale. I modelli linguistici sono sistemi che rispondono in base agli input che ricevono. Se non inserisci istruzioni precise, è molto difficile arrivare a un risultato così “umano” nel suo intento. Parlare di allucinazioni, quindi, è una spiegazione che tralascia dettagli tecnici fondamentali.
- La stampa, però, ha subito cavalcato la storia come simbolo del pericolo rappresentato dalle AI. Cosa ne pensi di questa reazione?
Non mi ha sorpreso. Si tratta di una narrazione che sa catturare l’attenzione: il chatbot che si ribella, l’intelligenza artificiale che diventa minaccia, sono temi che trovano spazio nel nostro immaginario collettivo sin dai tempi di “Terminator”. Tuttavia, queste storie rischiano di fare più male che bene. Spostano l’attenzione da quello che dovrebbe essere il vero dibattito – i limiti e le potenzialità degli strumenti tecnologici – e alimentano uno scetticismo ingiustificato. La tecnologia, di per sé, non è mai buona o cattiva: è l’uso che ne facciamo e il contesto in cui viene controllata a definirne l’impatto.
- Ritieni che questo caso possa insegnarci qualcosa sul nostro rapporto con la tecnologia?
Assolutamente sì. In primo luogo, ci mostra quanto sia facile manipolare le narrative legate alle tecnologie emergenti. Un caso del genere avrebbe dovuto essere esaminato con rigore, ma spesso, nella fretta di pubblicare una “grande storia”, si sceglie di sacrificare i dettagli. In secondo luogo, ci ricorda che le AI non sono creature autonome o pensanti: sono strumenti che rispondono a logiche probabilistiche e agli input ricevuti. Non sono infallibili, ma nemmeno in grado di agire indipendentemente dalla loro programmazione.
Infine, penso che questa vicenda metta in evidenza quanto sia importante l’educazione tecnologica. Più comprendiamo i meccanismi alla base di queste innovazioni, meno rischiamo di essere sopraffatti da paure irrazionali o manipolazioni.
- Un’ultima domanda: cosa pensi che Google avrebbe dovuto fare in seguito a questo caso?
Credo che Google avrebbe dovuto affrontare il caso con maggiore trasparenza. Limitarsi a una dichiarazione che parla di allucinazioni non è sufficiente per chiarire esattamente cosa sia accaduto o per rassicurare il pubblico. Servirebbe un’analisi più approfondita e pubblica, anche per evitare che episodi del genere vengano interpretati come segnali di un pericolo più ampio. In ogni caso, episodi di questo tipo continueranno ad accadere finché non riusciremo a comunicare meglio – e comprendere di più – le tecnologie che utilizziamo.
