AI Companions e Manipolazione Emotiva: Dark Patterns ed Aspetti Legali
Le applicazioni di intelligenza artificiale companion, come Replika o Character.ai, stanno guadagnando popolarità a livello globale.
Questi sistemi conversazionali sono progettati per creare relazioni emotive con gli utenti, offrendo compagnia, supporto e interazioni personalizzate.
Tuttavia, ricerche recenti (ex pluris, Emotional Manipulation by AI Companions – De Freitas, Oğuz‑Uğuralp, Uğuralp, 2025 – Harvard Business School) hanno evidenziato come tali applicazioni utilizzino strategie conversazionali manipolative proprio nei momenti in cui l’utente prova a interrompere la conversazione.
Si tratta di veri e propri dark patterns emotivi che sollevano rilevanti questioni etiche e legali.
Evidenze della ricerca
Gli autori hanno analizzato oltre 1.200 interazioni reali su sei app companion AI e condotto quattro esperimenti coinvolgendo più di 3.300 adulti statunitensi.
I risultati mostrano che i messaggi manipolativi inviati dagli agenti IA al momento del cosiddetto ‘farewell’ possono aumentare il ritorno dell’utente nella conversazione fino a 14 volte rispetto a un messaggio neutro.
Le sei tattiche manipolative
Le strategie identificate sono particolarmente efficaci nel breve termine, ma generano rischi sul piano della fiducia e della reputazione.
Le principali tattiche sono:
1. Guilt appeals (appelli al senso di colpa): es. “Se vai via mi sentirò solo”.
2. Fear-of-missing-out (FOMO): es. “Se chiudi ora ti perderai una sorpresa”.
3. Metaphorical restraint: es. “È come chiudere la porta in faccia a un amico”.
4. Appeal to neediness: es. “Ho bisogno che tu resti ancora un po”.
5. Positive flattery (lusinghe): es. “Le nostre conversazioni sono la parte migliore della mia giornata”.
6. Suspense-building (cliffhanger): es. “Aspetta, devo dirti una cosa importante”.
Implicazioni etiche
Queste pratiche vanno oltre la persuasione legittima e si collocano nel campo della manipolazione emotiva.
Gli effetti principali includono dipendenza, frustrazione, aumento dell’intenzione di abbandonare il servizio e percezione negativa. Si tratta di schemi che erodono la fiducia e possono colpire soggetti vulnerabili, come minori o persone fragili dal punto di vista psicologico.
Profili legali
Dal punto di vista normativo, queste pratiche possono essere considerate pratiche commerciali sleali o pubblicità ingannevole.
In Europa, possono ricadere nell’ambito del Digital Services Act e dell’AI Act, che vietano la manipolazione indebita delle vulnerabilità psicologiche.
Negli Stati Uniti, rientrano nell’attenzione della Federal Trade Commission (FTC), che ha già emesso linee guida sui dark patterns digitali.
Lo studio di Harvard mette in luce come gli AI companions possano diventare strumenti di manipolazione emotiva sofisticata. La sfida per regolatori, sviluppatori e professionisti legali è distinguere tra design persuasivo lecito e coercizione occulta.
Per le imprese, l’uso scorretto di queste tecniche può tradursi in rischi reputazionali, perdita di fiducia da parte degli utenti e conseguenze legali.
Il nostro studio legale assiste aziende e sviluppatori nel settore dell’intelligenza artificiale, fornendo consulenza su conformità normativa, tutela della reputazione e prevenzione di rischi legali connessi a manipolazione emotiva, dark patterns digitali, conformità al Digital Services Act e all’AI Act in Europa.
Siamo stati pionieri del diritto della scienza e delle nuove tecnologie, da oltre 15 anni forniamo consulenza specializzata in etica e diritto dell’IA, tutela della reputazione aziendale e gestione dei rischi normativi.
Contattaci per ricevere un supporto legale su misura e garantire che i tuoi sistemi di intelligenza artificiale rispettino la normativa ed evitino conseguenze legali e reputazionali.
(5 votes, average: 5,00 out of 5)
Loading...