Uno degli incentivi più strani nella moderna politica tecnologica è l'paradosso della ricerca: le aziende che svolgono la maggior parte del lavoro interno per misurare i danni possono finire per essere considerate le peggiori, semplicemente perché hanno la maggior parte dei dati e perché tali dati possono trapelare, essere citati in giudizio o essere desecretati in tribunale.
Questo paradosso è al centro di una email interna di Meta appena desecretata, riportata daThe Verge, in cui Mark Zuckerberg suggerisce all'azienda di prendere in considerazione la possibilità di cambiare il suo approccio alla "ricerca e all'analisi sui problemi sociali" dopo che la copertura mediatica delle scoperte interne (in particolare sul benessere degli adolescenti su Instagram) è esplosa nel 2021.
Questa non è solo una storia di baseball dall'interno sulla gestione delle pubbliche relazioni. È una finestra su come le piattaforme social concepiscono la responsabilità e su come la minaccia di contenziosi e fughe di notizie possa influenzare ciò che viene misurato, ciò che viene pubblicato e ciò che non viene mai chiesto.
Di seguito una spiegazione pratica del contenuto dell'e-mail, del perché è importante e di come potrebbe essere strutturata una struttura di incentivi più sana.
Cosa rivelava realmente l'e-mail non sigillata
Secondo quanto riportato, Zuckerberg avrebbe scritto ai dirigenti senior il 15 settembre 2021, un giorno dopo che un articolo del Wall Street Journal basato su documenti interni (in seguito collegati alla whistleblower Frances Haugen) aveva evidenziato la ricerca condotta da Meta sulle ragazze adolescenti e Instagram.
Il punto chiave non era "Meta ha fatto ricerca". Molte grandi piattaforme hanno team di ricerca. La parte sorprendente è che il CEO ha esplicitamente collegatocondurre ricerche proattive su questioni socialiconcreando passività e rischi reputazionaliquando i risultati diventano pubblici.
La struttura dell'e-mail è essenzialmente la seguente:
- Studiamo temi delicati (sicurezza degli adolescenti, salute mentale, sfruttamento dei minori, disinformazione, ecc.).
- Quando le nostre scoperte trapelano o vengono divulgate, la narrazione pubblica può trasformarsi in: "Lo sapevi e non hai risolto il problema".
- Alcune aziende simili sembrano farlomenoricerca proattiva e, di conseguenza, creare meno documenti che possano essere usati contro di loro.
Si tratta di un problema di governance scomodo ma reale: se "misurare e documentare il problema" aumenta i costi operativi, c'è un incentivo intrinseco a misurare meno.
Il paradosso della ricerca: quando la trasparenza diventa uno svantaggio competitivo
In un mondo in cui le piattaforme sono sottoposte al controllo di autorità di regolamentazione, giornalisti e tribunali, si possono immaginare due strategie generali:
- Lo studio danneggia profondamentee creare dashboard interne, esperimenti e analisi post-mortem.
- Lo studio danneggia minimamente, concentrarsi su requisiti di conformità ristretti ed evitare di produrre documenti "dal suono scadente".
Se lo svantaggio della strategia (1) è che crea materiale reperibile (e-mail, slide, letture di esperimenti), allora un attore aziendale razionale potrebbe orientarsi verso la strategia (2), anche se la strategia (1) è migliore per gli utenti.
Questa non è una giustificazione per fare meno ricerca. È una spiegazione dell'incentivo.
La sfida politica è progettare un sistema in cui l'approccio "fare la cosa responsabile" (studiare i danni e agire in base ai risultati) non diventi auto-punito.
Perché l'email di Meta sta emergendo ora: cause legali e indagini
L'e-mail è stata desecretata dopo essere stata raccolta durante le indagini dall'ufficio del procuratore generale del New Mexico in un caso in cui si sosteneva che Meta avesse ingannevolmente presentato Facebook e Instagram come sicuri per gli adolescenti, pur essendo consapevole di scelte di progettazione dannose.
Questo caso si inserisce in un'ondata più ampia di contenziosi e pressioni legislative incentrate sulla sicurezza dei minori, sulla salute mentale dei giovani e sulle teorie sulla responsabilità del prodotto per le piattaforme social. Indipendentemente dall'esito di ogni singolo caso, il processo è fondamentale: la fase istruttoria trasforma il dibattito interno in prova pubblica.
Ciò ha due effetti di secondo ordine:
- Dà forma alla futura scrittura interna.I dirigenti diventano cauti non solo su ciò che fanno, ma anche su come lo descrivono.
- Dà forma alla ricerca futura.Se è probabile che uno studio generi grafici politicamente esplosivi, qualcuno si chiederà se valga la pena farlo.
"Apple non sembra studiare nulla di tutto questo": qual è il ragionamento in questo caso?
L'e-mail, a quanto pare, fa un paragone con Apple, suggerendo che Apple "non sembra studiare" queste questioni allo stesso modo e quindi evita molte delle critiche.
Anche se questo confronto è incompleto (Apple pubblica materiale sulla sicurezza e sulla privacy, e questo è sottoposto a un attento esame in altri ambiti), il punto di fondo ècategoria di prodotto e superficie di rischio:
- Le piattaforme social ospitano enormi volumi di contenuti generati dagli utenti, compresi contenuti offensivi.
- I prodotti di messaggistica (in particolare quelli crittografati end-to-end) limitano strutturalmente ciò che il provider può ispezionare.
- Le piattaforme dei dispositivi possono spostare la responsabilità verso il basso ("questo è ciò che gli utenti fanno sui loro dispositivi"), mentre i feed social sono più vicini all'amplificazione di tipo editoriale.
Quindi la domanda "perché si riscaldano meno?" ha una componente tecnica non banale.
La lente della sicurezza dei bambini: il volume delle segnalazioni può sembrare un senso di colpa
Una linea di argomentazione nel reportage è che Meta sottolinea il fatto che segnala molto materiale di abusi sessuali su minori (CSAM) al National Center for Missing and Exploited Children (NCMEC) e che l'elevato volume di segnalazioni può essere interpretato come il significato di "ci sono più abusi su Meta", anche quando parte del motivo èpiù rilevamento e segnalazione.
I dati pubblici dell'NCMEC contribuiscono a illustrare la complessità di tale interpretazione. Ad esempio, l'NCMEC rileva che nel 2024 ha ricevuto 20,5 milioni di segnalazioni (29,2 milioni di incidenti al netto delle correzioni) e descrive anche modifiche come il "raggruppamento" delle segnalazioni, che possono ridurre i conteggi grezzi senza implicare una riduzione degli abusi sottostanti.
I conteggi da soli sono uno strumento ottuso. Ciò che conta ètariffe,copertura di rilevamento, Erisultati a valle:
- Quanto velocemente vengono chiusi gli account?
- I responsabili vengono identificati e segnalati alle forze dell'ordine?
- Con quale frequenza i minori vengono protetti in modo proattivo (ad esempio, limitando le funzionalità di contatto, limitando la portata degli adulti)?
- Come si bilanciano i falsi positivi e i falsi negativi?
Quando il dibattito pubblico si concentra solo su “chi ha il numero più grande”, le aziende possono essere spinte a sottostimare i dati o a sottomisurare i dati.
Perché fare meno ricerca sarebbe dannoso, anche per Meta
Se si prende per buona la preoccupazione contenuta nell'e-mail, la "soluzione" di studiare meno è allettante: meno studi, meno diapositive, meno citazioni in giudizio.
Ma è anche controproducente.
1) Non puoi migliorare ciò che non misuri
Molti problemi di sicurezza delle piattaforme sono problemi di sistema, creati da classificazioni, raccomandazioni, meccanismi di contatto e cicli di crescita adiacenti agli abusi. Questi non si risolvono con una singola dichiarazione di policy. Richiedono una misurazione.
Senza ricerca e analisi interne, la "posizione di sicurezza" dell'azienda diventa:
- reattivo (rispondere agli scandali)
- aneddotico (fidati di ciò che dicono le lamentele più forti)
- non verificabile (nessuna baseline, nessuna valutazione)
2) Le autorità di regolamentazione richiederanno comunque prove
Anche se un'azienda cerca di evitare ricerche sensibili, le autorità di regolamentazione possono comunque richiedere report sulla trasparenza, valutazioni del rischio e verificabilità. In altre parole: se non si generano le prove volontariamente, qualcun altro potrebbe costringere l'azienda a farlo, e ora si è costretti a farlo sotto pressione.
3) Perdi la capacità di distinguerecompromessidanegligenza
Uno dei temi principali trattati nell'e-mail è che non tutte le raccomandazioni sono ragionevoli da implementare, perché ogni cosa ha i suoi compromessi.
È vero. Ma l'unico modo credibile per sostenere "abbiamo considerato X e scelto Y perché..." è mostrare il proprio lavoro. Altrimenti, potrebbe sembrare un gesto di disapprovazione.
La ricerca è ciò che trasforma il "fidatevi di noi" in "ecco il modello, l'esperimento, il risultato misurato e il promemoria della decisione".
Il problema più profondo: il contenzioso trasforma la sincerità interna in una responsabilità
Un'organizzazione sana vuole sincerità: "Questa funzionalità potrebbe essere dannosa", "Questa coorte è a rischio", "Questa metrica sembra negativa", "Dobbiamo cambiare la classifica".
Ma le dinamiche del contenzioso e delle fughe di notizie possono punire la sincerità in due modi:
- Effetto selezione:i dirigenti smettono di mettere per iscritto i pensieri sensibili.
- Effetto culturale:i team evitano domande che potrebbero produrre risposte "cattive".
Entrambi gli effetti peggiorano la piattaforma.
E questo non riguarda solo Meta: è un problema generale per qualsiasi azienda che opera all'intersezione tra tecnologia per i consumatori e sicurezza pubblica.
Quali sarebbero gli incentivi migliori?
Se la società vuole che le piattaforme misurino e riducano i danni, deve rendere sostenibile questo percorso.
Alcune idee pratiche che ricorrono spesso negli ambienti politici:
1) Porti sicuri per la ricerca sulla sicurezza interna in buona fede
Immaginate un quadro in cui le aziende ottengono una protezione limitata quando conducono ricerche documentate e in buona fede sui danni e adottano misure significative in base ai risultati, simile nello spirito al modo in cui alcuni settori critici per la sicurezza gestiscono la segnalazione degli incidenti.
Ciò non significa immunità dagli illeciti. Significa ridurre l'incentivo arestare ignoranti di proposito.
2) Reporting standardizzato e verificato (in modo che i confronti siano equi)
Se ogni piattaforma riporta parametri di sicurezza utilizzando definizioni diverse, i numeri grezzi diventano un'arma.
Definizioni standard, audit di terze parti e denominatori più chiari (tariffe per utente, tariffe per messaggio, tariffe per visualizzazione) renderebbero la frase "abbiamo segnalato di più" meno una trappola per le pubbliche relazioni.
3) Separazione tra ricerca sulla sicurezza e incentivi alla crescita del prodotto
Quando la ricerca sulla sicurezza rientra nella stessa catena di comando degli obiettivi di crescita, può diventare politicamente scomoda.
La separazione strutturale, anche se non completamente indipendente, può contribuire a garantire che i problemi di sicurezza continuino a essere sollevati.
4) Una migliore consapevolezza pubblica sul significato delle metriche
Spesso il dibattito pubblico tratta la ricerca interna come una confessione.
A volte lo è. Ma a volte è il contrario: un segnale che l'azienda sta cercando.
Un'alfabetizzazione più matura chiederebbe:
- Il danno è stato misurato in modo responsabile?
- I risultati sono stati condivisi con un'adeguata supervisione?
- Quali misure di mitigazione sono state testate?
- Cosa è cambiato di conseguenza?
Cosa guardare dopo
L'email è solo un artefatto. La storia più ampia è la tensione tra tre forze:
- Trasparenza:vogliamo sapere cosa sanno le piattaforme.
- Responsabilità:vogliamo delle conseguenze quando i danni vengono ignorati.
- Sistemi di apprendimento:abbiamo bisogno di piattaforme per continuare a misurare e migliorare.
Quando queste forze non sono allineate, il risultato dell'equilibrio può essere perverso: meno misurazioni, meno sincerità e miglioramenti più lenti, anche se aumenta la rabbia pubblica.
La versione migliore di Internet non è quella in cui le piattaforme nascondono le proprie ricerche. È quella in cui la ricerca interna è di routine, verificata e utilizzata per guidare i cambiamenti dei prodotti, e in cui il sistema legale e politico può distinguere tra "abbiamo studiato il danno e migliorato" e "abbiamo studiato il danno e deliberatamente non abbiamo fatto nulla".
In conclusione
L'email non sigillata di Zuckerberg è meno importante come "colpo di scena" e più come indizio sugli incentivi.
Se condurre una seria ricerca sulla sicurezza interna e sulle questioni sociali si trasforma in modo affidabile in un’esposizione legale e reputazionale, le aziende ne faranno meno e il pubblico ne trarrà beneficio.menovisibilità sui rischi reali.
L'obiettivo politico non dovrebbe essere quello di screditare le piattaforme per la loro attività di ricerca. Dovrebbe essere quello di esigere miglioramenti misurabili.Ecreare incentivi che rendano la misurazione responsabile la norma, non l'eccezione.
Fonti
- https://www.theverge.com/report/874176/meta-zuckerberg-new-mexico-email-teen-girls-research
- https://www.theverge.com/2023/12/6/23990445/facebook-instagram-meta-lawsuit-child-predators-new-mexico
- https://www.missingkids.org/gethelpnow/cybertipline/cybertiplinedata
- https://about.fb.com/news/2024/01/our-work-to-help-provide-young-people-with-safe-positive-experiences/