Jednou z podivnějších pobídek v moderní technologické politice jevýzkumný paradoxSpolečnosti, které odvádějí nejvíce interní práce na měření škod, mohou nakonec vypadat jako ti nejhorší aktéři, jednoduše proto, že mají nejvíce dat – a protože tato data mohou uniknout, být předvolána k soudu nebo odtajněna u soudu.
Tento paradox je ústředním bodem nově odpečetěného interního e-mailu Meta, o kterém informoval...The Verge, v němž Mark Zuckerberg navrhuje, aby společnost zvážila změnu svého přístupu k „výzkumu a analýzám v oblasti sociálních otázek“ poté, co se v roce 2021 rozšířilo mediální pokrytí interních zjištění (zejména ohledně blahobytu teenagerů na Instagramu).
Toto není jen příběh z baseballu o PR managementu. Je to okno do toho, jak sociální platformy přemýšlejí o odpovědnosti – a jak hrozba soudních sporů a úniků informací může ovlivnit to, co se měří, co se zveřejňuje a na co se nikdy neptáme.
Níže je uvedeno praktické vysvětlení toho, co e-mail obsahoval, proč je důležitý a jak by mohla vypadat zdravější struktura pobídek.
Co vlastně odhalil nezapečetěný e-mail
Podle zprávy Zuckerberg napsal vrcholovým manažerům 15. září 2021 – den poté, co článek ve Wall Street Journal založený na interních dokumentech (později spojených s informátorkou Frances Haugenovou) zdůraznil Metin vlastní výzkum o dospívajících dívkách a Instagramu.
Klíčovým bodem nebylo „Meta provedla výzkum“. Mnoho velkých platforem má výzkumné týmy. Pozoruhodné je, že generální ředitel to explicitně propojilprovádění proaktivního výzkumu sociálních problémůsvytváření závazků a rizik poškození reputacekdy se zjištění stanou veřejně dostupnými.
Rámec e-mailu je v podstatě:
- Zabýváme se citlivými tématy (bezpečnost teenagerů, duševní zdraví, zneužívání dětí, dezinformace atd.).
- Když naše zjištění uniknou nebo se o nich veřejně informuje, veřejný narativ se může změnit v: „Věděli jste to a neopravili jste to.“
- Zdá se, že některé srovnatelné společnosti to dělajíméněproaktivní výzkum – a proto vytvářejí méně dokumentů, které by proti nim mohly být použity.
To je nepříjemný, ale skutečný problém správy a řízení: pokud „měření a dokumentování problému“ zvyšuje provozní náklady, existuje vrozená motivace měřit méně.
Paradox výzkumu: kdy se transparentnost stane konkurenční nevýhodou
Ve světě, kde platformy kontrolují regulační orgány, novináři a soudy, si lze představit dvě obecné strategie:
- Studium hluboce škodía vytvářet interní dashboardy, experimenty a analýzy výsledků.
- Studium škodí minimálně, zaměřit se na úzké požadavky na dodržování předpisů a vyhnout se vytváření „špatně znějících“ dokumentů.
Pokud je nevýhodou strategie (1) to, že vytváří snadno objevitelný materiál – e-maily, prezentaci, záznamy z experimentů – pak se racionální korporátní aktér může přiklonit ke strategii (2), i když je strategie (1) pro uživatele lepší.
To není obhajoba menšího množství výzkumu. Je to vysvětlení pobídky.
Politickou výzvou je navrhnout systém, kde se přístup „dělat zodpovědně“ (studium škod a jednat na základě zjištění) nestane sebetrestným.
Proč se Metin e-mail objevuje právě teď: soudní spory a odhalení
E-mail byl odpečetěn poté, co jej získala kancelář generálního prokurátora Nového Mexika v případu, v němž společnost Meta tvrdila, že klamavě prezentovala Facebook a Instagram jako bezpečné pro teenagery, ačkoli si byla vědoma škodlivých designových voleb.
Tento případ se nachází vedle širší vlny soudních sporů a legislativního tlaku zaměřeného na bezpečnost dětí, duševní zdraví mládeže a teorie odpovědnosti za škodu způsobenou vadou výrobku na sociálních platformách. Bez ohledu na to, jak se kterýkoli jednotlivý případ vyvine, je důležitý proces: odhalení promění interní debatu ve veřejný důkaz.
To má dva účinky druhého řádu:
- Formuje budoucí interní psaní.Vedoucí pracovníci si dávají pozor nejen na to, co dělají, ale i na to, jak to popisují.
- Formuje budoucí výzkum.Pokud je pravděpodobné, že studie vygeneruje politicky explozivní grafy, někdo se zeptá, zda se vůbec vyplatí ji provádět.
„Zdá se, že Apple nic z toho nestuduje“: o co v tomto případě jde?
E-mail údajně obsahuje srovnání s Applem, což naznačuje, že Apple „zdá se, že tyto problémy nestuduje“ stejným způsobem, a proto se vyhýbá velké části kritiky.
I když je toto srovnání neúplné (Apple zveřejňuje materiály týkající se bezpečnosti a soukromí a čelí intenzivní kontrole v jiných oblastech), základní myšlenkou je...kategorie produktu a riziková plocha:
- Sociální platformy hostují obrovské množství obsahu generovaného uživateli, včetně urážlivého obsahu.
- Produkty pro zasílání zpráv (zejména ty s end-to-end šifrováním) strukturálně omezují, co může poskytovatel kontrolovat.
- Platformy zařízení mohou posouvat odpovědnost směrem dolů („toto dělají uživatelé na svých zařízeních“), zatímco sociální kanály se spíše blíží redakčnímu zesilování.
Takže otázka „proč se jim méně zahřívá?“ má netriviální technickou složku.
Optika bezpečnosti dětí: objem hlášení může vypadat jako vina
Jeden z argumentů v reportáži spočívá v tom, že Meta poukazuje na skutečnost, že Národnímu centru pro pohřešované a zneužívané děti (NCMEC) hlásí velké množství materiálu zobrazujícího sexuální zneužívání dětí (CSAM) – a že vysoký objem hlášení lze interpretovat jako „na Meta je více zneužívání“, i když jedním z důvodů je…více detekce a hlášení.
Veřejně dostupná data NCMEC pomáhají ilustrovat složitost této interpretace. NCMEC například uvádí, že v roce 2024 obdrželo 20,5 milionu hlášení (29,2 milionu incidentů po úpravě) a také popisuje změny, jako je „sdružování“ hlášení, které může snížit hrubý počet, aniž by to znamenalo menší skryté zneužívání.
Pouhé počty jsou tupý nástroj. Důležité jesazby,pokrytí detekceanásledné výsledky:
- Jak rychle jsou účty rušeny?
- Jsou pachatelé identifikováni a předáni orgánům činným v trestním řízení?
- Jak často jsou nezletilí proaktivně chráněni (např. omezením kontaktních funkcí, omezením dosahu dospělých)?
- Jak se vyměňují falešně pozitivní a falešně negativní výsledky?
Pokud se veřejná debata zaměřuje pouze na to, „kdo má největší číslo“, mohou být firmy tlačeny k podhodnocení nebo nedostatečnému měření.
Proč by bylo špatné dělat méně výzkumu – a to i pro Metu
Pokud vezmete obavu z e-mailu doslova, „řešení“ v podobě menšího studia je svůdné: méně studií, méně slajdů, méně předvolání.
Ale je to také sebezničující.
1) Nemůžete zlepšit to, co neměříte
Mnoho problémů s bezpečností platforem jsou systémové problémy – způsobené hodnocením, doporučeními, mechanismy kontaktů a smyčkami růstu souvisejícími se zneužíváním. Ty se nedají vyřešit jediným prohlášením o zásadách. Vyžadují měření.
Bez interního výzkumu a analýz se „bezpečnostní postoj“ společnosti stává:
- reaktivní (reagují na skandály)
- neoficiální (věřte tomu, co říkají ty nejhlasitější stížnosti)
- neauditovatelné (žádné výchozí hodnoty, žádné hodnocení)
2) Regulační orgány budou stejně požadovat důkazy
I když se společnost snaží vyhnout citlivému výzkumu, regulační orgány mohou stále požadovat zprávy o transparentnosti, posouzení rizik a auditovatelnost. Jinými slovy: pokud důkazy nevygenerujete dobrovolně, někdo jiný vás k jejich vygenerování může donutit – a nyní to musíte udělat pod tlakem.
3) Ztrácíte schopnost rozlišovatkompromisyznedbalost
Hlavním tématem e-mailu je, že ne všechna doporučení je rozumné implementovat, protože všechno má své kompromisy.
To je pravda. Ale jediný věrohodný způsob, jak argumentovat „zvážili jsme X a vybrali jsme Y, protože…“, je ukázat svou práci. Jinak to může vypadat jako mávání rukou.
Výzkum je to, co promění „důvěřujte nám“ v „zde je model, experiment, naměřený výsledek a rozhodnutí“.
Hlubší problém: soudní spory mění vnitřní upřímnost v zátěž
Zdravá organizace chce upřímnost: „Tato funkce by mohla být škodlivá“, „Tato kohorta je ohrožena“, „Tato metrika vypadá špatně“, „Musíme změnit hodnocení.“
Soudní spory a dynamika úniků informací však mohou trestat upřímnost dvěma způsoby:
- Efekt výběru:Vedoucí pracovníci přestávají zapisovat citlivé myšlenky.
- Kulturní efekt:Týmy se vyhýbají otázkám, které by mohly vést k „špatným“ odpovědím.
Oba efekty platformu zhoršují.
A to není specifické pro Metu – je to obecný problém pro jakoukoli společnost působící na průsečíku spotřebitelských technologií a veřejné bezpečnosti.
Jak by vypadaly lepší pobídky?
Pokud společnost chce, aby platformy měřily a snižovaly škody, musí tuto cestu zařídit přežitím.
Několik praktických nápadů, které se v politických kruzích objevují opakovaně:
1) Bezpečné přístavy pro výzkum interní bezpečnosti v dobré víře
Představte si rámec, kde společnosti získají omezenou ochranu, když provádějí zdokumentovaný výzkum škod v dobré víře a na základě zjištění podnikají smysluplné kroky – podobně jako některá odvětví kritická pro bezpečnost nakládají s hlášením incidentů.
To neznamená imunitu za protiprávní jednání. Znamená to snížení motivace kzáměrně zůstat v nevědomosti.
2) Standardizované, auditované reportingové zprávy (aby srovnání byla spravedlivá)
Pokud každá platforma hlásí bezpečnostní metriky s použitím různých definic, stanou se nezpracovaná čísla zbraní.
Standardní definice, audity třetích stran a jasnější jmenovatele (sazby na uživatele, sazby za zprávu, sazby za zhlédnutí) by z argumentu „nahlásili jsme více“ udělaly méně PR pastí.
3) Oddělení výzkumu bezpečnosti od pobídek k růstu produktů
Pokud je výzkum bezpečnosti součástí stejného řetězce velení jako cíle růstu, může se stát politicky nevýhodným.
Strukturální oddělení – i když ne úplná nezávislost – může pomoci zajistit, aby se bezpečnostní otázky neustále kladly.
4) Lepší veřejná gramotnost o tom, co znamenají metriky
Veřejná diskuse často vnímá interní výzkum jako zpověď.
Někdy ano. Ale někdy je to naopak: znamení, že se společnost dívá.
Zralejší gramotnost by se ptal:
- Byla škoda měřena zodpovědně?
- Byly zjištění sdíleny s odpovídajícím dohledem?
- Jaká zmírňující opatření byla testována?
- Co se v důsledku toho změnilo?
Na co se dívat dál
E-mail je jeden artefakt. Širší příběh je napětí mezi třemi silami:
- Průhlednost:Chceme vědět, co platformy vědí.
- Odpovědnost:Chceme následky, když jsou škody ignorovány.
- Učební systémy:Potřebujeme platformy pro neustálé měření a zlepšování.
Pokud jsou tyto síly v rozporu, může být rovnovážný výsledek zvrácený: méně měření, méně upřímnosti a pomalejší zlepšování – a to i za rostoucího hněvu veřejnosti.
Nejlepší verze internetu není ta, kde platformy skrývají svůj vlastní výzkum. Je to taková, kde je interní výzkum rutinní, auditovaný a používaný k podpoře změn produktů – a kde právní a politický systém dokáže rozlišovat mezi „studovali jsme škody a vylepšili jsme je“ a „studovali jsme škody a úmyslně jsme nic neudělali“.
Sečteno a podtrženo
Nezapečetěný Zuckerbergův e-mail neznamená ani tak jako „chytil jsem tě“, ale spíše jako vodítko k pobídkám.
Pokud se provádění seriózního výzkumu v oblasti interní bezpečnosti a sociálních otázek spolehlivě promění v odhalení pověsti a právních problémů, firmy ho budou dělat méně – a veřejnost se dozví...méněviditelnost skutečných rizik.
Cílem politiky by nemělo být hanobení platforem za to, že provádějí výzkum. Mělo by být požadování měřitelných zlepšení.avytvářet pobídky, díky nimž se zodpovědné měření stane standardem, nikoli výjimkou.
Zdroje
- https://www.theverge.com/report/874176/meta-zuckerberg-new-mexico-email-teen-girls-research
- https://www.theverge.com/2023/12/6/23990445/facebook-instagram-meta-lawsuit-child-predators-new-mexico
- https://www.missingkids.org/gethelpnow/cybertipline/cybertiplinedata
- https://about.fb.com/news/2024/01/our-work-to-help-provide-young-people-with-safe-positive-experiences/