Jednou z podivnejších stimulov v modernej technologickej politike jevýskumný paradoxSpoločnosti, ktoré vykonávajú najviac internej práce na meraní škôd, môžu nakoniec vyzerať ako najhorší aktéri, jednoducho preto, že majú najviac údajov – a pretože tieto údaje môžu uniknúť, byť predvolané alebo odhalené na súde.
Tento paradox je ústrednou témou novo odpečateného interného Meta e-mailu, o ktorom informovalThe Verge, v ktorom Mark Zuckerberg navrhuje, aby spoločnosť zvážila zmenu svojho prístupu k „výskumu a analýzam v oblasti sociálnych otázok“ po tom, čo sa v roku 2021 rozšírilo mediálne pokrytie interných zistení (najmä týkajúcich sa blaha tínedžerov na Instagrame).
Toto nie je len príbeh zvnútra bejzbalu o PR manažmente. Je to pohľad na to, ako sociálne platformy uvažujú o zodpovednosti – a ako hrozba súdnych sporov a únikov informácií môže ovplyvniť to, čo sa bude merať, čo sa bude zverejňovať a na čo sa nikdy nepýtajú.
Nižšie je uvedené praktické vysvetlenie toho, čo sa v e-maile uvádzalo, prečo je to dôležité a ako by mohla vyzerať zdravšia štruktúra stimulov.
Čo v skutočnosti odhalil nezapečatený e-mail
Podľa správy Zuckerberg napísal vrcholovým manažérom 15. septembra 2021 – deň po tom, čo článok vo Wall Street Journal, založený na interných dokumentoch (neskôr spojených s informátorkou Frances Haugenovou), zdôraznil Metin vlastný výskum o dospievajúcich dievčatách a Instagrame.
Kľúčovým bodom nebolo „Meta urobila výskum“. Mnoho veľkých platforiem má výskumné tímy. Pozoruhodné je, že generálny riaditeľ to explicitne spojilvykonávanie proaktívneho výskumu sociálnych problémovsvytváranie záväzkov a rizík poškodenia reputáciekeď sa zistenia stanú verejne dostupnými.
Rámovanie e-mailu je v podstate nasledovné:
- Študujeme citlivé témy (bezpečnosť tínedžerov, duševné zdravie, zneužívanie detí, dezinformácie atď.).
- Keď naše zistenia uniknú alebo sa o nich oznámi verejnosť, verejný príbeh sa môže zmeniť na: „Vedeli ste, a neopravili ste to.“
- Zdá sa, že niektoré partnerské spoločnosti to robiamenejproaktívny výskum – a preto vytvárajú menej dokumentov, ktoré by sa dali použiť proti nim.
To je nepríjemný, ale skutočný problém riadenia: ak „meranie a dokumentovanie problému“ zvyšuje prevádzkové náklady, existuje vstavaná motivácia merať menej.
Paradox výskumu: keď sa transparentnosť stane konkurenčnou nevýhodou
Vo svete, kde platformy kontrolujú regulačné orgány, novinári a súdy, si viete predstaviť dve široké stratégie:
- Štúdium hlboko škodía vytvárať interné dashboardy, experimenty a postmortem analýzy.
- Štúdium škodí minimálne, zamerať sa na úzke požiadavky na dodržiavanie predpisov a vyhýbať sa vytváraniu „neslušných“ dokumentov.
Ak je nevýhodou stratégie (1) to, že vytvára objaviteľný materiál – e-maily, prezentácie, záznamy z experimentov – potom sa racionálny korporátny aktér môže prikloniť k stratégii (2), aj keď je stratégia (1) pre používateľov lepšia.
To nie je obhajoba menšieho množstva výskumu. Je to vysvetlenie motivácie.
Politickou výzvou je navrhnúť systém, v ktorom sa prístup „zodpovedného konania“ (štúdium škôd a konanie na základe zistení) nestane sebatrestajúcim.
Prečo sa Metin e-mail objavuje teraz: súdne spory a odhalenie
E-mail bol odpečatený po tom, čo ho získala kancelária generálneho prokurátora Nového Mexika v prípade, v ktorom spoločnosť Meta tvrdila, že klamlivo prezentovala Facebook a Instagram ako bezpečné pre tínedžerov, pričom si bola vedomá škodlivých dizajnových rozhodnutí.
Tento prípad sa nachádza popri širšej vlne súdnych sporov a legislatívneho tlaku zameraného na bezpečnosť detí, duševné zdravie mládeže a teórie zodpovednosti za výrobok na sociálnych platformách. Bez ohľadu na to, ako sa ktorýkoľvek jednotlivý prípad skončí, proces je dôležitý: odhalenie premieňa internú diskusiu na verejný dôkaz.
To má dva účinky druhého rádu:
- Formuje budúce vnútorné písanie.Manažéri sú opatrní nielen v tom, čo robia, ale aj v tom, ako to opisujú.
- Formuje budúci výskum.Ak je pravdepodobné, že štúdia vygeneruje politicky výbušné grafy, niekto sa opýta, či sa vôbec oplatí ju robiť.
„Zdá sa, že Apple nič z týchto vecí neštuduje“: aký je tu argument?
V e-maile sa údajne nachádza porovnanie so spoločnosťou Apple, čo naznačuje, že Apple „zdá sa, že tieto problémy neštuduje“ rovnakým spôsobom, a preto sa vyhýba veľkej kritike.
Aj keď je toto porovnanie neúplné (Apple publikuje materiály týkajúce sa bezpečnosti a súkromia a čelí intenzívnej kontrole v iných oblastiach), základným bodom je...kategória produktu a povrch rizika:
- Sociálne platformy hostia obrovské množstvo obsahu generovaného používateľmi vrátane urážlivého obsahu.
- Produkty na zasielanie správ (najmä tie s end-to-end šifrovaním) štrukturálne obmedzujú to, čo môže poskytovateľ kontrolovať.
- Platformy zariadení môžu posúvať zodpovednosť smerom nadol („toto robia používatelia na svojich zariadeniach“), zatiaľ čo sociálne kanály sa viac zameriavajú na redakčné zosilňovanie.
Otázka „prečo sa im menej vyhrieva?“ má teda netriviálnu technickú zložku.
Prúžok bezpečnosti detí: objem hlásení môže vyzerať ako pocit viny
Jeden z argumentov v správe je, že Meta poukazuje na skutočnosť, že Národnému centru pre nezvestné a zneužívané deti (NCMEC) nahlasuje množstvo materiálu zobrazujúceho sexuálne zneužívanie detí (CSAM) – a že vysoký objem nahlásených materiálov možno interpretovať ako „na Meta je viac zneužívania“, aj keď čiastočne je dôvodomviac detekcie a hlásenia.
Verejne dostupné údaje NCMEC pomáhajú ilustrovať zložitosť tejto interpretácie. Napríklad NCMEC poznamenáva, že v roku 2024 dostalo 20,5 milióna hlásení (29,2 milióna incidentov po úprave) a opisuje aj zmeny, ako je „zoskupovanie“ hlásení, ktoré môže znížiť počet nespracovaných hlásení bez toho, aby to znamenalo menej základného zneužívania.
Samotné počty sú tupým nástrojom. Dôležité jesadzby,pokrytie detekcieanásledné výsledky:
- Ako rýchlo sa rušia účty?
- Sú páchatelia identifikovaní a postúpení orgánom činným v trestnom konaní?
- Ako často sú maloletí proaktívne chránení (napr. obmedzením kontaktných funkcií, obmedzením dosahu dospelých)?
- Ako sa vymieňajú falošne pozitívne a falošne negatívne výsledky?
Keď sa verejná diskusia zameriava len na to, „kto má najväčšie číslo“, spoločnosti môžu byť tlačené k nedostatočnému vykazovaniu alebo nedostatočnému meraniu.
Prečo by bolo menej výskumu zlé – dokonca aj pre Metu
Ak beriete obavy z e-mailu doslovne, „riešenie“ v podobe menšieho štúdia je zvodné: menej štúdií, menej slajdov, menej predvolaní.
Ale je to aj sebazničujúce.
1) Nemôžete zlepšiť to, čo nemeriate
Mnohé problémy s bezpečnosťou platformy sú systémové problémy – spôsobené hodnotením, odporúčaniami, mechanizmami kontaktovania a rastovými cyklusmi súvisiacimi so zneužívaním. Tieto sa nedajú vyriešiť jedným vyhlásením o politike. Vyžadujú si meranie.
Bez interného výskumu a analytiky sa „bezpečnostný postoj“ spoločnosti stáva:
- reaktívny (reaguje na škandály)
- neoficiálne (verte tomu, čo hovoria najhlasnejšie sťažnosti)
- neauditovateľné (žiadne východiskové hodnoty, žiadne hodnotenie)
2) Regulačné orgány budú aj tak požadovať dôkazy
Aj keď sa spoločnosť snaží vyhnúť citlivému výskumu, regulačné orgány môžu stále vyžadovať správy o transparentnosti, posúdenia rizík a auditovateľnosť. Inými slovami: ak dôkazy nevygenerujete dobrovoľne, niekto iný vás môže prinútiť ich vygenerovať – a teraz to musíte urobiť pod tlakom.
3) Strácate schopnosť rozlišovaťkompromisyznedbanlivosť
Hlavnou témou e-mailu je, že nie všetky odporúčania sú rozumné na implementáciu, pretože všetko má svoje úskalia.
To je pravda. Ale jediný vierohodný spôsob, ako argumentovať „zvážili sme X a vybrali sme Y, pretože...“, je ukázať svoju prácu. Inak to môže vyzerať ako mávnutie rukou.
Výskum je to, čo premení „dôverujte nám“ na „tu je model, experiment, nameraný výsledok a memorandum o rozhodnutí“.
Hlbší problém: súdny spor mení vnútornú úprimnosť na záťaž
Zdravá organizácia chce úprimnosť: „Táto funkcia môže byť škodlivá“, „Táto skupina je ohrozená“, „Táto metrika vyzerá zle“, „Musíme zmeniť poradie.“
Ale dynamika súdnych sporov a únikov informácií môže trestať úprimnosť dvoma spôsobmi:
- Účinok výberu:Vedúci pracovníci prestávajú zapisovať citlivé myšlienky.
- Kultúrny efekt:tímy sa vyhýbajú otázkam, ktoré by mohli viesť k „zlým“ odpovediam.
Oba efekty zhoršujú platformu.
A to nie je jedinečné len pre Metu – je to všeobecný problém každej spoločnosti pôsobiacej na križovatke spotrebiteľských technológií a verejnej bezpečnosti.
Ako by vyzerali lepšie stimuly?
Ak spoločnosť chce, aby platformy merali a znižovali škody, musí túto cestu zabezpečiť prežitie.
Niekoľko praktických nápadov, ktoré sa opakovane objavujú v politických kruhoch:
1) Bezpečné prístavy pre výskum internej bezpečnosti v dobrej viere
Predstavte si rámec, v ktorom spoločnosti získajú obmedzenú ochranu, keď vykonávajú zdokumentovaný výskum škôd v dobrej viere a na základe zistení podnikajú zmysluplné kroky – podobne ako niektoré odvetvia kritické z hľadiska bezpečnosti riešia hlásenie incidentov.
To neznamená imunitu za priestupky. Znamená to zníženie motivácie k...zámerne zostať v nevedomosti.
2) Štandardizované, auditované reportovanie (aby boli porovnania spravodlivé)
Ak každá platforma hlási bezpečnostné metriky s použitím rôznych definícií, surové čísla sa stanú zbraňou.
Štandardné definície, audity tretích strán a jasnejšie menovatele (sadzby na používateľa, sadzby za správu, sadzby za zobrazenie) by z tvrdenia „nahlásili sme viac“ urobili menej PR pascu.
3) Oddelenie výskumu bezpečnosti od stimulov pre rast produktov
Keď je výskum v oblasti bezpečnosti v rámci tej istej hierarchie velenia ako ciele rastu, môže sa stať politicky nevýhodným.
Štrukturálne oddelenie – aj keď nie úplná nezávislosť – môže pomôcť zabezpečiť, aby sa otázky týkajúce sa bezpečnosti neustále kládli.
4) Lepšia verejná gramotnosť o tom, čo metriky znamenajú
Verejná diskusia často vníma interný výskum ako priznanie.
Niekedy áno. Ale niekedy je to naopak: znamenie, že spoločnosť sa na vás pozerá.
Zrelší čitateľ by sa pýtal:
- Bola škoda meraná zodpovedne?
- Boli zistenia zdieľané s primeraným dohľadom?
- Aké zmierňujúce opatrenia boli testované?
- Čo sa v dôsledku toho zmenilo?
Čo si pozrieť ďalej
E-mail je jeden artefakt. Širší príbeh je o napätí medzi tromi silami:
- Transparentnosť:Chceme vedieť, čo platformy vedia.
- Zodpovednosť:Chceme následky, keď sa ignorujú škody.
- Vzdelávacie systémy:Potrebujeme platformy na neustále meranie a zlepšovanie.
Keď sú tieto sily nesprávne zosúladené, rovnovážny výsledok môže byť zvrátený: menej merania, menej úprimnosti a pomalšie zlepšovanie – a to aj napriek tomu, že hnev verejnosti narastá.
Najlepšia verzia internetu nie je taká, kde platformy skrývajú svoj vlastný výskum. Je to taká, kde je interný výskum rutinný, kontrolovaný a používaný na podporu zmien produktov – a kde právny a politický systém dokáže rozlišovať medzi „študovali sme škody a zlepšili sme sa“ a „študovali sme škody a zámerne sme neurobili nič“.
Zrátané a podčiarknuté
Nezapečatený Zuckerbergov e-mail nie je ani tak dôležitý ako „chytil som vás“, ale skôr ako indícia o stimuloch.
Ak sa seriózny výskum v oblasti vnútornej bezpečnosti a sociálnych otázok spoľahlivo zmení na odhalenie povesti a právnych záležitostí, spoločnosti ho budú robiť menej – a verejnosť sa dozvie...menejprehľad o skutočných rizikách.
Cieľom politiky by nemalo byť hanobiť platformy za to, že vykonávajú výskum. Malo by byť požadovať merateľné zlepšenia.avytvoriť stimuly, vďaka ktorým sa zodpovedné meranie stane štandardom, nie výnimkou.
Zdroje
- https://www.theverge.com/report/874176/meta-zuckerberg-new-mexico-email-teen-girls-research
- https://www.theverge.com/2023/12/6/23990445/facebook-instagram-meta-lawsuit-child-predators-new-mexico
- https://www.missingkids.org/gethelpnow/cybertipline/cybertiplinedata
- https://about.fb.com/news/2024/01/our-work-to-help-provide-young-people-with-safe-positive-experiences/