Ena izmed nenavadnejših spodbud v sodobni tehnološki politiki jeraziskovalni paradoksPodjetja, ki opravijo največ internega dela za merjenje škode, lahko na koncu izpadejo kot najslabši akterji, preprosto zato, ker imajo največ podatkov – in ker lahko ti podatki uidejo, so predmet sodnega poziva ali pa so razkriti na sodišču.
Ta paradoks je v središču na novo odpečatenega internega meta e-poštnega sporočila, o katerem poročaRob, v katerem Mark Zuckerberg predlaga, naj podjetje razmisli o spremembi svojega pristopa k »raziskavam in analitiki o družbenih vprašanjih«, potem ko je medijsko poročanje o internih ugotovitvah (zlasti o dobrem počutju najstnikov na Instagramu) leta 2021 eksplodiralo.
To ni le zgodba iz lige baseballa o upravljanju odnosov z javnostmi. Gre za vpogled v to, kako družbena omrežja razmišljajo o odgovornosti – in kako lahko grožnja sodnih sporov in uhajanja informacij oblikuje, kaj se meri, kaj se objavlja in kaj se nikoli ne sprašuje.
Spodaj je praktična razlaga, kaj je bilo zapisano v e-poštnem sporočilu, zakaj je to pomembno in kako bi lahko izgledala bolj zdrava struktura spodbud.
Kaj je odpečatena elektronska pošta dejansko razkrila
Glede na poročilo je Zuckerberg pisal višjim direktorjem 15. septembra 2021 – dan po tem, ko je članek Wall Street Journala, ki je temeljil na internih dokumentih (kasneje povezanih z žvižgačko Frances Haugen), izpostavil Metino lastno raziskavo o najstnicah in Instagramu.
Ključna točka ni bila »Meta je opravila raziskavo«. Številne velike platforme imajo raziskovalne ekipe. Presenetljivo je, da je izvršni direktor to izrecno povezalizvajanje proaktivnih raziskav družbenih vprašanjzustvarjanje obveznosti in tveganj za ugledko ugotovitve postanejo javne.
Uokvirjanje e-pošte je v bistvu naslednje:
- Preučujemo občutljiva vprašanja (varnost najstnikov, duševno zdravje, izkoriščanje otrok, dezinformacije itd.).
- Ko naše ugotovitve pricurljajo v javnost ali so objavljene, se lahko javna pripoved spremeni v: "Vedeli ste, pa niste popravili."
- Zdi se, da nekatera podjetja, ki sodijo v iste razrede, to počnejomanjproaktivne raziskave – in zato ustvarijo manj dokumentov, ki jih je mogoče uporabiti proti njim.
To je neprijetno, a resnično vprašanje upravljanja: če »merjenje in dokumentiranje problema« poveča stroške poslovanja, obstaja vgrajena spodbuda za manjše merjenje.
Paradoks raziskav: ko transparentnost postane konkurenčna slabost
V svetu, kjer platforme nadzorujejo regulatorji, novinarji in sodišča, si lahko predstavljate dve široki strategiji:
- Študij močno škodujein graditi interne nadzorne plošče, eksperimente in obdukcije.
- Študij minimalno škoduje, osredotočite se na ozke zahteve glede skladnosti in se izogibajte izdelavi dokumentov, ki se »slabo zvene«.
Če je slaba stran strategije (1) ustvarjanje odkritega gradiva – e-poštnih sporočil, diapozitivov, odčitkov eksperimentov – potem se lahko racionalen korporativni akter nagiba k strategiji (2), tudi če je strategija (1) boljša za uporabnike.
To ni zagovor manjšega števila raziskav. To je razlaga spodbude.
Izziv politike je oblikovati sistem, kjer pristop »odgovornega ravnanja« (preučevanje škode in ukrepanje na podlagi ugotovitev) ne postane samokaznovanje.
Zakaj se Metino e-poštno sporočilo pojavlja zdaj: tožbe in odkritje
E-poštno sporočilo je bilo odpečateno, potem ko ga je odkrilo državno tožilstvo Nove Mehike v primeru, v katerem se trdi, da je Meta zavajajoče predstavila Facebook in Instagram kot varna za najstnike, hkrati pa se je zavedala škodljivih oblikovalskih odločitev.
Ta primer se pojavlja ob boku širšega vala sodnih sporov in zakonodajnega pritiska, osredotočenega na varnost otrok, duševno zdravje mladih in teorije odgovornosti za izdelke na družbenih platformah. Ne glede na to, kako se posamezen primer izide, je postopek pomemben: odkritje spremeni notranjo razpravo v javni dokaz.
To ima dva učinka drugega reda:
- Oblikuje prihodnje notranje pisanje.Vodilni delavci postanejo previdni ne le glede tega, kaj počnejo, ampak tudi glede tega, kako to opisujejo.
- Oblikuje prihodnje raziskave.Če je verjetno, da bo študija ustvarila politično eksplozivne grafikone, se bo nekdo vprašal, ali se sploh splača to početi.
»Zdi se, da Apple teh stvari ne preučuje«: kaj je tukaj argument?
V e-poštnem sporočilu naj bi bila uporabljena primerjava z Applom, kar nakazuje, da Apple teh vprašanj "ne preučuje" na enak način in se zato izogiba številnim kritikam.
Tudi če je ta primerjava nepopolna (Apple objavlja gradivo o varnosti in zasebnosti ter se sooča z intenzivno pozornostjo na drugih področjih), je bistvo v tem, dakategorija izdelka in površina tveganja:
- Družbena omrežja gostijo ogromne količine uporabniško ustvarjene vsebine, vključno z žaljivo vsebino.
- Izdelki za sporočanje (zlasti tisti s šifriranjem od konca do konca) strukturno omejujejo, kaj lahko ponudnik pregleda.
- Platforme naprav lahko odgovornost potisnejo navzdol (»to počnejo uporabniki na svojih napravah«), medtem ko so viri družbenih omrežij bližje uredniškemu ojačanju.
Torej ima vprašanje "zakaj se manj ogrevajo?" netrivialno tehnično komponento.
Leča varnosti otrok: količina prijav je lahko videti kot krivda
Ena od argumentov v poročilu je, da Meta opozarja na dejstvo, da Nacionalnemu centru za pogrešane in izkoriščane otroke (NCMEC) prijavlja veliko gradiva o spolni zlorabi otrok (CSAM) – in da je mogoče veliko število prijav razlagati kot »na Meti je več zlorab«, tudi če je del razloga taveč odkrivanja in poročanja.
Javni podatki NCMEC pomagajo ponazoriti kompleksnost te razlage. NCMEC na primer ugotavlja, da je leta 2024 prejel 20,5 milijona prijav (29,2 milijona incidentov po prilagoditvi), opisuje pa tudi spremembe, kot je »združevanje« prijav, ki lahko zmanjšajo število surovih prijav, ne da bi to pomenilo manj osnovnih zlorab.
Samo štetje je nerodno orodje. Pomembno jestopnje,pokritost zaznavanjainnadaljnji rezultati:
- Kako hitro se ukinejo računi?
- Ali so storilci identificirani in predani organom pregona?
- Kako pogosto so mladoletniki proaktivno zaščiteni (npr. z omejevanjem funkcij stika, omejevanjem dosega odraslih)?
- Kako se lažno pozitivni in lažno negativni rezultati medsebojno ujemajo?
Ko se javna razprava osredotoča le na to, »kdo ima največje število«, so lahko podjetja prisiljena v premajhno poročanje ali premajhno merjenje.
Zakaj bi bilo manj raziskav slabo – tudi za Meto
Če pomislek iz elektronskega sporočila vzamete dobesedno, je »rešitev« z manjšim študijem mamljiva: manj študij, manj diapozitivov, manj sodnih pozivov.
Ampak je tudi samouničevalno.
1) Ne moreš izboljšati tistega, česar ne meriš
Številne težave z varnostjo platforme so sistemske težave – ki jih povzročajo razvrščanje, priporočila, mehanizmi stika in zanke rasti, ki spremljajo zlorabe. Teh ni mogoče odpraviti z eno samo izjavo o politiki. Zahtevajo merjenje.
Brez notranjih raziskav in analitike postane »varnostna drža« podjetja:
- reaktiven (odziv na škandale)
- anekdotično (zaupajte temu, kar pravijo najglasnejše pritožbe)
- ni mogoče revidirati (brez izhodišč, brez vrednotenja)
2) Regulatorji bodo tako ali tako zahtevali dokaze
Tudi če se podjetje poskuša izogniti občutljivim raziskavam, lahko regulatorji še vedno zahtevajo poročila o preglednosti, ocene tveganja in možnost revizije. Z drugimi besedami: če dokazov ne ustvarite prostovoljno, vas lahko nekdo drug prisili, da jih ustvarite – in zdaj morate to storiti pod pritiskom.
3) Izgubite sposobnost razlikovanjakompromisiodmalomarnost
Glavna tema v e-poštnem sporočilu je, da ni smiselno izvajati vseh priporočil, saj ima vse svoje kompromise.
To je res. Toda edini verodostojen način za argument »Upoštevali smo X in izbrali Y, ker ...« je, da pokažete svoje delo. Sicer lahko izgleda kot mahanje z roko.
Raziskava je tista, ki »zaupajte nam« spremeni v »tukaj je model, poskus, izmerjeni rezultat in sklepni memorandum«.
Globlje vprašanje: pravdanje spremeni notranjo odkritost v breme
Zdrava organizacija si želi odkritosti: »Ta funkcija je lahko škodljiva«, »Ta kohorta je ogrožena«, »Ta metrika je videti slaba«, »Spremeniti moramo uvrstitev.«
Toda sodni spori in dinamika uhajanja informacij lahko kaznujejo odkritost na dva načina:
- Učinek izbire:Vodilni delavci prenehajo zapisovati občutljive misli.
- Kulturni učinek:ekipe se izogibajo vprašanjem, ki bi lahko dala »slabe« odgovore.
Oba učinka poslabšata platformo.
In to ni značilno samo za Meto – to je splošen problem za vsako podjetje, ki deluje na presečišču potrošniške tehnologije in javne varnosti.
Kakšne bi bile boljše spodbude?
Če družba želi, da platforme merijo in zmanjšujejo škodo, mora to pot narediti preživetveno.
Nekaj praktičnih idej, ki se v političnih krogih pojavljajo vedno znova:
1) Varna pristanišča za dobroverne raziskave notranje varnosti
Predstavljajte si okvir, v katerem podjetja dobijo omejeno zaščito, ko izvajajo dokumentirane, dobroverne raziskave o škodi in na podlagi ugotovitev sprejemajo smiselne ukrepe – podobno kot nekatere varnostno kritične panoge ravnajo s poročanjem o incidentih.
To ne pomeni imunitete za kršitve. Pomeni zmanjšanje spodbude zanamerno ostati neveden.
2) Standardizirano, revidirano poročanje (zato so primerjave poštene)
Če vsaka platforma poroča o varnostnih meritvah z uporabo različnih definicij, postanejo surove številke orožje.
Standardne definicije, revizije tretjih oseb in jasnejši imenovalci (cene na uporabnika, cene na sporočilo, cene na ogled) bi frazo »poročali smo več« naredili manj PR pasti.
3) Ločitev med raziskavami varnosti in spodbudami za rast izdelkov
Ko so raziskave na področju varnosti znotraj iste hierarhije poveljevanja kot cilji rasti, lahko postanejo politično neprimerne.
Strukturna ločitev – četudi ne popolna neodvisnost – lahko pomaga zagotoviti, da se varnostna vprašanja nenehno postavljajo.
4) Boljša javna pismenost o pomenu metrik
Javni pogovor pogosto obravnava notranje raziskave kot priznanje.
Včasih je. Včasih pa je ravno nasprotno: znak, da podjetje išče.
Zrelejši pismeni človek bi vprašal:
- Je bila škoda izmerjena odgovorno?
- Ali so bile ugotovitve posredovane pod ustreznim nadzorom?
- Katere blažilne ukrepe so preizkusili?
- Kaj se je posledično spremenilo?
Kaj si ogledati naprej
E-poštno sporočilo je en artefakt. Širša zgodba je napetost med tremi silami:
- Preglednost:Želimo vedeti, kaj platforme vedo.
- Odgovornost:Želimo si posledic, kadar se škoda prezre.
- Učni sistemi:Potrebujemo platforme za nenehno merjenje in izboljševanje.
Ko so te sile neusklajene, je lahko ravnovesni izid perverzen: manj merjenja, manj odkritosti in počasnejši napredek – tudi medtem ko se jeza javnosti povečuje.
Najboljša različica interneta ni tista, kjer platforme skrivajo lastne raziskave. Je tista, kjer so interne raziskave rutinske, revidirane in se uporabljajo za spodbujanje sprememb izdelkov – in kjer lahko pravni in politični sistem loči med »preučili smo škodo in jo izboljšali« in »preučili smo škodo in namerno nismo storili ničesar«.
Bistvo
Nezapečateno Zuckerbergovo elektronsko sporočilo ni toliko pomembno kot "ugotovitev" in bolj kot namig o spodbudah.
Če se resne raziskave notranje varnosti in socialnih vprašanj zanesljivo spremenijo v ugledno in pravno izpostavljenost, bodo podjetja to počela manj – in javnost bo dobilamanjvpogled v resnična tveganja.
Cilj politike ne bi smel biti sramotiti platforme zaradi izvajanja raziskav. Cilj bi moral biti zahtevati merljive izboljšave.inustvariti spodbude, zaradi katerih bo odgovorno merjenje privzeto, ne pa izjema.
Viri
- https://www.theverge.com/report/874176/meta-zuckerberg-new-mexico-email-teen-girls-research
- https://www.theverge.com/2023/12/6/23990445/facebook-instagram-meta-lawsuit-child-predators-new-mexico
- https://www.missingkids.org/gethelpnow/cybertipline/cybertiplinedata
- https://about.fb.com/news/2024/01/our-work-to-help-provide-young-people-with-safe-positive-experiences/