Одним из самых странных стимулов в современной технологической политике является...исследовательский парадоксКомпании, которые проводят большую часть внутренней работы по оценке ущерба, в конечном итоге могут выглядеть как самые злостные нарушители, просто потому что у них больше всего данных — и потому что эти данные могут просочиться, быть запрошены повесткой в суд или рассекречены в суде.
Этот парадокс лежит в основе недавно рассекреченного внутреннего электронного письма Meta, о котором сообщило издание.The VergeВ статье, в которой Марк Цукерберг предлагает компании пересмотреть свой подход к «исследованиям и аналитике в области социальных проблем» после того, как в 2021 году в СМИ разразился скандал вокруг внутренних результатов исследования (в частности, касающихся благополучия подростков в Instagram).
Это не просто закулисная история об управлении связями с общественностью. Это взгляд на то, как социальные платформы воспринимают подотчетность, и как угроза судебных разбирательств и утечек информации может влиять на то, что измеряется, что публикуется и о чем никогда не спрашивают.
Ниже приведено практическое объяснение содержания электронного письма, его важности и того, как может выглядеть более эффективная система поощрений.
Что на самом деле рассекреченное электронное письмо показало
Согласно сообщениям СМИ, Цукерберг написал письмо высшему руководству 15 сентября 2021 года — на следующий день после публикации в Wall Street Journal статьи, основанной на внутренних документах (позже связанных с информатором Фрэнсис Хауген), в которой освещались собственные исследования Meta о девочках-подростках и Instagram.
Ключевой момент заключался не в том, что «Meta проводила исследования». У многих крупных платформ есть исследовательские группы. Самое поразительное то, что генеральный директор прямо связал это с...проведение активных исследований социальных проблемссоздание обязательств и репутационных рисковкогда результаты станут достоянием общественности.
Структура электронного письма, по сути, такова:
- Мы изучаем деликатные вопросы (безопасность подростков, психическое здоровье, эксплуатация детей, дезинформация и т. д.).
- Когда информация о наших выводах просачивается или становится достоянием общественности, публичная точка зрения может свестись к следующему: «Вы знали, но не исправили ситуацию».
- Некоторые компании-конкуренты, похоже, так и делают.меньшеПроактивное исследование — и, следовательно, создание меньшего количества документов, которые могут быть использованы против них.
Это неприятная, но реальная проблема управления: если принцип «измерь и задокументируй проблему» увеличивает операционные расходы, то возникает внутренний стимул к уменьшению объема измерений.
Парадокс исследований: когда прозрачность становится конкурентным недостатком
В мире, где платформы находятся под пристальным вниманием регулирующих органов, журналистов и судов, можно представить две основные стратегии:
- Изучение причиняет глубокий вреда также создавать внутренние панели мониторинга, проводить эксперименты и анализировать результаты после инцидентов.
- Исследование причиняет минимальный вред.Сосредоточьтесь на узких требованиях к соблюдению норм и избегайте составления документов, которые звучат «плохо».
Если недостатком стратегии (1) является то, что она создает доступный для поиска материал — электронные письма, презентации, результаты экспериментов, — то рациональный корпоративный субъект может склониться к стратегии (2), даже если стратегия (1) лучше для пользователей.
Это не оправдание сокращения объёма исследований. Это объяснение мотивации.
Задача политики состоит в том, чтобы разработать систему, в которой подход «действовать ответственно» (изучение вреда и принятие мер на основе полученных результатов) не станет самонаказанием.
Почему электронное письмо Меты всплыло именно сейчас: судебные иски и раскрытие информации.
Электронное письмо было рассекречено после того, как оно было получено в ходе следствия Генеральной прокуратурой штата Нью-Мексико по делу, в котором утверждалось, что компания Meta обманным путем позиционировала Facebook и Instagram как безопасные для подростков платформы, зная при этом о вредных дизайнерских решениях.
Этот случай рассматривается в контексте более широкой волны судебных разбирательств и законодательного давления, направленных на обеспечение безопасности детей, психического здоровья молодежи и рассмотрение теорий ответственности за качество продукции в социальных сетях. Независимо от исхода каждого отдельного дела, сам процесс имеет значение: раскрытие информации превращает внутренние дебаты в публичные доказательства.
Это приводит к двум побочным эффектам:
- Это формирует будущую структуру внутреннего текста.Руководители начинают проявлять осторожность не только в том, что они делают, но и в том, как они это описывают.
- Это определяет направление будущих исследований.Если исследование может привести к появлению графиков, вызывающих политический скандал, кто-то обязательно спросит, стоит ли его вообще проводить.
«Похоже, Apple ничего из этого не изучает»: в чём тут дело?
Как сообщается, в электронном письме проводится сравнение с Apple, предполагая, что Apple «похоже, не изучает» эти вопросы таким же образом и поэтому избегает большей части критики.
Даже если это сравнение неполное (Apple действительно публикует материалы по безопасности и конфиденциальности, и компания подвергается пристальному вниманию в других областях), суть в следующем:категория продукции и поверхность риска:
- Социальные платформы размещают огромные объемы пользовательского контента, в том числе и оскорбительного.
- Продукты для обмена сообщениями (особенно те, которые используют сквозное шифрование) структурно ограничивают возможности поставщика по проверке информации.
- Платформы для устройств могут перекладывать ответственность на пользователей («вот что пользователи делают на своих устройствах»), в то время как социальные сети все больше склоняются к распространению информации, подобной редакционным материалам.
Таким образом, вопрос «почему они выделяют меньше тепла?» имеет нетривиальную техническую составляющую.
Взгляд с точки зрения безопасности детей: количество сообщений может восприниматься как чувство вины.
Один из аргументов в этом отчете заключается в том, что Meta указывает на тот факт, что она сообщает о большом количестве материалов, связанных с сексуальным насилием над детьми (CSAM), в Национальный центр по розыску пропавших и подвергшихся эксплуатации детей (NCMEC) — и что большой объем сообщений можно интерпретировать как признак того, что «на Meta больше случаев насилия», даже если отчасти это объясняетсяболее эффективное выявление и отчетность.
Собственные общедоступные данные NCMEC помогают проиллюстрировать сложность такой интерпретации. Например, NCMEC отмечает, что в 2024 году получила 20,5 миллионов сообщений (29,2 миллиона инцидентов с учетом корректировок), а также описывает такие изменения, как «объединение» сообщений, которое может уменьшить общее количество без учета снижения уровня злоупотреблений.
Сами по себе подсчеты — это грубый инструмент. Важно другое.ставки,покрытие обнаружения, ирезультаты последующих этапов:
- Как быстро удаляются аккаунты?
- Устанавливается ли личность преступников и передается ли информация о них правоохранительным органам?
- Как часто осуществляется активная защита несовершеннолетних (например, ограничение способов общения, ограничение доступа взрослых)?
- Как соотносятся ложноположительные и ложноотрицательные результаты?
Когда публичная дискуссия сосредотачивается только на том, «у кого самые большие показатели», компании могут быть вынуждены занижать данные или занижать показатели.
Почему сокращение объема исследований может быть вредным — даже для Meta.
Если воспринять опасения, выраженные в электронном письме, буквально, то «решение» в виде сокращения объема учебы кажется заманчивым: меньше исследований, меньше слайдов, меньше судебных повесток.
Но это также и саморазрушительно.
1) Нельзя улучшить то, что не измеряешь.
Многие проблемы безопасности платформ — это системные проблемы, возникающие из-за ранжирования, рекомендаций, механизмов взаимодействия и циклов роста, связанных со злоупотреблениями. Их нельзя решить одним лишь заявлением о политике. Для их решения необходимы измерения.
Без внутренних исследований и аналитики «позиция безопасности» компании сводится к следующему:
- реактивный (реагировать на скандалы)
- Это лишь отдельные случаи (доверяйте тому, что говорят те, кто громче всех жалуется).
- Не подлежит аудиту (нет исходных данных, нет оценки)
2) Регуляторы в любом случае потребуют доказательств.
Даже если компания пытается избежать проведения конфиденциальных исследований, регулирующие органы все равно могут потребовать предоставления отчетов о прозрачности, оценки рисков и обеспечения возможности аудита. Другими словами: если вы не предоставите доказательства добровольно, кто-то другой может заставить вас это сделать — и теперь вам придется делать это под давлением.
3) Вы теряете способность различатькомпромиссыотхалатность
Главная тема письма заключается в том, что не все рекомендации целесообразно внедрять, поскольку во всем есть свои компромиссы.
Это правда. Но единственный убедительный способ доказать: «Мы рассмотрели X и выбрали Y, потому что…», — это показать ход своих рассуждений. В противном случае это может выглядеть как пустые слова.
Исследования превращают фразу «доверьтесь нам» в «вот модель, эксперимент, измеренный результат и заключение».
Более глубокая проблема: судебные разбирательства превращают внутреннюю откровенность в недостаток.
Здоровая организация ценит откровенность: «Эта функция может быть вредной», «Эта группа находится в группе риска», «Этот показатель выглядит плохо», «Нам нужно изменить рейтинг».
Однако судебные разбирательства и утечки информации могут наказывать за откровенность двумя способами:
- Эффект отбора:Руководители перестают излагать деликатные мысли в письменном виде.
- Культурный эффект:Команды избегают вопросов, на которые могут быть даны «плохие» ответы.
Оба эффекта ухудшают работу платформы.
И это не уникальная проблема для Meta — это общая проблема для любой компании, работающей на стыке потребительских технологий и общественной безопасности.
Как могли бы выглядеть более эффективные стимулы?
Если общество хочет иметь платформы для измерения и уменьшения вреда, оно должно сделать этот путь приемлемым.
Несколько практических идей, которые неоднократно встречаются в политических кругах:
1) Безопасные условия для добросовестных внутренних исследований в области безопасности.
Представьте себе систему, в которой компании получают ограниченную защиту, если они проводят документированные, добросовестные исследования причиненного вреда и предпринимают значимые шаги на основе полученных результатов — по духу аналогичную систему, используемую в некоторых отраслях, критически важных для безопасности, для обработки сообщений об инцидентах.
Это не означает иммунитет от ответственности за правонарушения. Это означает снижение стимула к...намеренно оставаться в неведении.
2) Стандартизированная, проверенная отчетность (чтобы сравнения были справедливыми)
Если каждая платформа будет сообщать показатели безопасности, используя разные определения, то необработанные цифры превратятся в оружие.
Стандартизированные определения, независимые аудиты и более четкие показатели (тарифы на пользователя, тарифы на сообщение, тарифы на просмотр) позволили бы избежать ловушки в сфере связей с общественностью, связанной с фразой «мы сообщили больше».
3) Разделение между исследованиями в области безопасности и стимулами к развитию продукта.
Когда исследования в области безопасности находятся в той же иерархической цепочке, что и целевые показатели роста, это может стать политически неудобным.
Разделение конструкций — даже если оно не обеспечивает полной независимости — может способствовать тому, чтобы вопросы безопасности продолжали задаваться.
4) Повышение осведомленности населения о значении показателей.
В публичных дискуссиях внутренние исследования часто воспринимаются как исповедь.
Иногда это так. Но иногда бывает наоборот: это знак того, что компания ищет сотрудника.
Более зрелый человек, обладающий более высоким уровнем грамотности, задал бы следующий вопрос:
- Был ли ущерб оценен ответственно?
- Были ли результаты исследования доведены до сведения заинтересованных сторон с надлежащим контролем?
- Какие меры по смягчению последствий были протестированы?
- Что изменилось в результате?
Что посмотреть дальше
Электронное письмо — лишь один из артефактов. Более широкая картина — это напряжение между тремя силами:
- Прозрачность:Мы хотим знать, что знают платформы.
- Ответственность:Мы хотим, чтобы последствия применялись, когда игнорируется причиненный вред.
- Системы обучения:Нам нужны платформы для постоянного измерения и совершенствования.
Когда эти силы не совпадают, равновесие может оказаться обратным: меньше измерений, меньше откровенности и более медленное улучшение — даже несмотря на рост общественного недовольства.
Лучшая версия интернета — это не та, где платформы скрывают результаты собственных исследований. Это та, где внутренние исследования проводятся регулярно, проходят аудит и используются для внесения изменений в продукт, а правовая и политическая система может отличить «мы изучили вред и внесли улучшения» от «мы изучили вред и намеренно ничего не предприняли».
Итог
Рассекреченные электронные письма Цукерберга важны не столько как «подвох», сколько как намек на мотивацию.
Если проведение серьезных внутренних исследований в области безопасности и социальных вопросов неизбежно приведет к репутационному и юридическому ущербу, компании будут проводить их реже, а общественность получит больше информации.меньшепрозрачность в отношении реальных рисков.
Цель политики не должна заключаться в том, чтобы стыдить платформы за проведение исследований. Она должна заключаться в требовании ощутимых улучшений.иСоздать стимулы, которые сделают ответственное измерение нормой по умолчанию, а не исключением.
Источники
- https://www.theverge.com/report/874176/meta-zuckerberg-new-mexico-email-teen-girls-research
- https://www.theverge.com/2023/12/6/23990445/facebook-instagram-meta-lawsuit-child-predators-new-mexico
- https://www.missingkids.org/gethelpnow/cybertipline/cybertiplinedata
- https://about.fb.com/news/2024/01/our-work-to-help-provide-young-people-with-safe-positive-experiences/