현대 기술 정책에서 가장 이상한 인센티브 중 하나는 다음과 같습니다.연구의 역설내부적으로 피해 규모를 측정하기 위해 가장 많은 노력을 기울이는 기업들이 오히려 최악의 행위자로 비춰질 수 있는데, 이는 그들이 가장 많은 데이터를 보유하고 있기 때문이며, 그 데이터가 유출되거나 소환되거나 법정에서 공개될 수 있기 때문입니다.
그 역설은 최근 공개된 메타 내부 이메일의 핵심 내용이며, 이는 다음 매체에서 보도되었습니다.더 버지2021년 내부 조사 결과(특히 인스타그램에서의 십대 청소년 복지 관련)가 언론에 크게 보도된 후, 마크 저커버그는 회사가 "사회 문제에 대한 연구 및 분석" 접근 방식을 변경하는 것을 고려해야 한다고 제안했습니다.
이 이야기는 단순히 홍보 관리 업계 내부 사정에 대한 이야기가 아닙니다. 소셜 플랫폼이 책임에 대해 어떻게 생각하는지, 그리고 소송과 정보 유출의 위협이 무엇을 측정하고, 무엇을 공개하고, 무엇을 묻지도 않는지에 어떤 영향을 미치는지를 보여주는 사례입니다.
아래는 이메일 내용에 대한 실질적인 설명과 그 중요성, 그리고 보다 건전한 인센티브 구조의 모습에 대한 설명입니다.
봉인 해제된 이메일이 실제로 드러낸 내용은 무엇이었을까?
보도에 따르면, 주커버그는 2021년 9월 15일 고위 임원들에게 서한을 보냈는데, 이는 월스트리트 저널이 내부 문서를 바탕으로 (이후 내부고발자 프랜시스 하우겐과 연관된) 메타의 10대 소녀와 인스타그램에 대한 자체 연구 결과를 보도한 다음 날이었다.
핵심은 "메타가 연구를 했다"는 점이 아니었습니다. 많은 대형 플랫폼들이 연구팀을 보유하고 있으니까요. 주목할 만한 점은 CEO가 이 점을 명시적으로 언급했다는 것입니다.사회 문제에 대한 선제적 연구를 수행하다~와 함께책임 및 평판 위험을 초래함연구 결과가 공개될 때.
이메일의 핵심 내용은 다음과 같습니다.
- 저희는 청소년 안전, 정신 건강, 아동 착취, 허위 정보 등과 같은 민감한 문제들을 연구합니다.
- 우리의 조사 결과가 유출되거나 언론에 보도되면, 대중은 "당신들은 알고 있었지만, 해결하지 않았다"라는 식으로 여론을 형성할 수 있습니다.
- 일부 동종업체는 그렇게 하는 것으로 보입니다.더 적은선제적인 조사를 통해 불리하게 사용될 수 있는 문서를 줄일 수 있습니다.
이는 불편하지만 현실적인 거버넌스 문제입니다. "문제를 측정하고 기록하는 것"이 운영 비용을 증가시킨다면, 측정을 덜 하려는 내재적인 유인이 생깁니다.
연구의 역설: 투명성이 경쟁력 저하 요인이 되는 경우
규제 기관, 언론, 법원의 엄격한 감시를 받는 플랫폼의 세계에서는 크게 두 가지 전략을 생각해 볼 수 있습니다.
- 공부는 심각한 해를 끼친다또한 내부 대시보드, 실험 및 사후 분석 시스템을 구축합니다.
- 연구는 최소한의 피해만 입힙니다.구체적인 규정 준수 요건에 집중하고, "좋지 않게 들리는" 문서를 작성하는 것을 피하십시오.
전략(1)의 단점이 이메일, 슬라이드 자료, 실험 결과 등 검색 가능한 자료를 생성한다는 것이라면 합리적인 기업 행위자는 전략(1)이 사용자에게 더 좋더라도 전략(2)로 기울어질 수 있습니다.
이는 연구를 덜 하는 것을 옹호하는 것이 아닙니다. 연구를 장려하는 동기에 대한 설명입니다.
정책적 과제는 "책임감 있는 행동" 접근법(피해를 조사하고 그 결과를 바탕으로 조치를 취하는 것)이 자멸로 이어지지 않는 시스템을 설계하는 것입니다.
메타의 이메일이 지금 다시 주목받는 이유: 소송과 증거개시 절차
해당 이메일은 뉴멕시코 주 법무장관실이 메타가 유해한 디자인 선택을 알고 있었음에도 불구하고 페이스북과 인스타그램을 청소년에게 안전한 플랫폼인 것처럼 기만적으로 홍보했다는 혐의로 진행된 소송에서 증거 수집 과정에서 확보한 것입니다.
해당 사건은 아동 안전, 청소년 정신 건강, 소셜 플랫폼의 제품 책임 이론에 초점을 맞춘 광범위한 소송 및 입법 압력의 흐름과 맥락을 같이합니다. 개별 사건의 결과와 관계없이 절차 자체가 중요합니다. 증거 개시 절차는 내부 논쟁을 공개적인 증거로 전환시키기 때문입니다.
그것은 두 가지 2차적인 영향을 미칩니다.
- 이는 향후 내부 문서 작성에 영향을 미칩니다.경영진들은 자신들이 하는 일뿐만 아니라 그 일을 어떻게 설명하는지에 대해서도 신중해진다.
- 이는 미래 연구의 방향을 제시합니다.만약 어떤 연구가 정치적으로 논란을 불러일으킬 만한 도표를 만들어낼 가능성이 있다면, 누군가는 애초에 그 연구를 할 가치가 있는지 의문을 제기할 것이다.
"애플은 이런 것들을 전혀 연구하지 않는 것 같다": 이 주장의 요점은 무엇인가요?
해당 이메일은 애플과 비교하며, 애플은 이러한 문제들을 같은 방식으로 "연구하지 않는 것 같다"는 점을 지적하고, 따라서 많은 비판을 피할 수 있다고 주장하는 것으로 알려졌습니다.
비록 그러한 비교가 불완전하더라도 (애플은 보안 및 개인정보 보호 관련 자료를 공개하고 있으며, 다른 영역에서도 엄격한 감시를 받고 있다), 핵심은 다음과 같다.제품 범주 및 위험 표면:
- 소셜 플랫폼에는 악성 콘텐츠를 포함하여 사용자가 생성한 콘텐츠가 엄청나게 많이 존재합니다.
- 메시징 제품(특히 종단간 암호화된 제품)은 제공자가 검사할 수 있는 내용을 구조적으로 제한합니다.
- 기기 플랫폼은 ("이것은 사용자가 기기에서 하는 일이다") 책임을 사용자에게 전가할 수 있는 반면, 소셜 피드는 마치 편집자처럼 내용을 증폭시키는 역할을 합니다.
따라서 "왜 그들은 열을 덜 받는가?"라는 질문에는 상당한 기술적 요소가 담겨 있습니다.
아동 안전 관점: 신고 건수가 많으면 죄책감으로 비칠 수 있습니다.
보도 내용 중 하나는 메타가 아동 성학대 자료(CSAM)를 국립실종아동착취센터(NCMEC)에 많이 신고한다는 사실을 지적하며, 신고량이 많다는 것은 "메타에 학대 사례가 더 많다"는 의미로 해석될 수 있다는 것입니다. 하지만 그 이유 중 일부는 다른 데 있습니다.더 많은 탐지 및 보고.
NCMEC 자체 공개 데이터는 그러한 해석의 복잡성을 잘 보여줍니다. 예를 들어, NCMEC는 2024년에 2,050만 건의 보고(조정 후에는 2,920만 건의 사건)를 접수했다고 밝히면서, 보고를 "묶어서" 처리하는 등의 변화가 실제 학대 발생 건수를 줄이지 않고도 집계된 수치를 나타낼 수 있다고 설명합니다.
단순히 숫자만 세는 것은 무딘 도구일 뿐입니다. 중요한 것은요금,탐지 범위, 그리고하류 결과:
- 계정은 얼마나 빨리 삭제되나요?
- 가해자는 신원이 확인되어 법 집행 기관에 인계되었습니까?
- 미성년자를 사전에 보호하기 위한 조치(예: 접촉 제한, 성인의 접근 범위 제한)는 얼마나 자주 시행됩니까?
- 오탐지와 오분류는 어떻게 상충될까요?
공개 토론이 "누가 가장 큰 수치를 기록했는가"에만 초점을 맞추면 기업은 수치를 축소 보고하거나 실제보다 적게 측정하는 경향을 보일 수 있습니다.
메타 분석에 있어서도 연구를 덜 하는 것이 왜 나쁜가
이메일의 우려를 액면 그대로 받아들인다면, 공부량을 줄이는 "해결책"은 매력적으로 보일 수 있습니다. 시험 횟수 감소, 슬라이드 감소, 소환장 발부 횟수 감소 등 여러 이점이 있기 때문입니다.
하지만 이는 자멸적인 행위이기도 합니다.
1) 측정하지 않으면 개선할 수 없습니다.
플랫폼 안전 문제의 상당수는 순위, 추천, 연락 방식, 악용과 관련된 성장 고리 등 시스템적인 문제에서 비롯됩니다. 이러한 문제들은 단 하나의 정책 성명으로 해결될 수 없으며, 측정이 필요합니다.
내부 조사 및 분석이 없다면 회사의 "안전 태세"는 다음과 같아집니다.
- 반응적 (스캔들에 대응하다)
- 일화적인 증거 (가장 큰 불만이 하는 말을 믿으세요)
- 감사 불가 (기준선 없음, 평가 없음)
2) 규제 당국은 어쨌든 증거를 요구할 것입니다.
기업이 민감한 연구를 피하려고 노력하더라도 규제 당국은 여전히 투명성 보고서, 위험 평가 및 감사 가능성을 요구할 수 있습니다. 다시 말해, 자발적으로 증거를 제출하지 않으면 누군가 강제로 제출하게 만들 수 있으며, 결국 압력에 못 이겨 제출해야 할 수도 있다는 뜻입니다.
3) 구별하는 능력을 잃게 됩니다.절충~에서과실
이메일의 주요 내용은 모든 것에는 장단점이 있기 때문에 모든 권장 사항을 실행하는 것이 합리적이지는 않다는 것입니다.
맞습니다. 하지만 "우리는 X를 고려했고 Y를 선택한 이유는…"이라고 설득력 있게 주장하려면 그 과정을 보여주는 것이 유일합니다. 그렇지 않으면 얼버무리는 것처럼 보일 수 있습니다.
연구는 "우리를 믿으세요"라는 말을 "여기 모델, 실험, 측정 결과, 그리고 의사결정 메모가 있습니다"로 바꿔주는 과정입니다.
더 근본적인 문제는 소송으로 인해 내부의 솔직함이 오히려 부담으로 작용한다는 점입니다.
건강한 조직은 솔직함을 중시합니다. "이 기능은 해로울 수 있습니다", "이 그룹은 위험에 처해 있습니다", "이 지표는 좋지 않습니다", "순위를 변경해야 합니다."
하지만 소송과 정보 유출은 솔직함을 두 가지 방식으로 불이익으로 만들 수 있습니다.
- 선택 효과:경영진들이 민감한 생각을 글로 남기는 것을 멈춘다.
- 문화적 영향:팀은 "나쁜" 답변이 나올 수 있는 질문을 피합니다.
두 가지 효과 모두 플랫폼을 더욱 악화시킵니다.
그리고 이는 메타에만 국한된 문제가 아니라, 소비자 기술과 공공 안전이 만나는 지점에서 사업을 운영하는 모든 기업이 직면하는 일반적인 문제입니다.
더 나은 인센티브는 어떤 모습일까요?
사회가 플랫폼이 피해를 측정하고 줄이기를 원한다면, 그 과정이 사회가 감당할 수 있는 방향으로 나아가도록 만들어야 합니다.
정책 결정권자들 사이에서 반복적으로 등장하는 몇 가지 실용적인 아이디어:
1) 성실한 내부 안전 연구를 위한 면책 조항
기업들이 유해성에 대한 문서화된 성실한 조사를 수행하고 그 결과를 바탕으로 의미 있는 조치를 취할 때 제한적인 보호를 받는 체계를 상상해 보세요. 이는 안전이 매우 중요한 일부 산업에서 사고 보고를 처리하는 방식과 유사한 개념입니다.
이는 잘못을 저지른 사람에게 면책권을 준다는 의미가 아닙니다. 잘못을 저지를 유인을 줄인다는 의미입니다.일부러 무지한 상태를 유지하다.
2) 표준화되고 감사된 보고 (공정한 비교를 위해)
각 플랫폼이 서로 다른 정의를 사용하여 안전 지표를 보고한다면, 가공되지 않은 수치는 무기화될 수 있습니다.
표준 정의, 제3자 감사, 그리고 더 명확한 분모(사용자당 비율, 메시지당 비율, 조회당 비율)를 도입하면 "우리가 더 많이 보고했다"는 주장이 홍보 함정이 되지 않을 것입니다.
3) 안전성 연구와 제품 성장 인센티브의 분리
안전성 연구가 성장 목표와 동일한 지휘 체계 내에 놓일 경우, 정치적으로 불편해질 수 있습니다.
구조적 분리는 완전한 독립까지는 아니더라도 안전 관련 질문이 지속적으로 제기되도록 하는 데 도움이 될 수 있습니다.
4) 지표의 의미에 대한 대중의 이해도 향상
공개적인 담론에서는 내부 연구를 마치 고백처럼 다루는 경우가 많습니다.
때로는 그렇습니다. 하지만 때로는 정반대일 수도 있습니다. 회사가 인재를 찾고 있다는 신호일 수 있죠.
좀 더 성숙한 문해력을 가진 사람이라면 다음과 같이 질문할 것입니다.
- 피해 규모는 책임감 있게 측정되었습니까?
- 조사 결과는 적절한 감독 하에 공유되었습니까?
- 어떤 완화 조치가 테스트되었습니까?
- 그 결과 무엇이 바뀌었나요?
다음에 볼 콘텐츠
이메일은 하나의 증거일 뿐입니다. 더 큰 맥락은 세 가지 세력 간의 긴장 관계입니다.
- 투명도:우리는 플랫폼들이 무엇을 알고 있는지 알고 싶습니다.
- 책임:우리는 피해가 무시될 때 그에 따른 결과가 있기를 원합니다.
- 학습 시스템:우리는 지속적인 측정과 개선을 위한 플랫폼이 필요합니다.
이러한 힘들이 제대로 조화를 이루지 못하면 균형 상태는 오히려 왜곡될 수 있습니다. 측정은 줄어들고, 솔직함은 부족해지며, 개선 속도도 느려지는 반면 대중의 분노는 커져 갑니다.
이상적인 인터넷은 플랫폼이 자체 연구 결과를 숨기는 세상이 아닙니다. 이상적인 인터넷은 내부 연구가 일상적으로 이루어지고, 감사를 받으며, 제품 개선을 위한 동력으로 활용되는 세상입니다. 또한 법률 및 정치 시스템이 "피해를 연구하고 개선했다"와 "피해를 연구하고도 고의적으로 아무것도 하지 않았다"를 명확히 구분할 수 있는 세상입니다.
결론적으로
봉인 해제된 주커버그 이메일은 '함정'이라기보다는 동기에 대한 단서로서 더 중요한 의미를 지닌다.
만약 심각한 내부 안전 및 사회 문제 연구를 수행하는 것이 평판 및 법적 문제로 이어질 가능성이 높다면, 기업들은 그러한 연구를 덜 하게 될 것이고, 결국 대중은 손해를 보게 될 것입니다.더 적은실제 위험에 대한 가시성.
정책 목표는 연구 결과를 발표한 플랫폼을 비난하는 것이 아니라, 측정 가능한 개선을 요구하는 것이어야 합니다.그리고책임감 있는 측정이 예외가 아닌 기본값이 되도록 하는 인센티브를 마련해야 합니다.
출처
- https://www.theverge.com/report/874176/meta-zuckerberg-new-mexico-email-teen-girls-research
- https://www.theverge.com/2023/12/6/23990445/facebook-instagram-meta-lawsuit-child-predators-new-mexico
- https://www.missingkids.org/gethelpnow/cybertipline/cybertiplinedata
- https://about.fb.com/news/2024/01/our-work-to-help-provide-young-people-with-safe-positive-experiences/