衡宇 發自 凹非寺量子位 | 公眾號 QbitAI

離離原上譜。

有位舊金山全職奶爸被谷歌全網封殺了，原因是他為了告知醫生孩子的病情，用自己的安卓手機，拍下了兒子腹股溝感染的照片。

結果谷歌把這些照片標記為兒童性虐待材料（CSAM）。

當事人立刻決定上訴，但谷歌不僅無情拒絕，還標記了他別的視頻和照片，搞得舊金山警察局都開始介入調查。

推特上網友們展開了激烈討論，有人聚焦在隱私被侵犯上，有人說著寧可嚴管不能放過，還有一位婦科醫生開始擔心起自己的教學：

這到底是一場烏龍還是大離譜事件？

問題始于2021年2月。那個星期五的晚上，因兒子腹股溝腫脹，疼痛難忍，馬克夫婦憂心萬分。

在接受第二天的視頻醫療咨詢前，妻子按照護士的建議，拍了幾張兒子腹股溝感染處的高清無碼特寫，并上傳到醫療保險系統。

為了方便醫生根據照片提前初步診斷，妻子拍照時，馬克用手指指著兒子的不適處。

在照片的幫助下，醫生診斷并開了抗生素。

△馬克和兒子（圖源《紐約時報》）

兒子的病解決了，馬克的麻煩卻來了。

沒過兩天，因“嚴重違反谷歌政策且可能違法”的“有害內容”，馬克的谷歌賬戶被禁用。

“有害內容”包括“兒童性虐待和剝削”。

馬克大呼頭疼：

“哦，天哪，谷歌可能認為那是兒童色情片。”

更災難的事還在后面。馬克是谷歌的重度用戶，從同步日計劃到備份照片視頻，都靠的是自己的Gmail賬戶。

但由于這哭笑不得的烏龍，多米諾效應接踵而來——他被谷歌全網封殺了！

他失去了對自己電子郵件、聯系人、照片的訪問權，Google Fi賬戶也被關閉了（這意味著他必須得去另一家運營商申請一個新電話號）。

走法律流程起訴，大概得花掉7000美元。“emm……我認為它可能不值7000美元。”馬克說。

不過，馬克曾經在一家大型科技公司擔任自動化工具的軟件工程師，該工具用于刪除被用戶標記為有問題的視頻內容。

他知道，為了保證AI不出錯，通常還有人工審核流程。

因此剛開始馬克還沒那么愁，他覺得只要進入人工審核階段，他就能找回自己的賬戶。不然，他會和自己之前的數字生活“天人永隔”。

他填了申請表，解釋了兒子的感染情況，要求谷歌對決定進行審查。

幾天后谷歌審查團隊回應稱不會恢復賬戶，還悄沒聲標記了他別的視頻和照片。更要命的是，舊金山警察局已經開始調查他。

不過有點好笑，因為Google Fi和Gmail被禁用，警員聯系不上馬克。

△圖源《紐約時報》

費盡周折聯系上后，調查員對馬克進行了全面審查，最終認定這不構成虐待或剝削兒童。

但警方沒辦法直接和谷歌溝通，說明馬克的無辜；后來馬克提供警方報告，再次向谷歌上訴，仍無濟于事。

無獨有偶，馬克賬戶被禁用的第二天，德克薩斯州上演了同樣的戲碼。

另一位孩子爹根據兒科醫生的要求，用安卓手機拍了自家寶貝“內臟部位”感染處的照片，照片自動備份到了谷歌云，而后他又用谷歌聊天把照片傳給了孩子媽。

結果驚人的相似，他的Gmail賬戶同樣被禁用。因為沒有電子郵件地址，他差點沒法買房。

休斯頓警方邀請他到警局喝杯咖啡，在出示和兒科醫生的聊天記錄后，他很快被放出警局。

警察認為他無罪，谷歌卻不這么認為。盡管他是用了10年付費賬戶的老谷歌用戶了，賬號還是找不回來。

現在，這位孩子爹不得不用Hotmail地址發送電子郵件，并被朋友們無情嘲笑。

2021年，谷歌提交了超過62萬份涉嫌虐待兒童的報告，禁用了超過27萬名用戶的賬戶，提醒當局發現了4260名潛在的兒童性虐待受害者。

當然，其中包括了上文被冤枉的兩位奶爸。

收集大量數據的科技巨頭們會充當把關哨兵，檢查內容，以監測和預防犯罪行為。每年，它們會標記兒童被剝削或性虐待的圖像數百萬次。

但內容檢查可能需要窺視私人檔案，比如偷看你的電子相冊。兩位奶爸就是沒有料到這一遭，才讓“求醫心切”在谷歌那兒變成了“兒童性虐待”。

把關的時候，科技巨頭們一般會用兩種工具：

一種是微軟2009年發布的PhotoDNA。

△PhotoDNA工作原理

它建立了一個虐童照片數據庫，把每個人電子相冊的照片和數據庫里的照片對比，就算照片有細微不同，也能找出傳播虐童圖像的用戶。

包括Facebook、Twitter和Reddit在內，都使用PhotoDNA。

另一種是2018年，谷歌發布的開發者工具包Content Safety API。

它使用深度神經網絡來處理圖像，讓審查員在相同時長內，處理的虐童圖像內容增加了700%。

谷歌自己使用這個AI工具包，也開源給Facebook等使用。

這個AI工具包的大致審查流程是這樣的：

兩位奶爸的照片自動備份到谷歌云，并被標記人工審核↓人工審核，確認這些照片符合對虐童圖像的定義↓鎖定用戶賬戶，繼續搜索賬戶中其他虐童圖像（馬克還有一張晨起全家賴床的照片，因衣衫不整，又又又被標記了）↓向國家失蹤和受虐兒童中心（NCMEC）的CyberTipline報告

不得不說，谷歌AI工具包在識別圖像內容方面展現出了驚人能力，CyberTipline2021年每天收到約8萬份報告，由40名分析師審核，以便NCMEC能進一步報告給警方。

CyberTipline主管說，這是“系統正常工作”。

但這無疑是雙刃劍，畢竟如果情節被判嚴重，哪怕父母是無辜的，也可能失去孩子的監護權。

雖然上文提到的兩位奶爸都是用安卓拍照遭的殃，但蘋果用戶別高興得太早。

畢竟，只要用谷歌，就會面臨被審查。

更何況，去年蘋果還宣布兒童安全（Child Safety）計劃時，鬧出的動靜也不小。

蘋果在發布的iOS/iPad OS 15.2的第二個測試版（內部版本號：19C5036e）中，增加了對兒童的保護。

簡單理解一下，就是蘋果要在iOS和iPadOS系統里加上圖片審查功能，自動檢測iPhone和iCloud是否涉及兒童色情影像與圖片，用來打擊兒童相關性犯罪。

當時一片反對聲被掀起，不少用戶認為隱私會被侵犯，90 多個非政府組織寫公開信表達嚴重不滿。

最終，蘋果擱置了這項計劃，無限延期。

奶爸烏龍事件發生后，馬克的妻子火速從自己的iPhone里刪除了為兒子拍攝的照片，生怕蘋果也標記她的賬戶。

針對這件事，谷歌兒童安全運營負責人表示：“受大環境影響，加上遠程醫療日漸普及，父母確實有必要給孩子拍照，輔助醫生診斷。”

她說，谷歌已經找兒科醫生幫忙，方便人工審查員了解并分辨出于醫療原因拍下的類似照片。

而馬克仍然在為找回谷歌賬戶奔波。

在得知舊金山警方把他的谷歌賬戶內容保存在拇指驅動器上后，馬克現在最大的心愿就是獲得一份副本。

不然可太不方便了！

參考鏈接：[1]https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html?auth=login-email&login=email[2]https://twitter.com/kashhill/status/1561320951102558208