衡宇 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

離離原上譜。

有位舊金山全職奶爸被谷歌全網(wǎng)封殺了，原因是他為了告知醫(yī)生孩子的病情，用自己的安卓手機(jī)，拍下了兒子腹股溝感染的照片。

結(jié)果谷歌把這些照片標(biāo)記為兒童性虐待材料（CSAM）。

當(dāng)事人立刻決定上訴，但谷歌不僅無情拒絕，還標(biāo)記了他別的視頻和照片，搞得舊金山警察局都開始介入調(diào)查。

推特上網(wǎng)友們展開了激烈討論，有人聚焦在隱私被侵犯上，有人說著寧可嚴(yán)管不能放過，還有一位婦科醫(yī)生開始擔(dān)心起自己的教學(xué)：

這到底是一場(chǎng)烏龍還是大離譜事件？

問題始于2021年2月。那個(gè)星期五的晚上，因兒子腹股溝腫脹，疼痛難忍，馬克夫婦憂心萬分。

在接受第二天的視頻醫(yī)療咨詢前，妻子按照護(hù)士的建議，拍了幾張兒子腹股溝感染處的高清無碼特寫，并上傳到醫(yī)療保險(xiǎn)系統(tǒng)。

為了方便醫(yī)生根據(jù)照片提前初步診斷，妻子拍照時(shí)，馬克用手指指著兒子的不適處。

在照片的幫助下，醫(yī)生診斷并開了抗生素。

△馬克和兒子（圖源《紐約時(shí)報(bào)》）

兒子的病解決了，馬克的麻煩卻來了。

沒過兩天，因“嚴(yán)重違反谷歌政策且可能違法”的“有害內(nèi)容”，馬克的谷歌賬戶被禁用。

“有害內(nèi)容”包括“兒童性虐待和剝削”。

馬克大呼頭疼：

“哦，天哪，谷歌可能認(rèn)為那是兒童色情片。”

更災(zāi)難的事還在后面。馬克是谷歌的重度用戶，從同步日計(jì)劃到備份照片視頻，都靠的是自己的Gmail賬戶。

但由于這哭笑不得的烏龍，多米諾效應(yīng)接踵而來——他被谷歌全網(wǎng)封殺了！

他失去了對(duì)自己電子郵件、聯(lián)系人、照片的訪問權(quán)，Google Fi賬戶也被關(guān)閉了（這意味著他必須得去另一家運(yùn)營(yíng)商申請(qǐng)一個(gè)新電話號(hào)）。

走法律流程起訴，大概得花掉7000美元。“emm……我認(rèn)為它可能不值7000美元。”馬克說。

不過，馬克曾經(jīng)在一家大型科技公司擔(dān)任自動(dòng)化工具的軟件工程師，該工具用于刪除被用戶標(biāo)記為有問題的視頻內(nèi)容。

他知道，為了保證AI不出錯(cuò)，通常還有人工審核流程。

因此剛開始馬克還沒那么愁，他覺得只要進(jìn)入人工審核階段，他就能找回自己的賬戶。不然，他會(huì)和自己之前的數(shù)字生活“天人永隔”。

他填了申請(qǐng)表，解釋了兒子的感染情況，要求谷歌對(duì)決定進(jìn)行審查。

幾天后谷歌審查團(tuán)隊(duì)回應(yīng)稱不會(huì)恢復(fù)賬戶，還悄沒聲標(biāo)記了他別的視頻和照片。更要命的是，舊金山警察局已經(jīng)開始調(diào)查他。

不過有點(diǎn)好笑，因?yàn)镚oogle Fi和Gmail被禁用，警員聯(lián)系不上馬克。

△圖源《紐約時(shí)報(bào)》

費(fèi)盡周折聯(lián)系上后，調(diào)查員對(duì)馬克進(jìn)行了全面審查，最終認(rèn)定這不構(gòu)成虐待或剝削兒童。

但警方?jīng)]辦法直接和谷歌溝通，說明馬克的無辜；后來馬克提供警方報(bào)告，再次向谷歌上訴，仍無濟(jì)于事。

無獨(dú)有偶，馬克賬戶被禁用的第二天，德克薩斯州上演了同樣的戲碼。

另一位孩子爹根據(jù)兒科醫(yī)生的要求，用安卓手機(jī)拍了自家寶貝“內(nèi)臟部位”感染處的照片，照片自動(dòng)備份到了谷歌云，而后他又用谷歌聊天把照片傳給了孩子?jì)尅?/p>

結(jié)果驚人的相似，他的Gmail賬戶同樣被禁用。因?yàn)闆]有電子郵件地址，他差點(diǎn)沒法買房。

休斯頓警方邀請(qǐng)他到警局喝杯咖啡，在出示和兒科醫(yī)生的聊天記錄后，他很快被放出警局。

警察認(rèn)為他無罪，谷歌卻不這么認(rèn)為。盡管他是用了10年付費(fèi)賬戶的老谷歌用戶了，賬號(hào)還是找不回來。

現(xiàn)在，這位孩子爹不得不用Hotmail地址發(fā)送電子郵件，并被朋友們無情嘲笑。

2021年，谷歌提交了超過62萬份涉嫌虐待兒童的報(bào)告，禁用了超過27萬名用戶的賬戶，提醒當(dāng)局發(fā)現(xiàn)了4260名潛在的兒童性虐待受害者。

當(dāng)然，其中包括了上文被冤枉的兩位奶爸。

收集大量數(shù)據(jù)的科技巨頭們會(huì)充當(dāng)把關(guān)哨兵，檢查內(nèi)容，以監(jiān)測(cè)和預(yù)防犯罪行為。每年，它們會(huì)標(biāo)記兒童被剝削或性虐待的圖像數(shù)百萬次。

但內(nèi)容檢查可能需要窺視私人檔案，比如偷看你的電子相冊(cè)。兩位奶爸就是沒有料到這一遭，才讓“求醫(yī)心切”在谷歌那兒變成了“兒童性虐待”。

把關(guān)的時(shí)候，科技巨頭們一般會(huì)用兩種工具：

一種是微軟2009年發(fā)布的PhotoDNA。

△PhotoDNA工作原理

它建立了一個(gè)虐童照片數(shù)據(jù)庫(kù)，把每個(gè)人電子相冊(cè)的照片和數(shù)據(jù)庫(kù)里的照片對(duì)比，就算照片有細(xì)微不同，也能找出傳播虐童圖像的用戶。

包括Facebook、Twitter和Reddit在內(nèi)，都使用PhotoDNA。

另一種是2018年，谷歌發(fā)布的開發(fā)者工具包Content Safety API。

它使用深度神經(jīng)網(wǎng)絡(luò)來處理圖像，讓審查員在相同時(shí)長(zhǎng)內(nèi)，處理的虐童圖像內(nèi)容增加了700%。

谷歌自己使用這個(gè)AI工具包，也開源給Facebook等使用。

這個(gè)AI工具包的大致審查流程是這樣的：

兩位奶爸的照片自動(dòng)備份到谷歌云，并被標(biāo)記人工審核↓人工審核，確認(rèn)這些照片符合對(duì)虐童圖像的定義↓鎖定用戶賬戶，繼續(xù)搜索賬戶中其他虐童圖像（馬克還有一張晨起全家賴床的照片，因衣衫不整，又又又被標(biāo)記了）↓向國(guó)家失蹤和受虐兒童中心（NCMEC）的CyberTipline報(bào)告

不得不說，谷歌AI工具包在識(shí)別圖像內(nèi)容方面展現(xiàn)出了驚人能力，CyberTipline2021年每天收到約8萬份報(bào)告，由40名分析師審核，以便NCMEC能進(jìn)一步報(bào)告給警方。

CyberTipline主管說，這是“系統(tǒng)正常工作”。

但這無疑是雙刃劍，畢竟如果情節(jié)被判嚴(yán)重，哪怕父母是無辜的，也可能失去孩子的監(jiān)護(hù)權(quán)。

雖然上文提到的兩位奶爸都是用安卓拍照遭的殃，但蘋果用戶別高興得太早。

畢竟，只要用谷歌，就會(huì)面臨被審查。

更何況，去年蘋果還宣布兒童安全（Child Safety）計(jì)劃時(shí)，鬧出的動(dòng)靜也不小。

蘋果在發(fā)布的iOS/iPad OS 15.2的第二個(gè)測(cè)試版（內(nèi)部版本號(hào)：19C5036e）中，增加了對(duì)兒童的保護(hù)。

簡(jiǎn)單理解一下，就是蘋果要在iOS和iPadOS系統(tǒng)里加上圖片審查功能，自動(dòng)檢測(cè)iPhone和iCloud是否涉及兒童色情影像與圖片，用來打擊兒童相關(guān)性犯罪。

當(dāng)時(shí)一片反對(duì)聲被掀起，不少用戶認(rèn)為隱私會(huì)被侵犯，90 多個(gè)非政府組織寫公開信表達(dá)嚴(yán)重不滿。

最終，蘋果擱置了這項(xiàng)計(jì)劃，無限延期。

奶爸烏龍事件發(fā)生后，馬克的妻子火速?gòu)淖约旱膇Phone里刪除了為兒子拍攝的照片，生怕蘋果也標(biāo)記她的賬戶。

針對(duì)這件事，谷歌兒童安全運(yùn)營(yíng)負(fù)責(zé)人表示：“受大環(huán)境影響，加上遠(yuǎn)程醫(yī)療日漸普及，父母確實(shí)有必要給孩子拍照，輔助醫(yī)生診斷。”

她說，谷歌已經(jīng)找兒科醫(yī)生幫忙，方便人工審查員了解并分辨出于醫(yī)療原因拍下的類似照片。

而馬克仍然在為找回谷歌賬戶奔波。

在得知舊金山警方把他的谷歌賬戶內(nèi)容保存在拇指驅(qū)動(dòng)器上后，馬克現(xiàn)在最大的心愿就是獲得一份副本。

不然可太不方便了！

參考鏈接：[1]https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html?auth=login-email&login=email[2]https://twitter.com/kashhill/status/1561320951102558208