編輯：火柴Q、甲小姐，收集、撰稿：小青狐，設計：孫佳棟，微信公眾號：甲子光年(ID:jazzyear)

從諸神云集的奧林匹斯山，到二戰(zhàn)中掙扎求存的敦刻爾克，再到隱匿在虛擬世界的網(wǎng)絡攻擊和反攻擊，善惡交戰(zhàn)從未停止。

然而，善惡對抗的本質(zhì)正在被“工具”改變。

對正義一方來說，可怕的不是敵人太強大，而是找不到一個明確的敵人。某些情況下，威脅并非來自某個想毀滅世界的瘋子，威脅潛伏在看似平凡、并無惡意的日常生活里。

近期引起大范圍輿論關注的艾莎門（Elsagate）兒童邪典視頻事件正是如此，我將它視為一種“無主之惡”。

“無主之惡”有兩層含義。 

第一，惡的源頭十分分散，它表現(xiàn)為高度信息化社會中一種特殊的協(xié)作和傳播模式：“Stand Alone Complex”（孤立個體集合體）。 

第二，促進惡發(fā)生和傳播的機制，最開始被設計出來時是中性，甚至是出于好意的，最后卻“事與愿違”地釀成惡果：在“艾莎門”中，流量經(jīng)濟+智能推薦算法成了侵害兒童的幫兇。

對于這種無主之惡，大部分人沒有應對和處理的經(jīng)驗，所以類似事件出現(xiàn)時，總是陰謀論滿天飛、粗暴的“一刀切”大行其道。 

是時候，我們該從“打Boss”的認知框架里跳出來了。

在新型的惡面前，我們必須找到新的對抗方式。

一次無人負責的恐襲事件

在討論“無主之惡”前，我們先來看看艾莎門視頻的來龍去脈。

（注：如果還沒有看過Elsagate的具體面貌，以下內(nèi)容可能會讓你很不適，提前預警。）

1月16日，一篇翻譯自外網(wǎng)的微博長文《一群變態(tài)鎖定觀看YouTube的孩童，我以前為他們工作》使一座被稱為“Elsagate”（艾莎門）的冰山浮出水面。 

這些充斥著針管、懷孕、尸體、血腥、性暗示等極為惡心、變態(tài)的內(nèi)容的視頻，卻被YouTube等網(wǎng)站平臺打上了“兒童”、“母嬰”等標簽，推薦到孩子們眼前。 

在這里，Elsa公主懷孕是家常便飯。

面目可憎的小丑會割下天線寶寶的頭。

昆蟲和糞便被當做食物。

這類找不到單一制造者和源頭的視頻被統(tǒng)稱為“Elsagate”，事件爆出后引起了大范圍關注。人民日報、新華社等多家媒體紛紛報道，知乎上關于“如何看待Elsagate事件”的問題已有800余條回答，接近500萬次閱讀。 

這些視頻的危害性遠不是“嚇到孩子”這么簡單。

Elsagate類的視頻經(jīng)常使用鮮艷的紅、藍、綠、黃、粉紅等顏色。這些色彩強烈地刺激兒童大腦，加深不良行為的印象，甚至導致成癮。

而這些視頻的主角，又是孩子們熟悉和羨慕的Elsa(《冰雪奇緣》女主角)、蜘蛛俠、米老鼠等卡通形象。這一方面讓視頻被算法歸類、推薦到兒童頻道，另一方面也大大刺激著孩子們的模仿行為。

美國著名心理學家班杜拉曾經(jīng)做過一個叫“波波玩偶”的實驗：將48個孩子分成A、B兩組，在A組面前，成人會表演毆打、侮辱、錘擊波波玩偶；B組則沒有觀看這些。而當孩子們進入一個有同樣玩偶的房間，A組的孩子會非常開心地按照成人的樣子毆打這個玩偶，B組則很少會有攻擊性行為。

Elsagate類視頻也有“波波玩偶”效應：知乎上，一些網(wǎng)友提到孩子在觀看Elsagate類視頻后，出現(xiàn)了成癮反應甚至暴力傾向：

專門研究兒童暴力、兒童性虐待現(xiàn)象的Judith Reisman博士說：這些視頻完完全全就是為了將兒童引導到性，暴力，藥物，虐待。從業(yè)幾十余年來，她見過惡心中的惡心、罪惡中的罪惡，但像這些Elsagate視頻，是前所未見的“惡毒、殘忍、卑鄙”。

而現(xiàn)在，空前惡毒和殘忍的Elsagate視頻在YouTube上的單個最高點擊已超過兩千萬，總點擊量上百億。國內(nèi)主流視頻平臺愛奇藝、騰訊、優(yōu)酷均發(fā)現(xiàn)了大量類似視頻，甚至蔓延到今日頭條和快手。

家里的沙發(fā)上、地鐵里、電梯里……當你身邊懵懂的孩子盯著屏幕移不開眼時，他可能就是在看Elsagate類視頻。

“Stand Alone Complex”（孤立個體集合體）

無主之惡的第一層含義是：讓家長、視頻網(wǎng)站和全世界監(jiān)管部門頭疼的，傳播量巨大的Elsagate卻很難找到一個單一的源頭：野火燒不盡，春風吹又生。 

YouTube在11月刪除超過15萬個視頻，查封了270多個賬號。但就在今天，我們?nèi)钥吹筋愃频囊曨l在源源不斷地出現(xiàn)。

這很像15年前的科幻經(jīng)典《攻殼機動隊》劇場版中，描述的一種信息化社會的新型犯罪：“Stand Alone Complex（孤立個體集合體）”——一些事先并不存在聯(lián)系的孤立個體，有意或無意做出類似的行為，從外部看是一場有組織的陰謀，但你卻找不到始作俑者。

《攻殼機動隊》里的Stand Alone Complex發(fā)源于“笑臉男事件”。

一名超A級黑客曾出于正義感入侵了一位要人的大腦，令其在電視面前說出某個秘密。逃脫時，這名極客用笑臉圖標遮蔽自己，成功從整個網(wǎng)絡中消失。

笑臉男

此后，出現(xiàn)了大量自稱“笑臉男”、謀殺警方要員的模仿犯罪。參與進來的眾多"笑臉男"，動機、訴求各不相同，卻共同造成了巨大的社會震動。

Elsagate兒童邪典視頻事件，正是一個“笑臉男”式的行動：“母版”不明的拷貝大量充斥網(wǎng)絡。

你無法看到面目統(tǒng)一的"壞蛋"，惡意此起彼伏地涌現(xiàn)——到現(xiàn)在為止，在這場被一些人稱為大規(guī)模“兒童恐襲”的事件背后，居然找不到一個明確的“恐怖分子頭目”。

最初被《衛(wèi)報》、《紐約時報》等媒體爆出具有不良誘導內(nèi)容的YouTube頻道叫“webs and tiaras”，但今天，仍能在YouTube上搜出大量仿號，成立時間從2016年、2017年到最近，不一而足。

除視頻外，一些游戲平臺和應用商店甚至App Store均發(fā)現(xiàn)了大量與該類視頻畫風雷同的游戲軟件。

全球范圍內(nèi)的模仿者更難抑制。在國內(nèi)，一些人最初只是搬運YouTube上的內(nèi)容，加中文配音，接著開始有公司生產(chǎn)本土邪典視頻。

比如以下這種讓中國孩子參與拍攝的真人秀。優(yōu)酷、快手上都有大量類似內(nèi)容。動畫形象也從Elsa、蜘蛛俠擴展到中國兒童更熟悉的光頭強等。

這些賬號背后是否有關聯(lián)？現(xiàn)在不得而知?？赡苁怯薪M織的行為加無組織的模仿的混合體。

Stand Alone Complex還有一個特點：在模仿和跟風中，初始動機變得十分模糊。

最直接的猜想是經(jīng)濟利益。這些制作邪典視頻的公司很有可能是瞄著點擊量和廣告分成的收益。一些視頻中還會直接推廣玩具，似乎是為了帶動銷量。

在有關部門下令整改后，曾在國內(nèi)平臺發(fā)布大量相關視頻的“歡樂迪士尼”（現(xiàn)改名為“深海5萬米”），表示自己只是想要沖擊點擊量。

但如果只是為了錢，難以解釋古怪的工作狀態(tài)，收益似乎也難以覆蓋成本：

《一群變態(tài)鎖定觀看YouTube的孩童，我以前為他們工作》中，作者陳述的工作狀況

令人匪夷所思的是，一向?qū)Π鏅?quán)高度看重的迪士尼和漫威公司，面對如此大規(guī)模的侵權(quán)，目前卻沒有采取有力措施。

作惡者分散、模糊的動機，以及從一個點到多點的漸進式傳播，使邪典視頻潛伏了很長一段時間——早在2016年6月，英國《衛(wèi)報》就報道過YouTube 上誘導性視頻，但直到去年7月，Elsa公主被各種開喉、開顱的視頻被《紐約時報》報道，Elsagate才引起了大范圍關注。等這件事引爆中國輿論時，又已是半年后的2018年1月。

這正是Stand Alone Complex的可怕之處：如果惡魔只是一個人，一個單一的組織，我們有明確的對抗目標；而當惡的源頭分散為無數(shù)個體，且一點點在網(wǎng)絡里擴張時，我們很難及時反應。而等細小而隱秘的惡，累積成勢時，已很難遏制。

一萬個沙漠里的游擊隊員，比一個強大的“本拉登”更有破壞力。傳統(tǒng)的“打BOSS”思維已經(jīng)不靈了。

推薦算法 + 流量經(jīng)濟：無意識的幫兇

 “無主之惡”的第二層含義是：我們習以為常的事物，可能無意間成了惡的幫兇。一部分參與其中的作惡者是無意識的。

在Elsagate事件中，幫兇是智能推薦算法+流量經(jīng)濟。

這套機制最初被發(fā)明時，任何參與其中的人，都不會想到自己的智慧有一天會被用來侵害兒童。

如今備受爭議的YouTube、Facebook、今日頭條、微博等公司，會冤枉地認為，我們只是想賺錢，這在商業(yè)社會再正當不過了。

怎么賺錢？——想方設法地吸引流量，提高用戶停留時長，從流量上賺廣告收入。

怎么更低成本、更高效率地吸引流量？——智能推薦算法，讓計算機學習用戶對內(nèi)容的喜好，你越喜歡什么，就越給你推什么。

十年來，這套機制越來越純熟，也許你男友都不知道你情人節(jié)想要什么，亞馬遜卻知道。

YouTube擁有據(jù)稱世界上最復雜的推薦系統(tǒng)。這個系統(tǒng)簡單來說分為兩層：第一層，從后臺視頻庫中選取數(shù)百萬個相關視頻進入“候選視頻生成層”；第二層，根據(jù)用戶的觀看歷史抽取幾百個視頻傳輸至“排名層”，再根據(jù)綜合打分選出十幾個視頻推薦給用戶。國內(nèi)的視頻網(wǎng)站，也運用了類似的推薦方法。

sagate聰明地利用了這個推薦系統(tǒng)：通過大量動漫角色的名字以及打上搞笑、兒童等標簽被算法自動判定為兒童視頻，并經(jīng)常在推薦順序中靠前，兒童只要點進一個，網(wǎng)站就會推薦同類型的視頻一個接一個地播放。

Elsagate是流量經(jīng)濟和算法惡果的極端體現(xiàn)。其實，即使是成年人，每天也都在受到更多“無傷大雅”卻實實在在的損害和困擾。 

還記得那篇轟動一時的《殘酷底層物語：一個視頻軟件的中國農(nóng)村》嗎？作者在寫文章時點擊了大量“兒童喝酒”、“生吃死豬”、“早婚”題材的短視頻，他的快手推薦頁成了下面這幅模樣：

《連線》雜志的馬特?霍楠（Mat Honan）曾做過一個試驗，他計劃在自己的 Facebook 上連續(xù)點贊 48 小時，只要系統(tǒng)推薦就點贊，想看看最后Facebook會給他展示什么。然而短短一小時后，馬特的信息流里已經(jīng)沒有人類了：全是品牌推廣和廣告。

睡覺之前，他嘗試點贊了一條支持以色列的消息。次日早上，他的信息流內(nèi)容完全轉(zhuǎn)向極右。

后起之秀今日頭條，更是把這種智能推薦、分發(fā)的殺手锏玩到了極致。同一個APP，卻千人各不相同，張一鳴創(chuàng)業(yè)時引以為傲的“一整層”工程師，大部分都是在研究精準推薦算法。你愛看八卦，就天天給你八卦；你想開車，就每條都是老司機；你愛國、你粉紅，就滿屏都是熱血新聞。

知名互聯(lián)網(wǎng)評論家Keso曾說：“準確地抓撓人性弱點并不等同于用戶價值，勾引用戶將大把的時間拋灑在層出不窮的無聊事情上，并不等于用戶價值，這只是一種變相的用現(xiàn)代化的傳播手段制造出的價值幻象。”

你是誰不重要，你想成為什么樣的人也不重要，你會消費什么才重要。 

這種價值觀支撐今日頭條和Facebook成為估值百億美金和千億美金的龐然大物，卻不管置身網(wǎng)絡之中的用戶被困在“回聲室效應”里：獲取的信息都在支持已有的知識與觀點，不能開拓眼界，反而固步自封。

互聯(lián)網(wǎng)曾經(jīng)的愿景，是把世界連接成“地球村”；現(xiàn)在卻以“個性化”的名義劃出一個個孤島。

在整個互聯(lián)網(wǎng)發(fā)展史上，流量加算法的機制就是最初夏娃吃下的那顆蘋果——從此，互聯(lián)網(wǎng)走出樂園，進入人間，巨頭涌現(xiàn)，高墻壘起。

這可不是技術許諾給人們的開放和自由。

新的反擊方式

新的技術環(huán)境產(chǎn)生了新型的無主之惡，我們也必須用新的方式來反擊。

監(jiān)管需要嗎？一定需要。

對于任何內(nèi)容平臺，監(jiān)管必不可少。因為公司本身是商業(yè)利益驅(qū)動的，靠流量、廣告吃飯，沒有外力，他們很難自己打掉自己的飯碗。 

專注視覺計算的泛化智能CEO王漢洋告訴「甲子光年」，即使視頻識別技術能夠準確鑒別Elsagate類視頻，但“如果監(jiān)管不強制要求，不會有網(wǎng)站主動做這個，不賺錢”。

僅有監(jiān)管足夠嗎？一定不夠。

舉個例子：此次Elsagate發(fā)酵后，我國監(jiān)管部門反應得很快，全國“掃黃打非”辦公室已部署開展深入監(jiān)測和清查，大量有害視頻被下架。但這仍然是“一刀切”，鋒利，也有誤傷。目前在國內(nèi)視頻網(wǎng)站上，搜索“elsa”“愛莎”不僅看不到邪典視頻，正常的視頻也完全看不到了；在百度視頻上，“小豬佩奇”、“蜘蛛俠”等關鍵詞也搜不出任何內(nèi)容。

長遠來看，不可能出來一個東西，就禁掉一片。所有人都要意識到，這是一場持久戰(zhàn)，不可能一次告捷。

針對作惡源頭在時空上的分散性，「甲子光年」認為，最佳的解決方式是：做好“多層防護漏斗”——在整個內(nèi)容生產(chǎn)、分發(fā)、傳播的過程中多點著力，融合技術和人力，且做好動態(tài)預警、應對的準備。 

第一道關卡是視頻平臺的審核。

很多人在了解Elsagate事件后，第一反應是：難道沒有審核機制嗎？

當然有，但僅在YouTube上，目前全球平均每分鐘就有長達 400 小時的視頻被上傳，人工審核是絕對審核不完的。所以視頻網(wǎng)站的大部分審核由程序根據(jù)文字描述和截圖識別完成。如果發(fā)布人員在提交視頻時精心偽裝，很容易就能蒙混過關。

而技術將扮演越來越重要的角色，因為機器可以不斷“學習”。

視頻識別技術，是通過深度學習，對標注好的圖片的特定內(nèi)容進行分類學習，訓練出可以識別特定特征的模型。在應用時將視頻截幀，識別出每一幀內(nèi)容，最終便可轉(zhuǎn)化為整個視頻的識別結(jié)果。

理論上來說，只要標注清晰，數(shù)據(jù)足夠，識別率就會相應較高。比如“鑒黃”，機器就經(jīng)歷了自我學習的過程：一開始，機器僅僅能通過識別圖片中特殊顏色的面積進行鑒別，想蒙混過關的人只需加大圖片上下黑邊的面積就能通過審核；后來，通過學習海量標注過的黃色圖片，鑒黃的準確率才慢慢提升，時至今日，多家主流公司都宣稱已經(jīng)達到了99%以上的準確率。

但識別Elsagate比鑒黃更難：因為機器很難判斷“邊界”。

在“鑒黃鑒暴”領域有豐富積累的圖普科技的運營負責人姜澤榮告訴「甲子光年」：一部分明確的畫面特征，比如斷頭、血腥、特定人物形象懷孕等，可以有效識別；但假如一個打針的場景，如果人都很難把它和正常打針相區(qū)分，機器也很難進行辨別。

云從科技研究院院長周翔說：“這些視頻中有的信息非常隱蔽，人一眼就能看懂，是由于人本身有多年社會經(jīng)驗，而計算機是不懂得這些經(jīng)驗的，它沒有人生閱歷，得不到圖片和視頻的內(nèi)在意義?！?nbsp;

在機器審核這條路上，馬拉松才跑了不到十分之一。

第二道關卡是傳播和分發(fā)。

這涉及到對整個智能推薦算法的改進。在熱鬧發(fā)展了近10年后，流量經(jīng)濟加推薦算法帶來的社會困擾開始顯現(xiàn)。

2016年美國大選期間，俄羅斯透過 Facebook 假帳戶，花了 10 萬美元傳播干預選舉的假新聞，使得“教皇支持特朗普”、“奧巴馬不在美國出生”等假新聞高高飄在首頁；去年，美國非盈利新聞媒體ProPublica在Facebook上做了一個實驗，花30美元透過“納粹黨”、“親衛(wèi)隊”等幾個仇恨猶太人的關鍵詞，成功給超過19萬目標用戶精準推薦了廣告。

算法推薦帶來了層出不窮的“標題黨”和假新聞。面對質(zhì)疑，張一鳴和扎克伯格曾經(jīng)出奇一致地表態(tài)：我們是技術公司又不是媒體，一切由算法完成，不進行人工干預。

然而如今，F(xiàn)acebook被叫到國會參加聽證會，之后宣布將對可信新聞源進行排名來對抗假新聞。

今日頭條更是在被互聯(lián)網(wǎng)信息辦公室約談后，開了24個小時的天窗，緊急招募了2000位內(nèi)容審核編輯。

第三道關卡是對已發(fā)布視頻的識別和刪除。

上傳階段的視頻識別目前有一個瓶頸：深度學習需要根據(jù)已有的數(shù)據(jù)來學習，而在Elsagate出現(xiàn)之前，不可能有人告訴機器這類視頻是不對的。

因此，視頻發(fā)布之后，借助早期用戶的反饋，動態(tài)地為視頻增加標簽，及時發(fā)現(xiàn)不良視頻并給予處理，便可以防微杜漸，防止不良視頻蔓延。

「甲子光年」認為，平臺其實可以設計一套新穎的激勵模式，及時發(fā)現(xiàn)已上傳的有危害的視頻：比如，當用戶率先發(fā)現(xiàn)某個不良視頻，可以主動給其打上標簽；當用戶貢獻的標簽得到后續(xù)用戶的認可和支持后，用戶可以按照貢獻分取適當?shù)牧髁渴找妗@能激勵所有用戶參與到內(nèi)容環(huán)境的監(jiān)測中，內(nèi)容在動態(tài)之中得到健康和過濾；而當某個視頻最終被判定為不良視頻時，發(fā)布者將得到扣款和懲罰。

沒有最終的勝利，只有持續(xù)的戰(zhàn)斗

后來導致惡果的東西，最開始可能看起來理所應當，無可置疑。

就好像你很難把現(xiàn)在的混亂怪罪到最初塑造流量經(jīng)濟和推薦算法這種高效工具的人或組織身上。機制的強大之處就在于，一旦被發(fā)明出來，就具有了某種不受人控制的獨立性。

在車禍事故中，時不時有司機碾壓傷者致死的新聞：如果傷者死亡，司機只需一次性賠付一筆賠償金，而如果傷者重傷住院，司機需要養(yǎng)他一輩子；更長的產(chǎn)假，初衷是保證婦女權(quán)益，現(xiàn)在卻成了一些用人單位“不要結(jié)婚未孕婦女”的根源——所有無辜的機制，都可能產(chǎn)生兇險的惡。

一個極端的故事是“盲井”。

2013年年末，山西的一處礦井發(fā)生困難，一位工人死亡。但當?shù)V廠經(jīng)營者見到趕來料理后事的家屬時，卻疑惑地發(fā)現(xiàn)，他們只是匆匆看了一眼尸體，就開始平靜地談索賠條件。

這牽出了一個驚天大案：原來這個團伙一直誘騙人到煤礦打工，在井下殺死被害者，再冒充家屬找礦主賠錢。殺人越貨的勾當干了十二票，只有一次未遂。

哪怕一種機制再必要和完備，作惡的人，總會想盡辦法鉆漏洞。

在技術賦能每個人的時代，這更加提醒機制的設計者和每一個使用者：手握利器，殺心自起。

面對系統(tǒng)中不斷涌現(xiàn)的惡，面對分散在各處的“Stand Alone Complex”，不要忘記我們自己也是可以行動的個體。

聯(lián)合起來，積累力量，在新的善惡交鋒中，不會有最終的勝利，只有持續(xù)的戰(zhàn)斗。

從這個意義上講，唯有“無主之善”，才能真正全面動態(tài)地對抗“無主之惡”。

本文轉(zhuǎn)自微信公告號“甲子光年”（ID：jazzyear），作者小青狐，芥末堆經(jīng)授權(quán)轉(zhuǎn)載。