Reddit、Spotify紛紛收購內容審查新創，用AI處理不當言論還有哪些挑戰？

疫情假新聞、公然污辱、股海明燈等留言每天充斥在社群平台上，這些都會造成平台使用者體驗不佳，根據市場研究公司Ipsos在英國調查的數據指出，有68%人希望社群媒體採取更多行動保護用戶安全，還有45%的人表示，如果社群平台一直沒有推出保護措施，將減少或停止使用該APP。

各個社群媒體相繼補足這塊市場漏洞，美國版PTT社群論壇Reddit就在10月收購內容審查新創Oterlu，期望利用AI協助審查貼文內容；Spotify也在6月收購內容審查新創Kinzen，致力於打造更加健全的社群。

即便AI審查的效率高、速度快，運用機器學習分析主觀又帶有情緒的文字，還有哪些挑戰有待解決？

Reddit收購Oterlu審查社群內容，Spotify、Twitter也祭出相關新制度

今年10月4日，Reddit宣布收購瑞典內容審查新創Oterlu，將Oterlu團隊成員併入Reddit安全團隊，開發能夠快速檢測各國有害內容的AI模型。Reddit在官網新聞稿說：「Oterlu使用自然語言處理技術、AI模型和機器學習審查欺凌、騷擾等不良行為，幫助加速Reddit的自動化安全系統。」

事實上，此次收購案有跡可循，Reddit於6月開發Hateful Content Filter Beta（仇恨內容過濾功能），可以讓各論壇主題版的版主決定是否開啟內容審查功能，自動刪除有害貼文，7月另一項測試版功能Ban Evasion Protection（禁止迴避保護機制），則是先讓AI判定有貼文、評論是否具有疑慮，再移交給版主審查。

其他社群平台也相繼推出內容審查機制，像是美國喜劇演員Joe Rogan 2月在Spotify上的Podcast節目發布錯誤的疫情資訊，引起270名醫師和科學家要求Spotify建立內容審查制度，但Spotify卻遲遲無祭出相關政策，導致Neil Young及Joni Mitchell等歌手紛紛在Spotify撤下音樂。

為儘速止血，Spotify在6月成立安全諮詢委員會，10月收購內容審查新創Kinzen，用AI幫助分析Spotify上面的音樂、影片內容。

Twitter也在1月建立內容審查新制度Birdwatch，可以讓用戶在有疑慮的貼文底下留言，共同評論該貼文是否違反道德倫理，請發文人補充證據、相關資訊，讓內容審查制度兼具彈性和人性。

Oterlu用AI內容審查社群，美國新創Modulate著眼於遊戲產業

Oterlu創辦人Alexander Gee過去在Google信任暨安全團隊擔任經理，專門負責把關兒童網路安全，他目睹網路上大量的有害資料，因而萌生出一項創業點子——內容審查，於是他尋找具備機器學習、數據分析專業的Ludvig Gee及Sebastian Nabrink，一同在2019年創辦Oterlu。

過去用戶僅能透過手動檢舉，讓社群平台人工審查貼文內容，不僅耗時又無法完全抓出所有有害貼文，而專門面向B2B公司的Oterlu透過開發SaaS平台，用AI自動標記騷擾言論、髒話、色情訊息等內容。

以其中一個客戶、著色APP Recolor的例子來說，Oterlu訓練AI模型的過程分為3個步驟，首先是讓AI認識完整的句子架構，第二是理解用戶在Recolor上如何交談和討論，第三則是辨識什麼內容能被允許發佈在Recolor。Oterlu還在Discord推出一套AI審核機器人，方便讓版主管理社群，目前已在500多個伺服器運作，保護300多萬名用戶的社群安全。

內容審查機制不僅僅在社群媒體上運作，美國新創Modulate則是將目光轉向遊戲產業，用AI偵測遊戲對話中的不當言論，提報不當言論，讓遊戲官方決定暫停遊戲、封鎖玩家帳號等後續處理。

AI自動化審查有哪些隱憂？

不過利用AI機器人分析具有情感、主管性質的言論，多少存有疑慮，華府智庫新美國（New America）就指出內容審查自動化有4大問題：

各國家的詞彙使用習慣不同，可能同樣的字詞在A國家表示正面，卻不適合在B國家使用；
圖像識別工具無法偵測圖片背後的含義，例如有些藝術性質的照片，其中包括裸露圖像，卻被AI視為色情內容；
自然語言處理（NLP）工具通常被用於分析英文內容，若用於其他語言，精確度可能下降；
機器學習模型在黑盒子的狀況下建構，缺乏透明化，因此開發者難以控制模型學習的走向。

自2016年英國脫歐公投、Facebook的劍橋分析事件過後，假新聞在社群上四處流竄，社群使用者成為政治廣告的投放對象，操弄公民的選擇，使得言論自由的權利逐漸遭到濫用。從這次Reddit、Spotify的收購案，可見社群媒體對AI審查寄予厚望，然而，碰上AI技術的局限性，如何用AI模擬人們心中存有的那一把「尺」，仍有待解方。

參考資料：TechCrunch、TechCrunch2、TechCrunch3、Medium、New America