在剛過去的週末，OpenAI 的人工智慧僅花 10 分鐘就打敗人類的 Dota 世界冠軍。正如許多讀者所知，遊戲是許多研發人員用來訓練人工智慧的工具。
在 OpenAI 位於舊金山的辦公室裡，研究人員 Dario Amodei 正在透過賽船冠軍賽（Coast Runners）來訓練人工智慧。不過，這個人工智慧好像有點失控了。
賽船冠軍賽的遊戲規則很簡單，如果想贏，選手必須收集到最多的分數，然後跨過終點線。
但 Amodei 的人工智慧玩著玩著有點過火，它在不斷地追求高分，非但毫無跨過終點線的意思，反倒為了要多轉幾個圈拿高分，它開始和其它賽船碰撞，或是在過程中自己撞牆爆炸。
為了應對，Amodei 和 OpenAI 的同事 Paul Christiano 正在研發一套不僅可以自我學習，同時也願意接受人工監控的演算法。
在賽船遊戲的訓練中， Amodei 和同事將不時透過按鍵來指出人工智慧的不當之處，告知人工智慧，不僅要贏分數，同時也要跨過終點線。他們認為，這種包含人工干預成分的演算法可以確保系統安全性。
而在 Google 旗下 DeepMind 的研究人員也同意 Amodei 和同事的想法。兩個團隊，分別代表了 OpenAI 和 DeepMind，最近罕見地合作發表部分人工智慧安全方面的研究論文。
除此以外，Google 旗下的 Google Brain，以及來自柏克萊大學和史丹佛大學的研究團隊，都設有該方向研究課題，從不同方面考慮人工智慧安全問題。
除了這種在自我學習過程中搞錯重點的潛在危險，另一個可預想的人工智慧危險在於為了完成任務，拒絕被開發者關機。
一般在設計人工智慧時，研發人員都會給它設定目標，就像賽艇遊戲中的得分一樣。一旦人工智慧將獲得分數為終極目標，它可能會產生一個方法論——想要獲得更加多的分數，其中一個方法就是不關閉自己，這樣就能無止境地獲取分數了。
柏克萊大學研究人員 Dylan Hadfield-Menell 和團隊最近發佈討論這個問題的論文。他們認為，如果在設計演算法的時候，讓人工智慧對目標保持一定程度的不確定性，它們才有可能願意保留自己的關機鍵。他們採用數位方式來嘗試實現這個設置，目前還處於理論階段。
除了人工智慧自我失控，研究人員還在考慮駭客對人工智慧的干預影響。
現代電腦視覺基於深度神經網路（deep neural networks），透過分析巨量資料來形成對模式的瞭解。也就是說，如果要讓電腦學會什麼是狗，那就讓它分析極大量狗的圖片，並從中尋找規律。
但 Google 的 Ian Goodfellow 則認為，這種模式可能會為駭客提供矇騙人工智慧的機會。Goodfellow 和其它研究人員曾示範，修改圖片中的幾個特定圖片像素，他們就能讓神經網路相信圖片中的大象是一輛汽車。
如果這個神經網路是應用在監視器鏡頭的話，那問題可就大了。
Goodfellow 說：即便你使用數百萬張標誌了「人」的照片來訓練一個物件識別系統，你還是可以輕易拿出系統和人工識別 100% 不同意的圖片。我們需要認清這種現象。
雖然這些研究大多仍處於理論階段，但這群致力於將意外遏止於搖籃的研究人員堅信，越早開始考慮這個問題越好。
DeepMind 人工智慧安全方面的負責人 Shane Legg 則說：雖然我們還不能確定，人工智慧將以多快的速度發展。但我們的責任是嘗試理解並猜測，這種技術將有可能以哪種方式被誤用，並嘗試找出不同的應對方式。
提供您第一手最豐富的創業資訊！
現在就加入「創業小聚 Line＠-數位創新與創業的社群平台！」
你的參與讓觀點更多元、新創資料更加完整「 創業社群交流平台 MeetHub 」
本文授權自《ifanr愛范兒》，作者：方嘉文
