近年最酷成果都來自深度強化學習

此次OpenAI推出的解魔方機器手，并不是像以往一樣使用專業(yè)算法來解決某一個特定任務(wù)(如果換一個任務(wù)，還需要重新編程)，而是通過某種學習方法，對機器人進行訓練，讓機械手具備類人手的解決問題的能力。但馬庫斯卻認為這個成果描述有誤導，更恰當?shù)拿枋鰬?yīng)該是“用強化學習操縱魔方”或者是“用靈巧的機器人手操縱物體的進展”。

“馬庫斯過于強調(diào)‘用強化學習操縱魔方’有點挑剔字眼，其實OpenAI魔方機器手和‘深層思維’發(fā)布的《星際爭霸2》智能體‘阿爾法星’進化版都使用了深度強化學習技術(shù)。深度強化學習是目前公認的在現(xiàn)有技術(shù)中最有可能實現(xiàn)通用人工智能的技術(shù)。”天津大學智能與計算學部軟件學院副教授郝建業(yè)解釋說，目前機器學習有三大分支，監(jiān)督學習、非監(jiān)督學習和強化學習，深度學習屬于監(jiān)督學習里目前最主流的一類技術(shù)。深度強化學習是深度學習與強化學習的融合，是將深度神經(jīng)網(wǎng)絡(luò)整合到強化學習框架當中。

“近幾年，深度強化學習發(fā)展迅猛，它在處理復雜、多方面和決策問題方面顯示出巨大的潛力。目前深度強化學習技術(shù)主要應(yīng)用在一些游戲、比賽中?！焙陆I(yè)介紹，2016年，谷歌的“阿爾法圍棋”(AlphaGo)擊敗了世界頂級圍棋選手李世石、柯潔，轟動一時，成為人工智能領(lǐng)域的一個里程碑?！鞍柗▏濉钡暮诵木驮谟谑褂昧松疃葟娀瘜W習算法，使得計算機能夠通過自對弈的方式不斷提升棋力。此后又有臉書(Facebook)在DOTA2游戲中打敗了頂級職業(yè)選手；CMU團隊研發(fā)的德州撲克AI冷撲大師輕松擊敗頂級玩家。

此外，“深層思維”還運用深度強化學習優(yōu)化了數(shù)據(jù)中心的耗能；谷歌則利用深度強化學習完成深度神經(jīng)網(wǎng)絡(luò)的自動架構(gòu)搜索，提出了AutoML服務(wù)，借此將機器學習作為一種服務(wù)推廣到千家萬戶。在我國，對于深度強化學習技術(shù)的應(yīng)用也不少，阿里、騰訊、百度等國內(nèi)團隊將深度強化學習應(yīng)用到搜索、推薦、營銷、派單和路徑規(guī)劃等實際問題的決策中。

最有可能實現(xiàn)通用人工智能的技術(shù)

人工智能發(fā)展到現(xiàn)在的高度，技術(shù)上較大的功臣應(yīng)該屬于深度學習算法。深度學習利用多層神經(jīng)網(wǎng)絡(luò)，從海量的數(shù)據(jù)中學習，從而實現(xiàn)對未來的預測，并使人工智能系統(tǒng)越來越智能。目前我們應(yīng)用的安防監(jiān)控、自動駕駛、語音識別、百度地圖等都是深度學習技術(shù)在圖像視覺、語音識別、自然語言理解等領(lǐng)域的應(yīng)用。

而強化學習也是目前機器學習領(lǐng)域的熱門技術(shù)，與基于已知標簽訓練模型的監(jiān)督學習不同，強化學習能夠在沒有計算機的明確指示下，像人一樣實現(xiàn)自主學習。當達到一定的學習量之后，強化學習系統(tǒng)就能夠預測出正確的結(jié)果?！皬娀瘜W習的基本思想是，學習在不同環(huán)境和不同狀態(tài)下，哪種行為能夠使得預期利益最大化?！焙陆I(yè)介紹，新版“阿爾法星”智能體就采用了強化學習的自對戰(zhàn)技術(shù)，其學習過程不需要數(shù)據(jù)標注，而是由獎勵函數(shù)進行主導。智能體獲得獎勵得分或贏得一場比賽，它會得到積極的反饋，智能體就會根據(jù)對戰(zhàn)的成績好壞，來調(diào)整行為動作。這猶如嬰兒學走路，會根據(jù)產(chǎn)生的結(jié)果好壞來調(diào)整行為動作。

目前對通用人工智能的定義主要有兩個特點，一是端對端的學習，二是任務(wù)自適應(yīng)， 無需人類參與調(diào)控而勝任不同的任務(wù)。深度強化學習可以將深度學習的感知能力和強化學習的決策能力相結(jié)合，直接根據(jù)輸入的信息進行控制，是一種更接近人類思維方式的人工智能技術(shù)。在與世界的正?；舆^程中，強化學習會通過試錯法利用獎勵來學習，這跟自然學習過程非常相似。比如單手解魔方機器手，它可能需要利用深度學習的識圖技術(shù)等看到魔方，而后還需強化學習的模型讓機器手在不斷的試錯過程中自主學習。在強化學習中，可以使用較少的訓練信息，這樣做的優(yōu)勢是信息更充足，而且不受監(jiān)督者技能限制。深度強化學習朝構(gòu)建對世界擁有更高級理解的自主系統(tǒng)又邁出了一步，這也是為什么說深度強化學習是目前公認的在現(xiàn)有技術(shù)中最有可能實現(xiàn)通用人工智能的技術(shù)。

未來通用人工智能還需依托腦科學發(fā)展

“雖然說深度強化學習技術(shù)最有可能實現(xiàn)通用人工智能，但是并不能說就一定能夠?qū)崿F(xiàn)，我們離真正的通用人工智能還是有很大差距的?！焙陆I(yè)表示，深度學習和強化學習結(jié)合的時候，對現(xiàn)實情況的枚舉就變成首先需要對現(xiàn)實情況進行模式識別，然后進行有限模式的枚舉，從而減少計算的壓力，但是所需的數(shù)據(jù)將比其他機器學習算法要大得多。如果將場景擴展到多智能體的深度強化學習，那么需要的數(shù)據(jù)和算力是呈指數(shù)級上升的，目前還沒有平臺能夠提供強化學習所需要的海量數(shù)據(jù)，無法窮舉現(xiàn)實中可能遇到的種種復雜情況。這種數(shù)據(jù)需求在很多現(xiàn)實領(lǐng)域中都是無法實現(xiàn)的。

舉例說明，比如強化學習需要大量的試錯，如果把單手解魔方機器手應(yīng)用到做飯的現(xiàn)實場景，那么它可能會把食材弄一地，也可能把一整袋鹽倒到鍋中，還有可能引起火災(zāi)。因此通過試錯學習的模式，在現(xiàn)實場景中是無法實現(xiàn)的。

此外，深度學習和強化學習都是機器學習領(lǐng)域中最難調(diào)試成功的，它的成功案例其實不算很多，但是一旦推出，都會引起轟動。并且，這是一個連隨機種子都會大大影響學習效果的模型框架。同樣的模型，訓練10次可能7次是失敗的，3次是成功的。還有一點，深度強化學習極其容易過擬合到智能體當前交互的環(huán)境中，所以環(huán)境稍有改變，之前看起來表現(xiàn)出色的智能體，很可能就會犯低級錯誤。

“人類認識事物的時候，一般都是通過數(shù)據(jù)進行因果推理和判斷，才得出相應(yīng)的解決方案。而目前的人工智能系統(tǒng)卻并不能實現(xiàn)這種因果推導?！焙陆I(yè)表示，可能未來通用人工智能的發(fā)展，還需要依托于腦科學的發(fā)展，目前我們對人腦的認知還處于非常初級的階段。大腦對事物的認知過程、解決問題的過程以及思考的能力等機制還都不清楚，因此，目前人工智能的發(fā)展，離這種真正能模擬人類智能思考的通用人工智能還有很長的路要走。

延伸閱讀

人工智能晉級《星際爭霸2》玩家最高等級

一項在《星際爭霸2》歐洲服務(wù)器上開展的“盲測”顯示，谷歌旗下“深層思維”公司開發(fā)的人工智能程序“阿爾法星”在游戲中超越99.8%的人類玩家，在游戲的人族、神族和蟲族排名中均達到最高的“宗師”級別?！吧顚铀季S”研發(fā)團隊在日前出版的英國《自然》雜志上報告了這項成果。

據(jù)介紹，在《星際爭霸2》官網(wǎng)歐洲服務(wù)器上，“阿爾法星”使用與人類玩家相同的地圖和條件匿名參與游戲，并能在無人干預情況下持續(xù)自我改進。為了讓測試更公平，團隊還根據(jù)人類玩家的水平限制了機器的某些能力，比如將“阿爾法星”的動作頻率降低到與熟練人類玩家接近，并把它的視野限制在攝像頭范圍內(nèi)。

“深層思維”研發(fā)團隊認為，訓練“阿爾法星”的先進方法以及算法架構(gòu)未來有望用于解決復雜的實際問題，包括天氣預測、氣候模型計算以及語言理解等。但也有學者對現(xiàn)階段人工智能挑戰(zhàn)戰(zhàn)略游戲的能力持保守態(tài)度。加拿大紐芬蘭紀念大學人工智能學者戴夫·丘吉爾認為，“阿爾法星”仍有許多弱點，比如無法抵御以前從未見過的戰(zhàn)略等。

陳 曦