阿爾法元來(lái)了，人類限制了機(jī)器的想象力嗎？態(tài)度
誰(shuí)能想到，我們會(huì)在一年之內(nèi)連續(xù)被AlphaGo刷屏兩次？關(guān)于阿爾法元如何快速學(xué)習(xí)成長(zhǎng)擊敗AlphaGo Lee和AlphaGo Master的新聞這里就不再贅述，給出兩個(gè)關(guān)鍵信息，供讀者一起思考。
一、阿爾法元沒有錄入人類棋譜數(shù)據(jù)，單純通過自我對(duì)弈，依靠強(qiáng)化學(xué)習(xí)取得了現(xiàn)在的能力。
二、阿爾法元的工作和訓(xùn)練效率都有了很大的提升，僅用了三天的時(shí)間就能擊敗原版阿爾法狗，同時(shí)在推理時(shí)，阿爾法元只用了4塊TPU。
阿爾法元之所以震撼了整個(gè)業(yè)界，是因?yàn)楫?dāng)我們以為Master已經(jīng)封神時(shí)，它用三天的時(shí)間告訴人類，人類以為的最高水平，在機(jī)器面前不值一提。人類經(jīng)驗(yàn)成了阿爾法狗的累贅，甩掉這些，算法可以更快更好的完成任務(wù)。
對(duì)于很多人來(lái)說(shuō)，這是一個(gè)巨大的打擊：我們引以為傲的大數(shù)據(jù)不僅僅會(huì)誤導(dǎo)算法，還會(huì)占用更多的計(jì)算資源，阻礙了通用人工智能的發(fā)展。
這篇文章的主要任務(wù)，就是來(lái)安撫一下驚慌失措的人類。先從第一個(gè)問題說(shuō)起，看看阿爾法元到底是怎么提升計(jì)算效率的。
從監(jiān)督學(xué)習(xí)到強(qiáng)化學(xué)習(xí)
以前在國(guó)際象棋的人機(jī)對(duì)弈中，計(jì)算機(jī)使用暴力窮舉法推算雙方對(duì)峙時(shí)的種種可能，通過運(yùn)算速度取勝。可窮舉法一度曾經(jīng)被認(rèn)為不適合圍棋，圍棋每走一步就會(huì)創(chuàng)造出19×19種可能，運(yùn)算量太過巨大。
直到有人開始用卷積神經(jīng)網(wǎng)絡(luò)解決圍棋問題，用卷積神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)的降維降低搜索空間，機(jī)器便有了戰(zhàn)勝人類的可能。
在擊敗了柯潔的阿爾法狗大師版本中，應(yīng)用了整整40層的策略網(wǎng)絡(luò)/價(jià)值網(wǎng)絡(luò)，前者用于確定當(dāng)前局面，預(yù)測(cè)下一步行動(dòng)，價(jià)值網(wǎng)絡(luò)則用來(lái)判斷執(zhí)黑執(zhí)白兩方的勝率。另外，還要加入快速走子系統(tǒng)，以在稍微犧牲走棋質(zhì)量的前提下，極高的提升運(yùn)算速度。最后，再用蒙特卡羅樹搜索算法把以上三者連接起來(lái)。
而阿爾法元?jiǎng)t直接將策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)相結(jié)合，并且去掉了快速走子系統(tǒng)。也就是說(shuō)，以往由三部分組成的阿爾法狗在如今直接變成了一個(gè)整體。
簡(jiǎn)化之后，策略+價(jià)值網(wǎng)絡(luò)的輸入特征由48個(gè)減少到了17個(gè)，加上被刪掉的快速走子系統(tǒng)，基本關(guān)于人類圍棋的知識(shí)都被去掉了。
從圖中可以看到，沒有任何人類知識(shí)的阿爾法元，在自我對(duì)弈的初期常常出現(xiàn)一些毫無(wú)邏輯的詭異棋局，可到了后期，卻總能有出其不意的打法。
去掉人類已知知識(shí)的特征輸入，意味著阿爾法元從監(jiān)督學(xué)習(xí)走向了強(qiáng)化學(xué)習(xí)——分裂成兩個(gè)一無(wú)所知的棋手，開始對(duì)弈，出現(xiàn)勝者后用結(jié)果進(jìn)行訓(xùn)練，然后繼續(xù)循環(huán)對(duì)弈。
而走向強(qiáng)化學(xué)習(xí)，不僅僅是因?yàn)槿サ袅巳祟惼遄V的監(jiān)督，還有關(guān)于殘差網(wǎng)絡(luò)的應(yīng)用。殘差網(wǎng)絡(luò)可以理解為卷積神經(jīng)網(wǎng)絡(luò)的深化，簡(jiǎn)單來(lái)說(shuō)，就是盡量減少每一層網(wǎng)絡(luò)的神經(jīng)元，而把網(wǎng)絡(luò)做的更深。結(jié)合阿爾法元從監(jiān)督學(xué)習(xí)轉(zhuǎn)向強(qiáng)化學(xué)習(xí)，減少了輸入特征，也利于把整個(gè)神經(jīng)網(wǎng)絡(luò)做的更加簡(jiǎn)單粗暴。
總之，阿爾法元的重點(diǎn)就在于，去掉人類的圍棋知識(shí)所需的計(jì)算的資源，把網(wǎng)絡(luò)做的更深，好讓阿爾法元在越來(lái)越深的網(wǎng)絡(luò)中自己發(fā)現(xiàn)這些知識(shí)。
而阿爾法元的確做到了。
甩掉數(shù)據(jù)，通用人工智能就來(lái)了嗎？
所以，阿爾法元效率提升的重點(diǎn)在于，去掉人類數(shù)據(jù)的監(jiān)督，才有可能實(shí)現(xiàn)結(jié)構(gòu)的優(yōu)化。
那么同樣的套路，可以應(yīng)用在其他領(lǐng)域嗎？
答案很有可能讓人失望。
首先，圍棋這種游戲本身就是透明規(guī)則的數(shù)學(xué)計(jì)算，此前的Master和Lee，無(wú)非是在沒法單純使用推理時(shí)的權(quán)宜之計(jì)。到了其他無(wú)法使用通行透明規(guī)則的領(lǐng)域，深度學(xué)習(xí)可能就沒那么好用了。
今年DeepMind對(duì)《星際爭(zhēng)霸》的挑戰(zhàn)就是案例之一，把整個(gè)游戲拆分成多個(gè)仿真場(chǎng)景，企圖以分布式的模擬訓(xùn)練解決整體問題?？赡壳皝?lái)看，結(jié)果卻不盡如人意。畢竟在不完全信息環(huán)境中，對(duì)長(zhǎng)期規(guī)劃能力、多智能體協(xié)作能力的考驗(yàn)都太過嚴(yán)苛了。機(jī)器都不一定能很好的模仿人類的經(jīng)驗(yàn)，更不必提完全依靠機(jī)器的自己了。
在強(qiáng)化學(xué)習(xí)中，最容易出現(xiàn)的情況就是機(jī)器只顧獲取單一條件下的獎(jiǎng)勵(lì)，無(wú)法顧及到多任務(wù)環(huán)境中的整體進(jìn)程。
游戲中尚且如此，那在語(yǔ)音識(shí)別、圖像識(shí)別等等其他領(lǐng)域中，數(shù)據(jù)的價(jià)值就更為重要了。現(xiàn)在提出強(qiáng)化學(xué)習(xí)=通用人工智能，還為時(shí)尚早。
所以，沒有必要因?yàn)閿?shù)學(xué)游戲中的失敗就去否定人類存在的價(jià)值。用自己短處去和機(jī)器的長(zhǎng)處相比，才是最沒意義的事。
人類限制了機(jī)器的想象力嗎？
而提到人類的短處，就不得不說(shuō)在阿爾法元和Master對(duì)弈中發(fā)現(xiàn)的有趣的信息。對(duì)典型的，就是在人類的影響下，Master常常走向局部最優(yōu)。而一些圍棋手們?cè)趧倓偨佑|圍棋時(shí)就要學(xué)習(xí)的打法，阿爾法元卻在訓(xùn)練的極后期才能發(fā)現(xiàn)。
用我們常常評(píng)論學(xué)校教育的話講，就是人類的規(guī)則限制了機(jī)器的想象力。
這一切提醒了我們兩件事，第一，由于人類自身能力所限，我們常常限于局部收斂而不自知，進(jìn)而會(huì)影響機(jī)器學(xué)習(xí)的能力；第二，大數(shù)據(jù)中的信息噪聲不可忽視。
也就是說(shuō)，如果總是依靠人類經(jīng)驗(yàn)和數(shù)據(jù)，依靠機(jī)器學(xué)習(xí)的人工智能的水平頂多是一個(gè)腦子特別好使人類。
而阿爾法元的成功，是不是告訴了我們，依靠強(qiáng)化學(xué)習(xí)繞過大數(shù)據(jù)的局限、甚至是人類本身的局限？
雖然在很多沒有明確規(guī)則的場(chǎng)景中強(qiáng)化學(xué)習(xí)還表現(xiàn)乏力，但我們是否可以創(chuàng)造仿真環(huán)境，嘗試用強(qiáng)化學(xué)習(xí)重新解讀那些我們習(xí)以為常的基礎(chǔ)問題？比如分子的組成和運(yùn)動(dòng)甚至基礎(chǔ)物理，以此能影響到的材料、生物等等領(lǐng)域，都有著無(wú)限的想象空間。
阿爾法元對(duì)通用人工智能的推進(jìn)雖然有限，卻證實(shí)了用物美價(jià)廉的強(qiáng)化學(xué)習(xí)解決更多問題的可能。在未來(lái)，我們可以期待更多商業(yè)化的場(chǎng)景，看看強(qiáng)化學(xué)習(xí)是不是真的能讓機(jī)器學(xué)習(xí)有更多的應(yīng)用空間。
作為一個(gè)從小就數(shù)學(xué)不好的人，我非常坦然的接受了自己的失敗——作為人類，我們的計(jì)算能力的確輸了機(jī)器一大截。那些通過計(jì)算而得來(lái)的智慧，顯然也不見得比機(jī)器更高明。
可我們存在的意義，從來(lái)不是算數(shù)，而是把自己的能力付諸到更高級(jí)的系統(tǒng)上，發(fā)揮出更強(qiáng)大的作用。就像我們不曾被計(jì)算器打敗一樣，雖然在計(jì)算這件事上，阿爾法元青出于藍(lán)?？蓳Q個(gè)角度想想，我們自己作為算法的發(fā)明者，看著自己的造物補(bǔ)足了自己能力上的不足，是不是應(yīng)該露出造物神一樣的微笑呢？
1.砍柴網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源；2.砍柴網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源：砍柴網(wǎng)"，不尊重原創(chuàng)的行為砍柴網(wǎng)或?qū)⒆肪控?zé)任；3.作者投稿可能會(huì)經(jīng)砍柴網(wǎng)編輯修改或補(bǔ)充。
- 專門成立一個(gè)部門做網(wǎng)約車，摩拜的“反滴滴”聯(lián)盟能成么？
- 全球都在用支付寶了 為何香港沒有？
- 不靠中國(guó)市場(chǎng)，三星還能躺著賺錢？
- 馬云建無(wú)人加油站，無(wú)人經(jīng)濟(jì)果真一本萬(wàn)利？
- 劉強(qiáng)東稱時(shí)尚業(yè)務(wù)是京東必贏之戰(zhàn)
- 共享充電寶拼到中場(chǎng)：有錢繼續(xù)狂奔 沒錢黯然退場(chǎng)
- 神州神車，風(fēng)口之后股民還剩什么？
- B站確定上市 A站接近盈利 彈幕視頻網(wǎng)站能否逆襲
- 神州租車低價(jià)購(gòu)股權(quán)難救頹勢(shì) 業(yè)績(jī)低迷老故事講不下去了
- 樂電正式出局，共享充電寶的風(fēng)口要停了嗎
京公網(wǎng)安備 11010502032797號(hào)