在經(jīng)歷了幾十年起起伏伏的發(fā)展后，人工智能終于開始為公司企業(yè)帶來實實在在的價值了。近日，麥肯錫發(fā)布了報告指出，新進入人工智能領(lǐng)域的公司將學習到早期進入這一領(lǐng)域的巨頭在投資以及創(chuàng)造價值上面的豐富經(jīng)驗。新技術(shù)開啟新應(yīng)用，但也會帶來新的風險。應(yīng)用高新技術(shù)，必須注意新技術(shù)帶來的危險。因此，最近OpenAI和DeepMind的研究人員希望利用一種能從人工反饋中學習的新算法，使人工智能更安全。

　　這兩家公司都是強化學習領(lǐng)域的專家。強化學習是機器學習的一個分支，即在給定的環(huán)境下，如果人工智能系統(tǒng)做出正確行為，那么就給予獎勵。目標通過算法來制定，而人工智能系統(tǒng)通過編程去尋求獎勵，例如在游戲中贏得高分。

　　在教會機器玩游戲，或是通過模擬來駕駛無人車的場景下，強化學習非常成功。這種方法在探索人工智能系統(tǒng)的行為時非常強大，但如果編死的算法出現(xiàn)錯誤，或是產(chǎn)生不必要的副作用，那么也可能非常危險。

　　發(fā)表至arXiv的一篇論文描述了一種新方法，有助于預(yù)防此類問題。首先，人工智能系統(tǒng)在環(huán)境中產(chǎn)生隨機行為，預(yù)期的獎勵基于人工判斷，而這將被反饋至強化學習算法，以改變?nèi)斯ぶ悄芟到y(tǒng)的行為。

　　研究人員將這種技術(shù)應(yīng)用至一項訓練任務(wù)。關(guān)于人工智能行為的兩段視頻被發(fā)給人工，而人工將判斷哪種行為干得更好。

　　通過這種方式，人工智能系統(tǒng)可以逐漸學會如何追逐獎勵，通過更好地解釋人工的評判來學會達成目標。這樣的強化學習算法會調(diào)整自身的行為，并不斷尋求人工的認同。

　　在這項任務(wù)中，人工評判者只花了不到1小時時間。然而對于更復(fù)雜的任務(wù)，例如做飯或發(fā)送電子郵件，那么還需要更多的人工反饋。這樣做可能是不經(jīng)濟的。

　　論文的共同作者、OpenAI研究員達里奧.阿莫德伊(DarioAmodei)表示，減少對人工智能系統(tǒng)的監(jiān)督是未來可能專注的一個研究領(lǐng)域。

　　他表示：“從廣義上說，半監(jiān)督學習技術(shù)在這里可能會有幫助。另一種可能的選擇是提供信息密集的反饋形式，例如語言，或者讓人工指向屏幕的特定部分，以代表良好行為。信息更密集的反饋或許將幫助人工減少與算法溝通的時間。”

　　研究員在其他模擬機器人和Atari游戲中測試了他們的算法。結(jié)果表明，機器某些時候可能取得超人的成績。不過，這在很大程度上依賴人工的評判能力。

　　OpenAI在博客中表示：“關(guān)于什么行為是正確的，我們算法的表現(xiàn)與人工評判者的直覺一樣好。但如果人工對于任務(wù)沒有很好的把握，那么可能就無法提供較多有幫助的反饋。”

　　阿莫德伊表示，目前的結(jié)果僅限于非常簡單的環(huán)境。不過，對于那些獎勵難以量化的任務(wù)，例如駕駛、組織活動、寫作，以及提供技術(shù)支持，這可能會很有幫助。