嘿，AI，你覺得你在看什么？為什么有著學(xué)習(xí)算法的機器還會被騙認知出本不存在的東西？隨著無人駕駛汽車這樣的產(chǎn)品出現(xiàn)，這一點變得越來越重要?，F(xiàn)在，我們可以通過一項測試來窺見機器的大腦，這一測試可以使人們知道人工智能正在看一幅圖像的哪些部分。

人工智能和人類完全不同。羅德島布朗大學(xué)的克里斯·格里姆說，即使是最好的圖像識別算法，也會被騙，比如會將白噪圖像識別成知更鳥或是獵豹，這是一個大問題。他說，如果我們不理解為什么這些系統(tǒng)會犯愚蠢的錯誤，那么我們把性命交付給人工智能時，就應(yīng)當三思而后行，比如審慎考慮是否發(fā)展無人駕駛汽車。

因此，格里姆和他的同事們創(chuàng)建了一個系統(tǒng)，分析一個人工智能在識別圖像過程中，實時監(jiān)測它在關(guān)注圖像的哪一部分。類似地，對于一種文檔分類算法來說，該系統(tǒng)顯示了算法使用哪些單詞來決定一種特定文檔應(yīng)該屬于哪個類別。

窺探內(nèi)在

谷歌的研究人員杜密魯特·埃爾汗說，這是一種非常有用的方法，可以進一步了解人工智能并研究它是如何學(xué)習(xí)的。格里姆的工具為人們提供了一種方便的方式，讓人可以檢查出一種算法是否正確地給出了正確的答案，他這樣說道。

為了創(chuàng)建他的注意力跟蹤工具，格里姆在他想要測試的人工智能上安裝了第二個人工智能。這個“外包AI”替換了一張帶有白噪的圖像，來看看這是否對原始軟件的判斷產(chǎn)生了影響。

如果替換部分圖像改變了結(jié)果，那么這個圖像的區(qū)域很可能是識別過程中的一個重要區(qū)域。這種方法同樣適用于語言。如果在文檔中改變一個詞使人工智能對文檔進行了不同的分類，那么它就表明這個詞對人工智能的決定至關(guān)重要。

格里姆在人工智能上測試了他的技術(shù)，該人工智能經(jīng)學(xué)習(xí)可將圖像分類為10個類別，包括飛機、鳥類、鹿和馬等。他的系統(tǒng)映射出了人工智能在進行分類時的視線路徑。結(jié)果顯示，人工智能已經(jīng)學(xué)會了把物體分解成不同的元素，然后在圖像中搜索每一個元素，以確認其識別結(jié)果。

識別馬頭

例如，當看到馬的圖像時，格里姆的分析顯示，人工智能首先對腿進行了密切關(guān)注，然后在圖像中搜索了它認為可能是頭的地方——它預(yù)先并不能知道這匹馬的頭出現(xiàn)的地方。對于包含了鹿的圖像，人工智能也采取了類似的方法，但在這些情況下，它專門搜索了鹿角。人工智能幾乎完全忽略了一個圖像中的許多部分，這些部分并不包含有助于分類的信息。

格林和他的同事們也分析了一個訓(xùn)練后可以玩“Pong”(某電子游戲）的人工智能。他們發(fā)現(xiàn)，它幾乎忽略了屏幕上所有的東西，只是密切關(guān)注著兩根纖細的移動小柱。人工智能對一些區(qū)域幾乎沒有關(guān)注，以至于把小柱從它預(yù)期的地方移開后，它就誤以為它是在看球而不是小柱。

格里姆認為，他的工具可以幫助人們判斷出人工智能是如何做出決定的。例如，它可以用來檢查在肺部掃描中檢測癌細胞的算法，確保它們不會通過觀察圖像錯誤的部分，卻恰好找到正確的答案。“你可以看看它是否沒有注意到正確的東西，”他說，但首先，格里姆想用他的工具來幫助人工智能學(xué)習(xí)。

如果人工智能沒有注意到時，它就會讓人工智能培訓(xùn)師把他們的軟件直接引導(dǎo)到到相關(guān)的信息上去。（馬特·雷諾茲報道，參考:arXiv）