沒有人真的知道先進的機器學(xué)習(xí)算法是如何工作的，而這恐將成為日后的一大隱憂。

去年，一輛奇怪的無人駕駛汽車出現(xiàn)在新澤西州蒙茅斯縣的道路上。這輛由芯片制造商Nvidia開發(fā)的實驗車和通用公司、Google和特斯拉所展示的自動駕駛汽車有所不同，該車的 AI 技術(shù)能力得到了大幅的提升。其中，最出彩的一點是它沒有遵循由工程師或程序員所提供的指令，與之相反，它完全依賴一種通過觀察人類行為來訓(xùn)練自己如何駕駛的算法。

從技術(shù)上來講，無人駕駛是一項創(chuàng)舉。但令人不安的是人類并不完全清楚汽車是怎么做出決策的。簡單而言，來自車身上傳感器的信息直接進入一個巨大的人工神經(jīng)網(wǎng)絡(luò)，然后這個神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)，最后發(fā)出類似轉(zhuǎn)動方向盤、踩剎車等命令。

這一結(jié)果似乎與人類駕駛員的動作反應(yīng)一樣。然而，如果有一天它做了一些意想不到的事情呢？例如失去控制撞上了一棵樹，或者當(dāng)紅燈亮?xí)r卻猛踩油門。

當(dāng)然，我們現(xiàn)在還很難給出結(jié)論。因為這個系統(tǒng)太復(fù)雜了，即使是設(shè)計它的工程師可能也無法分析出它發(fā)出某一指令的原因。當(dāng)然，你也不能強求這個神經(jīng)網(wǎng)絡(luò)能夠給出它下達每一個指令的原因：因為目前為止還沒有一套能夠讓AI自己解釋自己行為的系統(tǒng)。

不過，Nvidia的這輛車卻說明汽車的底層AI技術(shù)（也就是深度學(xué)習(xí)）近年來已經(jīng)被證明是一項非常厲害并且高效的技術(shù)，它如今被廣泛應(yīng)用于圖像字幕、語音識別和語言翻譯等工作?，F(xiàn)在，這項技術(shù)甚至被寄予厚望用于診斷致命的疾病，做出大宗貿(mào)易的決策等事情，徹底改變了各行各業(yè)原本的運作方式。

這種翻天覆地般的改變真的會發(fā)生嗎？不會，或者說不應(yīng)該發(fā)生。除非我們找到方法讓深度學(xué)習(xí)進行自我解釋，并且能夠讓它對它的用戶負(fù)責(zé)。否則我們將很難保證基于深度學(xué)習(xí)的產(chǎn)品永遠保持一個穩(wěn)定的狀態(tài)，這也就是 Nvidia 的這輛車仍然還是試驗品的一個原因。

一直以來，數(shù)學(xué)模型已被用來幫助確定究竟誰可以被假釋、誰可以被給予貸款以及誰可以被聘用。當(dāng)然前提是你可以接觸到這些數(shù)學(xué)模型，并了解它們的推理原因才行。但是銀行、軍方、雇主和其他人正在將注意力轉(zhuǎn)向更復(fù)雜的機器學(xué)習(xí)，畢竟這樣可以讓他們作出的決策變得更加精準(zhǔn)。

作為機器學(xué)習(xí)中最普遍采用的方法，深度學(xué)習(xí)代表了一個完全不同的計算機編程方式。麻省理工學(xué)院教授 Tommi Jaakkola 說：“邏輯解釋已經(jīng)是一個重要的問題，未來只會變得更加重要。因為無論是投資決策、醫(yī)療決策還是軍事決策，用戶都不希望只依靠‘黑匣子’，而想知道為什么神經(jīng)網(wǎng)絡(luò)會作出這一決策。”

目前已經(jīng)有一種論點：審查人工智能系統(tǒng)如何作出相應(yīng)的決策應(yīng)該是一項基本的法律權(quán)利。從 2018 年夏天開始，歐盟可能要求公司能夠向用戶解釋他們所使用的人工智能作出的決策。

然而，這并不現(xiàn)實，即使是使用深度學(xué)習(xí)來投放廣告或是推薦歌曲那些相對簡單的系統(tǒng)，對于我們?nèi)祟悂碚f，其背后的運行方式也難以理解。就算是創(chuàng)造出這些系統(tǒng)的程序員也沒辦法完全解釋這些機器的行為。

那么問題來了，隨著 AI 的進步，我們是否可以掌控它的發(fā)展節(jié)奏？但轉(zhuǎn)念一想，人類其實也不能真正地理解并解釋我們自己的思維過程，可這并不影響我們直觀地信任并觀察對方。那么，對于與我們思維方式不同的機器來說是不是也同樣有這種可能？

歷史上，人類從來沒有創(chuàng)造過一個連創(chuàng)造者都不能完全理解的機器。但如今我們卻在與這些難以預(yù)測的人工智能機器交流與相處中遇到了問題。這些問題讓我走上了 AI 算法的極具挑戰(zhàn)的前沿研究之路，從 Google 到 Apple 以及其他公司都是這條路的一部分，當(dāng)然也包括當(dāng)今世上偉大的哲學(xué)家們關(guān)于科技倫理的各種會議。

藝術(shù)家Adam Ferriss使用Google Deep Dream創(chuàng)作的圖像

2015年，紐約西奈山醫(yī)院的一個研究小組受到啟發(fā)，將深度學(xué)習(xí)應(yīng)用于醫(yī)院龐大的患者記錄數(shù)據(jù)庫管理。在該數(shù)據(jù)集中，每個患者擁有上百個特征變量，包括醫(yī)療測試結(jié)果、醫(yī)生訪查等等。被研究人員命名為 Deep Patient 的這個程序使用來自約70萬個人的數(shù)據(jù)進行訓(xùn)練，在新患者資料上進行測試時，它顯示出極強的疾病預(yù)測能力。

沒有任何醫(yī)療專家的指導(dǎo)，Deep Patient 發(fā)現(xiàn)了隱藏在數(shù)據(jù)中的規(guī)律，這些數(shù)據(jù)規(guī)律顯示出人類會在什么時間段會逐漸得病。該研究小組的負(fù)責(zé)人Joel Dudley表示，目前有很多方法可以根據(jù)患者醫(yī)療數(shù)據(jù)進行很準(zhǔn)確疾病預(yù)測。但他補充說：“相比起來，深度學(xué)習(xí)是一種更好的方法。”

同時，Deep Patient得出的結(jié)論有點令人費解——它似乎在預(yù)測精神分裂癥等精神類疾病上表現(xiàn)尤其出色。眾所周知，處理精神分裂癥對于醫(yī)生來說是非常困難的，所以 Dudley 很想知道為什么 Deep Patient 在這方便這么厲害，然而至今他也還不知道原因。

對于它是如何進行預(yù)測的，這個新工具并沒有表現(xiàn)出任何的技術(shù)原理。如果像 Deep Patient 這樣的工具確實能幫助到醫(yī)生，那么理想的情況就是給出它預(yù)測的理由，讓醫(yī)生確信它是準(zhǔn)確的。“我們可以建立這些模型”，Dudley說，“但我們不知道他們是如何運作的”。

但人工智能并不是生來就帶有神秘感。從一開始，對于理解和解釋AI就有兩派說法。一些人認(rèn)為應(yīng)該根據(jù)規(guī)則和邏輯推理的來建造人工智能，這種機器的內(nèi)部工作原理對任何關(guān)心它的人都應(yīng)該是透明的。

另一些人認(rèn)為，如果機器可以從生物學(xué)中獲得靈感，通過觀察和體驗學(xué)習(xí)，“智能”就會更容易出現(xiàn)。這意味著程序員不用編寫命令來解決問題，而程序會根據(jù)示例數(shù)據(jù)和期望輸出生成自己的算法。后來演變成當(dāng)今最強大的AI系統(tǒng)，機器學(xué)習(xí)技術(shù)遵循的是后一條路徑：機器本質(zhì)上是自己對自己進行編程。

起初，深度學(xué)習(xí)的實際應(yīng)用是有限的。在20世紀(jì)60年代和70年代，它仍主要局限于相關(guān)領(lǐng)域的邊緣。后來，許多行業(yè)的辦公自動化和大數(shù)據(jù)的出現(xiàn)又引起了人們對它的興趣。這激發(fā)了更強大的機器學(xué)習(xí)技術(shù)發(fā)展，特別是人工神經(jīng)網(wǎng)絡(luò)。到 20 世紀(jì) 90 年代，神經(jīng)網(wǎng)絡(luò)已經(jīng)可以自動將手寫字符轉(zhuǎn)換成數(shù)字化的字符。

但是直到近 10 年，經(jīng)過幾次巧妙的調(diào)整和改進，深度神經(jīng)網(wǎng)絡(luò)在自動感知方面出現(xiàn)了顯著提升。深度學(xué)習(xí)造就了如今紅爆半邊天的AI。它賦予了計算機非凡的力量，使得計算機可以像人類一樣識別出我們口中的各種語言。深度學(xué)習(xí)徹底改變了計算機視覺，大大提高了機器翻譯的準(zhǔn)確度。如今它正用于指導(dǎo)醫(yī)藥、金融、制造業(yè)等方方面面的各種關(guān)鍵決策。

藝術(shù)家Adam Ferriss使用谷歌 Deep Dream 創(chuàng)作的圖像

任何機器學(xué)習(xí)技術(shù)的工作本質(zhì)都比手工編碼系統(tǒng)更不透明，甚至對計算機科學(xué)家來說也是這樣。這并不是說，所有未來的AI技術(shù)也將同樣如此。但是由于它的本質(zhì)，深度學(xué)習(xí)就是一個特別不透明的黑匣子。

你不能只是看一下神經(jīng)網(wǎng)絡(luò)的內(nèi)部就可以知道它是如何工作的。神經(jīng)網(wǎng)絡(luò)是由成千上萬個神經(jīng)元的構(gòu)成，它們排列成數(shù)十甚至上百個錯綜復(fù)雜的互連層。第一層中的神經(jīng)元各自接收輸入信號，例如圖像中像素的強度，然后在輸出新信號之前進行計算。這些輸出在復(fù)雜網(wǎng)絡(luò)中被當(dāng)做輸入傳入下一層中的神經(jīng)元，就這樣一層一層傳遞，直到產(chǎn)生總體輸出。

此外，還有一個被稱為“反向傳播”的過程，這是一種通過反饋調(diào)整單個神經(jīng)元，使得網(wǎng)絡(luò)可以產(chǎn)生期望輸出的算法。

深度神經(jīng)網(wǎng)絡(luò)中的許多層可以識別出不同抽象層次的特征。舉例來說，在一個識別狗狗的系統(tǒng)中，較低的幾層通常識別出簡單的特征，例如輪廓或顏色；更高的層可以識別更復(fù)雜的特質(zhì)，例如毛皮或眼睛；輸出層將其全部標(biāo)識為狗。簡單來講，同樣的方法可以有不同的應(yīng)用：自然語言處理或是自動駕駛。

現(xiàn)在研究人員已經(jīng)使用各種巧妙的策略來更詳細地解釋這樣的系統(tǒng)內(nèi)部到底是怎么運作的。2015 年，Google的研究人員修改了基于深度學(xué)習(xí)的圖像識別算法，使它根據(jù)這些每層學(xué)習(xí)到的特征生成原始輸入圖片，而不是把識別到的物體在圖片中標(biāo)注出來。通過運行這樣的逆向算法，他們發(fā)現(xiàn)了程序用來識別的特征，比如鳥和建筑物。

由一個名為 Deep Dream 的程序產(chǎn)生的圖像顯示，由云和植物等特征生成的原始圖片竟然是一些奇形怪狀像外星生物的動物，森林和山脈的特征最終生成的是幻像塔。這些圖像證明，深度學(xué)習(xí)不一定是完全不可解釋的。

研究人員透露，這個算法主要歸功于熟悉的視覺特征，例如鳥的喙和羽毛。但是，這些圖像也暗示了人類與機器學(xué)習(xí)的不同之處，因為深度學(xué)習(xí)可以注意到一些我們?nèi)祟惾菀缀雎缘奶卣?。Google 研究人員指出，當(dāng)這個算法生成啞鈴的圖像時，它也同時生成了一個舉著它的人類手臂。顯然機器得出了一個結(jié)論：手臂是這個啞鈴的一部分。

神經(jīng)科學(xué)和認(rèn)知科學(xué)的思想使得研究 AI 內(nèi)部運作原理取得了進一步的進展。由懷俄明大學(xué)助理教授 Jeff Clune 領(lǐng)導(dǎo)的一個團隊，采用等同于光學(xué)幻覺的 AI 來測試深度神經(jīng)網(wǎng)絡(luò)。在 2015 年，Clune的小組展示了某些圖像可以愚弄一個神經(jīng)網(wǎng)絡(luò)，讓它感知到了實際不存在的東西，因為這些圖像利用了系統(tǒng)搜索的低級模式。

Clune的合作者之一，Jason Yosinski也制作了一個工具：類似一枚插在大腦中的探針。這個工具的目標(biāo)對象是網(wǎng)絡(luò)中間任何一個神經(jīng)元，找到使它激活最顯著的那幅圖像。最終顯示的這幅圖像是抽象的（想象一幅印象派的畫作），這也突出了機器感知能力的神秘性質(zhì)。

早期人造神經(jīng)網(wǎng)絡(luò)

我們需要特別地關(guān)注 AI 的思維模式，然而目前并沒有一個簡單的解決方案。深度神經(jīng)網(wǎng)絡(luò)中計算的相互作用對于更高層次的模式識別和復(fù)雜的決策是至關(guān)重要的，但是這些復(fù)雜的計算正是我們理解它的困難之處。“如果你有一個非常小的神經(jīng)網(wǎng)絡(luò)，你也許可以理解它”，Jaakkola說。“但是，一旦它變得非常大，它每層有數(shù)千個神經(jīng)元，然后一共有數(shù)百層，那么這樣的神經(jīng)網(wǎng)絡(luò)是完全無法理解的。”

在 Jaakkola 辦公室旁邊的是麻省理工學(xué)院教授 Regina Barzilay，她決心將機器學(xué)習(xí)應(yīng)用到醫(yī)學(xué)場景。幾年前，在43歲時她被診斷患有乳腺癌。診斷本身讓她非常震驚，但是令Barzilay同樣感到失望的是，前瞻性的統(tǒng)計學(xué)和機器學(xué)習(xí)方法沒有被用來幫助腫瘤研究和指導(dǎo)病人進行治療。

她說，AI 具有巨大的醫(yī)學(xué)革命潛力，但要實現(xiàn)這一潛力則需要除了醫(yī)療記錄以外更多的數(shù)據(jù)。她設(shè)法使用更多的原始數(shù)據(jù)，但圖像數(shù)據(jù)、病理數(shù)據(jù)以及其他各種信息目前并不容易搞到。

去年完成癌癥治療后，Barzilay和她的學(xué)生開始與馬薩諸塞州總醫(yī)院的醫(yī)生合作開發(fā)出一個數(shù)據(jù)挖掘系統(tǒng)，通過分析患者的病理報告來確定研究人員想要研究的特定臨床特征。然而，Barzilay心里明白，這個系統(tǒng)需要解釋它的推理過程。

所以，她與Jaakkola和一名學(xué)生增加了一個步驟：系統(tǒng)提取并標(biāo)注出一個文本片段，這個文本片段代表著機器挖掘出的一種模式。

Barzilay和她的學(xué)生們也在開發(fā)一種能夠在乳房X光照片圖像中發(fā)現(xiàn)乳腺癌早期癥狀的深度學(xué)習(xí)算法，并且給予這個系統(tǒng)一些“解釋其如何推理”的能力。“人類真的需要和機器不斷地合作”，Barzilay說。

美國軍方向使用機器學(xué)習(xí)的項目投資了數(shù)十億美金，這些項目包括為車輛和飛行器導(dǎo)航、確定攻擊目標(biāo)并幫助分析人員篩選大量情報數(shù)據(jù)。然而，這些項目所用到的機器學(xué)習(xí)同樣不能解釋作出決策的推理過程，美國國防部已將機器學(xué)習(xí)的不可解釋性定性為“關(guān)鍵的絆腳石”。

國防高級研究計劃署（DARPA）的項目經(jīng)理 David Gunning 正在監(jiān)督一個名為“可解釋的人工智能”計劃。作為這個部門的資深工程師，Gunning曾經(jīng)監(jiān)督過一個 DARPA 項目，而這個項目最終創(chuàng)造了Siri。

Gunning表示，自動化決策正在進入各種軍事領(lǐng)域。情報分析員正在測試一個機器學(xué)習(xí)項目，作為識別與分析大量監(jiān)控數(shù)據(jù)的模式。軍方也正在開發(fā)與測試許多無人駕駛的地面車輛和飛機。然而，士兵們可能會對機器人坦克感到不太舒服，因為這些機器人坦克并不能向士兵們解釋自己的作戰(zhàn)行為，分析人士也不愿意在沒有推理過程的情況下采取行動。

“這些機器學(xué)習(xí)系統(tǒng)的性質(zhì)通常會產(chǎn)生大量的虛假警報，所以 Intel 的分析師真的需要作出額外的努力，來幫助人們理解這些機器的決策是如何作出的。”Gunning說。

今年 3 月，DARPA 為 Gunning 的這個“可解釋的人工智能”計劃挑選了 13 個來自學(xué)術(shù)界和行業(yè)的項目。這些項目中的一些人可以在華盛頓大學(xué)教授Carlos Guestrin領(lǐng)導(dǎo)下繼續(xù)開展工作。

Adam Ferriss受啟發(fā)后的作品

Guestrin教授和他的同事們?yōu)闄C器學(xué)習(xí)系統(tǒng)研發(fā)了一種能夠解釋其決策的算法。在這種方法下，計算機會自動從數(shù)據(jù)集中找到幾個示例并簡短地解釋它們。例如，篩選電子郵件中來自恐怖分子的郵件。這個系統(tǒng)可能會在其訓(xùn)練和決策過程中使用數(shù)百萬條消息。但是運用華盛頓大學(xué)團隊的方法，它可以高亮顯示某條電子郵件中的某些關(guān)鍵字。

Guestrin團隊還設(shè)計了一套圖像識別系統(tǒng)，其可以高亮顯示出原始圖像中對神經(jīng)網(wǎng)絡(luò)最后做決策時影響最大的部分。

然而，這種方法的一個缺點是神經(jīng)網(wǎng)絡(luò)所提供的解釋將始終是簡化的，這意味著一些重要的信息可能會丟失。“我們還沒有實現(xiàn)完整的目標(biāo)，也就是 AI 可以與人類進行交流，并且能夠解釋它的決策行為”，Guestrin說，“我們距離真正能夠完全解釋AI還有一段很長的路要走”。

目前，“AI的可解釋性”問題并非只存在于高風(fēng)險的情景（像癌癥診斷或是軍事演習(xí)）。如果日后AI成為我們?nèi)粘Ｉ钪忻懿豢煞值囊徊糠?，那么了解它的決策原因也將是至關(guān)重要的。領(lǐng)導(dǎo)蘋果Siri團隊的Tom Gruber說，可解釋性是他的團隊的一個關(guān)鍵考慮因素，因為它試圖使Siri成為一個更聰明，更有能力的虛擬助手。

Gruber 沒有討論 Siri 未來的具體計劃，但是我們可以很容易想像，如果用戶收到 Siri 的餐廳推薦，用戶想知道為什么 Siri 這么推薦。Apple 的 AI 研究總監(jiān)和卡內(nèi)基梅隆大學(xué)的副教授Ruslan Salakhutdinov認(rèn)為，AI的可解釋性是人與智能機器關(guān)系發(fā)展的核心，可解釋性將會帶來信任。

其實，很多的人類行為也是不能夠被詳細解釋的，因此我們更不能期望AI可以解釋它所做的一切。懷俄明大學(xué)的Clune教授說：“即使有人可以給你一個合理的解釋（對于他或她的行為），這個解釋也可能是不完整的，對于AI同樣如此。它的智力本質(zhì)和人類相似，只有其中的一部分才能被理性地解釋。另一部分只是本能反應(yīng)，或者是潛意識。”

如果是這樣，那么在某些階段我們可能要么簡單地信任 AI 的判斷，要么就不使用它。同樣這一判斷將必須納入社會情報。正如社會的建立與運行是基于對人類行為的規(guī)范束縛，今后的AI系統(tǒng)需要尊重和符合我們的社會規(guī)范。如果我們要創(chuàng)造機器人坦克和其他殺戮機器，那么它們所做的決策應(yīng)該與我們的道德判斷相一致。

為了探索這些形而上學(xué)的概念，DT君的美國同事 Will Knight 去了塔夫茨大學(xué)，與著名哲學(xué)家和認(rèn)知科學(xué)家 Daniel Dennett 會面，他主要研究意識和心靈。

Daniel Dennett 最新的一本書《從細菌到巴赫》（From Bacteria to Bach and Back）表明，智力進化的一個本質(zhì)特征是進化到一個系統(tǒng)，這個系統(tǒng)中即使創(chuàng)造者都無法解釋它某些行為的原因。Dennett 表示：“我們做事情一定要保持明智，我們對人工智能有什么標(biāo)準(zhǔn)？對我們?nèi)祟愖约河质鞘裁礃?biāo)準(zhǔn)？”

同時，他還有一個關(guān)于追求 AI 可解釋性的警告。他說：“我認(rèn)為，如果我們要使用 AI 技術(shù)并依靠它們，那么我們還是要盡可能地理解AI作出決策的原因和過程。”但由于可能沒有完美的答案，我們則應(yīng)該像人類對彼此那樣謹(jǐn)慎來對待AI——無論機器看起來有多聰明。

“如果在解釋 AI 的行為上，AI自己都不如我們解釋得好的話，那就不要信任它了。”

來源：DeepTech深科技