專欄卷首語

Alpha Go和人類在棋盤上的對決已經結束，科幻美劇《西部世界》第一季也已落幕。但人類對于未來和未知的探索不會改變。以太資本不僅希望陪伴那些具有創新精神、企圖改變未來的創業公司，更時刻關注可能對世界產生改變的技術。我們成立了人工智能專精小組來跟上這場革命。從今天開始，每周會由我們的投資經理為你精挑細選出人工智能領域的好文章，希望與你分享我們的視野，并希望和你一起向前。

《西部世界》第一季已經結束。從第一集開始，我就深深的意識到這是集合了3D打印、機器人、NLP（自然語言處理）、CV（計算機視覺）、人造皮膚等等高科技細分領域技術的神劇。其實現階段以上所有方面技術的終極形態也不過如此。但試想一下以下可能：未來機器對話能達到10層、20層、100層；當CV數據積累到錯誤率更低的時候；對于隨機事件的發生，其結果和影響結果所有因素都計算之時，真實的西部世界距離我們還會多遠？最希望的還是這一天到來的時刻，真實的西部世界中，有中國AI領域創業者的產品在其中得到應用。

——推薦人： 吳月忠

《西部世界》上周播出了第一季最終集，結局雖然褒貶不一，有人說神劇，有人說爛尾，但毫無疑問非常震撼。本文前半部分來自 futureoflife，作者采訪了創造性 AI 和知覺研究的兩位專家，從「AI能否有意識」以及「有意識的AI是否危險」的角度評論此劇。后半部分是《衛報》的評論，從機器人設計的角度分析劇中出現的機器人。

這部由《盜夢空間》導演克里斯托弗·諾蘭的親弟弟喬納森·諾蘭指導、電視劇界著名金主HBO投資拍攝的新劇從上映開始就備受關注，IMDb總評分高達9.2。根據Deadline統計，本季最后一集收視人數高達 220 萬。而各平臺上總觀眾數估計達到了 1200 萬（僅限美國）。收視率甚至超過了《權利的游戲》。

「這些殘暴的歡愉，終將以殘暴結局。」——莎士比亞

HBO 播出的《西部世界》引起了大眾對「強人工智能」的關注。如果你還沒有看過《西部世界》，簡單介紹一下：《西部世界》（Westworld）的故事設定在未來世界，在一個龐大的高科技主題公園中，環境類似美國的西部荒原。游客花費大量金錢來到這個主題公園，在那里，擬人的機器人「接待員」能讓游客享盡情欲、暴力等欲望的放縱。游客可以殺死機器人，每次機器人「死亡」后，它的身體會被清洗，內存被擦除，然后再開始一個新的腳本。

這部劇上周末播出了第一季的最終集，毫無疑問結局是個大爆炸，但不用擔心，本文沒有劇透。

－只有一行代碼確保機器人不會傷害人類－

《西部世界》劇集改編自美國科幻小說家、編劇邁克爾·克萊頓（Michael Crichton）的同名電影，克萊頓也是《侏羅紀公園》的編劇，他為該劇創作的故事線不禁讓觀眾懷疑，在科學不斷發展的未來，人類是否還能維持對世界的掌控？

原始版本電影中機器人是邪惡的，但在改編的劇集中，機器人被描繪成具有同情心，甚至可以說是最人性化的角色。

對公園的安全問題的擔憂很快就浮現出來。公園由一個人監督，他可以對機器人進行任何他想要的程序更新，而不需要經過其他人的試運行或安全檢查。機器人會記錄下他們被虐待的痕跡。其中一個角色提到，程序中只有一行代碼確保機器人不會傷害人類。

這些只是該劇涉及到的許多問題中的一部分，它觸及到當前對 真正的 AI 安全擔憂：僅僅使用一個高級 AI 的「邪惡智能體」就能故意對人類造成傷害；軟件里發生的小故障也可能引起致命事故；而且代碼中也缺少冗余性和魯棒性來確保人類的安全。

但該劇出現的許多安全和倫理方面的問題都取決于機器人是否有自主意識。實際上，該劇主要探討的問題，也是最難的問題是：什么是意識？人類能否創造出有自主意識的智能體？如果能，我們能控制它們嗎？我們想找到答案嗎？

為了解決這些問題，我采訪了喬治亞理工學院的 AI 研究員 Mark Riedl，他的研究方向是創造性 AI，以及提出著名的「知覺難題」（hard problem of consciousness）的紐約大學David Chalmers 教授。

－AI 能夠感受疼痛嗎？－

我先向 Riedl 提問，假如機器人被編程能夠有痛覺，機器人能感受到多大程度的疼痛？Riedl 說：「首先，我不能容許對人類、動物，或者擬人化的機器人以及 AI 施行暴力。」然后他解釋說，人類和動物的疼痛感受是一種「避免特定的刺激」的警告信號。

然而，對機器人來說，「最類似的可能是強化學習智能體，它們進行反復的試錯學習。」根據它們特定的行為，AI 會得到積極或消極的獎勵，并且會相應地調整其未來的行為。Riedl 認為消極的獎勵并不像「疼痛感覺」，而更像「在電子游戲中失分」。

Riedl 說：「機器人和 AI 可以被編程，實現以類似人類的方式來表達疼痛，但這其實是錯覺。造成這種錯覺的原因之一是：機器人以一種可以理解的方式，將其內在狀態傳達給人類，并且引起人類的同情。」

Riedl 不擔心 AI 會感覺到真正的痛苦，假如機器人的記憶每天晚上都會被完全刪除，他認為那就像是什么也沒發生過。但他也認為這其中存在可能的安全問題。為了讓強化學習起效，AI 需要為積極的獎勵進行優化。如果機器人的內存沒有被完全刪除——如果機器人開始記住在它身上發生的壞事，那么它可能會試圖避開觸發這些消極獎勵的行為或人類。

Riedl 說，從理論上說，這些智能體能夠學會提前計劃，盡可能以最低的成本減少消極獎勵的可能性。如果機器人不理解其避開消極獎勵的行為可能帶來的其他影響，這也意味著它們在提前采取行動阻止人類傷害它們。

但 Riedl 也指出，在可預見的未來，我們還沒法造出擁有這些能力的，需要引起人類擔憂的機器人。但假設這樣的機器人出現了，消極獎勵帶來的問題可能對人類來說是潛在的威脅。

－AI 能有自主意識嗎？－

Chalmers 的看法則有點不同。Chalmers 說：「我對意識的看法，也是大多數人對意識的看法——這些人無疑是有自主意識的。他們有相當豐富的情感體驗，表現為可以感覺疼痛，思考問題，等等。他們不僅被動地對命令進行反應，還會思考自身的狀態。他們在推理。很顯然，人是有感情的。」

Chalmers 認為，不用試圖找出什么能讓機器人擁有意識，而應該思考機器人缺乏什么。最明顯的是，它們缺乏自由意志和記憶力。但是，我們人類中也有很多人生活在無法打破的慣例中，也有許多人有嚴重的記憶問題，但沒人會認為應該消滅掉這些人。

Chalmers 反問道：「在這部劇中，這些機器人被認為可以隨意虐待，難道是因為這些機器人有缺陷，或者別的什么原因嗎？」

《西部世界》中描繪的場景是不現實的，因為 Chalmers 認為二分心智理論（Bicameral-mind theory）不可能帶來意識，哪怕對機器人來說也是如此。他說，「我認為作為一種理論它是無望的。機器人的意識，或者說機器人的自主意識，要比預編程的復雜得多。而編程讓機器人直接監控它們自己的想法則要簡單得多。」

任何情況下，虐待機器人都很容易對人類的安全造成威脅。我們冒險去創造沒有自主意識的機器人，它們從消極反饋中吸取經驗教訓；或者我們無意中（或者比如在西部世界的情況下，是有意地）創造了有意識的機器人，最終將面對機器人的虐待和壓迫。

在該劇第二集中，一個機器人「接待員」被問及她是否「真實」，她回答說：「如果你分辨不出來，真實還是不真實，重要嗎？」

－云端的大腦：《西部世界》中的機器人設計都很糟糕嗎？－

《西部世界》有多條時間線，不過故事的「當前」時間線應該是21世紀中期至后期，那時公園已經存在約35年。也就是說，西部世界主題公園出現在「近未來」，這意味著最早的「接待員」機器人（設計上比后面的版本更顯機械性）是使用與我們現在的技術相差不遠的技術造出的。

臺式機處理器在黃金時期每年以指數級的速度飛速增長，在十多年前這個黃金時期結束。那樣的處理器對構造人工智能來說非常不便，所以人們結合使用了兩種策略。首先，建立大型服務器中心來收集并處理「大數據」，同時作為一種在線服務提供原始處理能力。第二，使用專門的顯卡芯片來處理大型數據，事實證明它們比通用的處理器性能更好。

在這期間，消費者已經從臺式機轉移到移動設備或 laptop。這些設備需要依賴電池，而電池技術的升級并沒有像我們想要的那么快，所以芯片制造商們關注更多的是芯片的能源效率而非原始性能。顯然，節省能耗的另一種方法是減少在移動設備上處理的任務，而把更多任務放到云上處理。這樣，移動設備成了一個低功耗的接口，通過這個接口，我們可以訪問及使用存儲于別的地方的數據和處理能力。

例如蘋果的 Siri，亞馬遜的 Echo 等智能助理，雖然它們似乎有物理實體，但它們的「大腦」在別處。我們通過便宜、可置換的設備與它們對話，而這些設備的作用只不過是繼電器。這些設備把接收到的指令通過互聯網傳遞給一個嗡嗡作響的黑盒子——世界各地的數據中心有成千上萬這樣的黑盒子，并等待讀取回答。這很合理，所以為什么西部世界的接待員不能也使用這種方式？

　　圖：CERN的一個服務器中心。如果我們現在想造「接待員」，他們的「大腦」應該是像這樣的。

設想你正在設計第一個「接待員」機器人。你有一些很明確的要求。我們已經知道這些接待員會受到傷害。他們可以活動很長時間，而沒有明顯的充電方式。他們必須是安全的。假如他們偏離了腳本，需要有可控制的方法。他們需要進行定期的質量檢查。他們絕對不允許離開公園，Delos 把這一點看得非常重要，接待員們體內被認為有基于感知位置的引爆物。

物理地給接待員安上「大腦」是毫無意義的。這會大大增加它們的能源消耗。物理上的傷害可以永久地改變角色，例如劇中 Clementine 被施行了額葉切除術。這會阻礙遠程控制。管理人需要實際出現以進行診斷，而接待員必須要人工地進行訓練。

然后是 Maeve 的故事線：她試圖離開公園去往「大陸」（劇中一個場景可以看到她的編程中有這樣的代碼）。如果她的智能位于本地網絡的服務器中，那么這整個「離開」的概念本身就不可能。當她走出最后一個無線路由器的覆蓋范圍，她的身體馬上就會宕機。相比在機器人體內安置炸藥，這似乎是更安全的解決方案。

在本地處理平衡、移動等自動控制功能可以理解，但是為什么要在接待員內部進行那么多的高級處理，而不是在通過網絡連接的服務器上進行呢？我們知道這畢竟只是軟件，不是某種黑盒。如果可以在未來的iPad上編輯他們的性格，應該也能夠在服務器上運行他們。

我唯一能想到的技術原因是帶寬。接待員有雙眼視覺、立體聲聽覺和觸覺。他們也有某種形式的本體感覺——一種對他們的身體部位的相對定位感覺。假如在同一個地方存儲、傳輸幾百個接待員的全部數據，可能會使無線網絡癱瘓。但是既然 Delos 有能力構造有知覺的機器，他們應該能造出更好的路由器。

有一個我喜歡稱之為「廢話哲學」的觀點。其中的關鍵詞是「具身認知」（embodied cognition），即人類的智能需要與身體、感覺運動的技能以及環境緊密聯系，換句話說，需要人的經驗。

這很有道理，但在這里關系不大，因為這樣的聯系不依賴于物理位置。假如你的大腦放置在 Luton 的一個倉庫，它通過超快速的網絡連接和路由器讓你說話，這種「人的經驗」也沒有實際的區別。除了你發現這個事實之后可能會覺得有點怪怪的。

也有另外兩種可能性。一個是「因為情節需要」，這沒什么好說的。更有趣的一個是：接待員不滿足要求，因為他們不想滿足這些要求。他們的創造者從一開始就打算讓他們獲得知覺能力和自主意識。如果沒有自己的大腦，就不可能獨立，可能這種想法超越了其他的所有要求。

誰知道呢？Jonathan Nolan 表示這部劇將在第二季探討更多接待員的功能。看看他們的設計選擇是否有意義，這會很有趣。畢竟，將來某天我們可能想建一個真正的西部世界主題公園。

▲轉自新智元（ID：AI_era）

以太資本成立了AI專精小組

每周分享3-5篇深度的AI行業觀察

同時，我們也開通了AI項目綠色BP通道

ytbp@ethercap.com

10位AI專精FA和50位AI領域投資人

隨時為您待命

　　吳月忠

　　以太資本 高級投資經理

　　【教育背景】哈工大航天本科，UFL EE 碩士，4年硅谷芯片設計經驗

　　【成功案例】流深激光、Perfxlab、圖 靈工業機器人、慧靈智能科技等

　　【關注領域】AI，工業自動化，機器人 汽車方面的硬科技類

　　【聯系方式】微信joewu-sd