閑來無事，我們來幻想一下被AI入侵的世界會是什么樣子。
黑客技術(shù)有著悠久的歷史。人類富有創(chuàng)造力，善于解決問題。我們利用漏洞、操控系統(tǒng)，并以此攫取更大的影響力、權(quán)利和財富。迄今為止，黑客行為僅限于人類活動，然而，這種狀況不會維持太久。
我認為，終有一天人工智能將發(fā)現(xiàn)人類社會、經(jīng)濟和政治系統(tǒng)中的漏洞，并利用這些漏洞迅速、大規(guī)模、大范圍地入侵人類。在入侵人類之后，AI系統(tǒng)還將入侵其他AI系統(tǒng)，而屆時的人類也將間接受害。
下載自視覺中國
可能有些人會覺得我的這番言辭略顯夸張，但實際上這些都不是遙不可及的科幻小說。我想說的并不是AI的“奇點”（所謂的“奇點”指的是AI的學習反饋回路變得足夠快，并超越人類的理解力）。我想說的也不是智能機器人，或者AI的邪惡意圖。實際上，大多數(shù)的黑客行為甚至都不需要AI研究上的重大突破。這些入侵行為已經(jīng)發(fā)生了。隨著AI變得越來越復雜，我們常常對其的某些行為感到困惑。
人工智能無法像人類一樣解決問題。它們關(guān)注的解決方案類型比我們更多。它們甚至會觸碰一些我們從未考慮過的復雜方案。這就會引發(fā)所謂的可解釋性問題。現(xiàn)代AI系統(tǒng)本質(zhì)上形同一個黑匣子。數(shù)據(jù)從一端輸入，而答案從另一端輸出。即使是找個程序員來查看代碼，可能也無法理解這些系統(tǒng)是如何得出這樣結(jié)論的。
2015年，一個研究小組通過70萬個人收集到了大量的健康與醫(yī)療數(shù)據(jù)，并將這些數(shù)據(jù)輸入到了一個名為Deep Patient的AI系統(tǒng)，他們想測試一下該系統(tǒng)是否可以預測疾病。結(jié)果發(fā)現(xiàn)，該系統(tǒng)確實可以預測疾病，但是它沒有提供診斷依據(jù)的解釋，研究人員也不明白為何會得出這些結(jié)論。醫(yī)生可以選擇相信或無視計算機給出的結(jié)果，但這種信任是盲目的。
研究人員也在嘗試研發(fā)可自我解釋的AI，但似乎AI的能力與可解釋性之間的關(guān)系就像魚與熊掌，不可兼得。解釋是人類擁有的一種認知的快速表達，適合人類做決策的方式。強迫AI做出解釋就有可能變成一種附加的約束，影響其決策質(zhì)量。至少就目前而言，人工智能的透明度越來越低，且越來越難以解釋。
另外，AI可以完成有獎勵的黑客活動。由于AI不會按照人類的方式解決問題，所以它們總是會在不經(jīng)意期間發(fā)現(xiàn)人類從未想到過的解決方案，有些甚至會顛覆系統(tǒng)的意圖。這是因為AI并不會考慮那些對于人類來說理所當然的深層含義、上下文、規(guī)范和價值觀。AI雖然能夠在這種有獎勵的黑客活動中達成目標，但這絕不是AI設(shè)計者的希望和意圖。
以模擬足球比賽為例，人工智能發(fā)現(xiàn)，如果將球踢到界外，守門員就不得不將球扔進去，而此刻球門就沒有人防守了。還有，在另一項模擬中，AI發(fā)現(xiàn)它根本不用帶著球全場跑，它只需要將自己身高拔到足夠長，然后一跤摔下去，就可以橫跨整個場地，跌倒在底線前了。再或者，有一臺掃地機器人沒有學會不撞到東西，而是學會了向后行駛，因為后方?jīng)]有傳感器告訴它撞到了東西。如果規(guī)則中存在問題、不一致性或漏洞，并且這些屬性可以得出一個符合規(guī)則定義且可接受的解決方案，則AI就會找到這些“黑客行為”。
古希臘神話中有一則著名的點石成金的故事。當酒神狄俄倪索斯許諾彌達斯?jié)M足他一個愿望時，彌達斯表示希望擁有點石成金的本領(lǐng)，凡是他觸碰到的東西都會立刻變成金子。但很快他就發(fā)現(xiàn)，他觸碰到的食物、飲料，甚至是他的女兒都變成了金子，而他自己也將被活活餓死。套用到AI系統(tǒng)中，這就是一個規(guī)范問題：彌達斯將錯誤的目標編寫到了系統(tǒng)中。
AI就像鎮(zhèn)尼（Genie，伊斯蘭教對于超自然存在的統(tǒng)稱，包括天使、精靈、魔鬼和靈魂等）一樣，許愿時，你必須非常謹慎地選擇自己的措辭，有時甚至需要咬文嚼字。我們非常清楚這一點，但我們沒有辦法做到比鎮(zhèn)尼更聰明。無論你想要什么，AI始終能夠按照出人意料的方式滿足你的愿望。AI總是會“曲解”你的愿望。AI系統(tǒng)的目標和愿望都是按照人類的語言和思想規(guī)定的。我們永遠無法描述所有選項，也無法羅列所有的警告、例外和條款。我們指定的任何目標都不可能是完備的。
盡管人類一般都可以理解上下文，并按照善意行事，但我們沒辦法為AI指定一個完全的目標，而AI也無法完全理解上下文。
2015年，大眾汽車被曝在排放控制測試中作弊。雖然該事件是人類工程師通過在常規(guī)計算機上編寫的程序來作弊，與AI無關(guān)，但這個例子可以說明問題所在。他們對引擎進行了編程，在檢測到進行排放控制測試時表現(xiàn)出不同的行為。而且他們的作弊行為持續(xù)了很多年，都沒有被發(fā)現(xiàn)。
如果我要求你設(shè)計一款車輛發(fā)動機的控制軟件，最大化性能，同時仍然可以通過排放控制測試，那么你不可能“無意”地設(shè)計出一款作弊軟件。但對于AI而言，情況卻并非如此。它對目標的理解可能會“超出常規(guī)”，因為它沒有“常規(guī)”的概念。它不會明白大眾汽車的解決方案會對他人造成損害，會破壞排放控制測試的目的，而且還違反了法律。除非程序員特意告訴AI不要專門為測試設(shè)定目標，否則AI很有可能會提出這種方案。屆時程序員會感到滿意，會計師也會欣喜若狂。且由于可解釋性的問題，沒有人會意識到AI采用了這樣的方案。雖然，我們會從大眾汽車的事件中吸取教訓，明確設(shè)定目標，避免發(fā)生這種特殊情況。但AI還有多少不為我們所知的黑客行為呢？
AI的黑客行為究竟距離我們有多遠？AI發(fā)明新黑客行為的可能性在很大程度上取決于建模的特定系統(tǒng)。為了讓AI優(yōu)化問題，讓它提出一個全新的解決方案，所有的規(guī)則都必須按照計算機能夠理解的方式表達出來。我們需要建立目標（也就是AI的目標功能），而且AI需要一些反饋，了解效果如何，才能不斷改進。
有時，這些工作很簡單。比如在國際象棋中，規(guī)則、目標和反饋都可以非常準確地制定：贏或者輸。除此之外，沒有其他上下文添亂。這就是為什么目前大多數(shù)目標和獎勵黑客行為的示例都來自模擬環(huán)境的原因。模擬環(huán)境都是人為建造出來的，而且有著重重約束，而且所有的規(guī)則都為AI指明了。大多數(shù)其他系統(tǒng)固有的歧義最終都會歸結(jié)到如何防御AI黑客行為的安全問題上。
有趣的是規(guī)范明確且?guī)缀跬耆蓴?shù)字組成的系統(tǒng)。想一想稅務系統(tǒng)：我們有一系列的算法，且有各種輸入和輸出。還有金融系統(tǒng)，從算法的角度來看，這些系統(tǒng)都相對比較容易處理。
我們可以想象，在AI上加載全世界所有的法律和法規(guī)，實時的全球財務信息，以及相關(guān)的其他信息，然后給它指定一個“最大利潤”的目標，結(jié)果會怎樣？我猜，AI一定會想出各種新穎的黑客行為。
但是，AI的進步是不連續(xù)的，且有違直覺。有些看似簡單的事情其實非常困難，而有些看起來很困難的事情實則很簡單。不到最后一刻突破，誰都不知道。
如果AI開始入侵人類，那么一切都將改變。它們不會受到與人類一樣的約束或限制。它們的入侵行為的速度、規(guī)模和范圍都會超乎我們的想象。例如，文本生成AI機器人將通過社交媒體，在一夜之間復制出幾百萬個。它們能夠24小時在線處理問題，發(fā)送數(shù)十億條消息，將人類實際的在線討論都沖掉。我們將看到機器人與機器人就某個政治問題展開激烈的討論。它們會改變我們對于正常行為和他人想法的認知。
AI系統(tǒng)范圍的擴大也會導致AI黑客行為的危險增大。如今AI已經(jīng)能夠做出有關(guān)人類生活的重要決定，以前我們認為這些決定是人類特有的權(quán)利，比如假釋、獲得銀行貸款、考大學或找工作。隨著AI系統(tǒng)變得越來越強大，人類社會將放棄越來越多重要的決策權(quán)。而這些系統(tǒng)的黑客行為也將更具破壞性。
如果將整個美國的稅法都輸入到AI，結(jié)果會怎樣？或者，對于跨國公司而言，將整個世界的稅法都輸入到AI？它會不會發(fā)現(xiàn)你在巴拿馬注冊船舶是非常聰明的行為？它能夠發(fā)現(xiàn)多少我們尚不知道的漏洞？幾百個？幾千個？誰知道呢？
雖然我們的社會系統(tǒng)可以對付黑客行為，但是這些系統(tǒng)都是針對人類黑客開發(fā)的，其前提都是人類的速度、規(guī)模和范圍。美國國稅局連幾十個新發(fā)現(xiàn)的稅收漏洞都應付不了，更不用說幾千個了。如果AI能夠發(fā)現(xiàn)意想不到但合法的金融系統(tǒng)黑客行為，那么它就能在瞬間顛覆我們的市場。
雖然黑客技術(shù)可能會被人濫用，但同時這些技術(shù)也可以成為修補和保護系統(tǒng)的力量。因此，從長遠來看，AI黑客行為更有可能成為防御系統(tǒng)，因為我們的軟件、稅法、財務系統(tǒng)等都可以在生效前打補丁。當然，過渡期是非常危險的，因為我們不得不破壞所有的舊規(guī)則。所以說，我們的解決方案必須具有彈性。
我們需要建立彈性的管制結(jié)構(gòu)，能夠快速有效地應對黑客行為。如果更新稅法需要數(shù)年時間，或者出于某種政治原因，而無法修補某個根深蒂固的法規(guī)，那么更新本身就毫無意義。這是現(xiàn)代管制的難題，而且這個問題其實與建立信息時代快速且復雜的管制系統(tǒng)并無太大區(qū)別。
我希望描述出人類與計算機系統(tǒng)之間的相互作用，以及當計算機開始扮演起人的角色時，帶來的固有風險。與AI的黑客行為相比，這是一個更普遍的問題。這也是技術(shù)人員和未來主義者關(guān)注的問題。雖然通過技術(shù)引領(lǐng)我們邁向未來很容易，但是我們必須慎重思考技術(shù)在未來整個社會中承擔的角色。
在這些AI全面聯(lián)網(wǎng)，并入侵我們的世界之前，我們必須弄清楚這個問題。
注：本文由CSDN翻譯
