從根本上說，向人工智能和人工智能輔助武器及防御系統(tǒng)的轉變，將導致對智能的依賴。這種智能的運作所基于的經驗范式與人類有本質區(qū)別，且具備可觀的分析潛力。在極端情況下，這種依賴甚至演變?yōu)橐环N授權，可能導致未知的風險。因此，人類操作者必須對具有潛在致命影響的人工智能加以監(jiān)控，即便不能避免所有錯誤，至少要保障道德責任和問責能力。

然而，最深層的挑戰(zhàn)可能是哲學層面上的。如果戰(zhàn)略的分析運作無法再為人類理性所理解，則其過程、范圍和最終意義將變得不再透明。如果決策者認為，在揭示現實的最深層模式、了解（可能擁有自己的人工智能的）對手的能力和意圖并及時做出應對的過程中，人工智能的輔助已必不可少，那么，將關鍵決策權下放給機器可能成為必然趨勢。各個社會可能會就“哪些決策權可以下放”、“何種風險和后果是可以接受的”等問題，給出各不相同的答案。主要大國應當未雨綢繆，提前就該演變的戰(zhàn)略、學說和道德影響展開對話，否則將導致不可逆的影響。國際社會必須做出努力，以限制這些風險。

管控人工智能

在智能體系互相對抗之前，我們必須對這些問題加以考量和理解。隨著網絡和人工智能能力被用于戰(zhàn)略目的，戰(zhàn)略競賽的領域變得更為廣闊，從而使這些問題變得迫在眉睫。某種程度上說，網絡和人工智能使一切與數字網絡相連的地方都成為“戰(zhàn)場”。如今，數字程序控制著一個由眾多實體系統(tǒng)構成的領域，該領域極為龐大，且仍在增長（某些情況下，甚至連門鎖和冰箱都接入了網絡）。這催生出一個極其復雜、廣泛和脆弱的系統(tǒng)。

對人工智能強國來說，追求某種形式的彼此理解和相互制約至關重要。由于相應系統(tǒng)和能力可以通過計算機代碼的變化而輕易地悄然改變，各大政府可能傾向于認為，其對手在戰(zhàn)略敏感的人工智能研究、開發(fā)和部署方面的步調會比其公開承認甚至私下承諾的更進一步。從純技術角度來看，讓人工智能參與偵察、鎖定目標或是展開致命性自主行動并不難，因此，一套相互制約和驗證的體系的體系的構建顯得既緊迫又困難。

要尋求保障和制約，就必然與人工智能的動態(tài)本質相抗衡。由人工智能驅動的網絡武器一旦問世，就可能在適應能力和學習能力上遠超預期；武器的能力或將隨之改變。如果武器能夠以某種方式改變，且改變的范圍或性質不同于預期，那么威懾和升級的設想可能變得更加撲朔迷離。因此，無論是在初始設計抑或最終部署階段，都需要調整人工智能的運行范圍，以便人類對系統(tǒng)加以監(jiān)視，在其偏離初始目標時將其關閉或重新定向。為了避免意外、潛在的災難性后果，這種限制必須是相互的。

無論是限制人工智能和網絡能力，抑或遏制其擴散，都非常困難。主要大國開發(fā)和使用人工智能和網絡的能力，有可能落入恐怖分子和流氓幫派手中。同樣，那些沒有核武器、常規(guī)武器軍力也有限的小國，也可以通過投資尖端的人工智能和網絡武器，發(fā)揮出巨大的影響力。

各國勢必會把非連續(xù)、非致命的任務委托給人工智能算法（部分由私營實體操作），其中包括執(zhí)行檢測和防止網絡空間入侵的防御功能。一個高度網絡化和數字化的社會“受攻擊面”太大，人類操作者無法僅憑手動實現防御。隨著人類生活的許多方面轉移到網上，經濟也持續(xù)數字化，一個流氓網絡人工智能就可能破壞整個行業(yè)。國家、公司甚至個人都應該著手構建某種失效保護體系，以防患于未然。

這種保護的最極端形式即切斷網絡連接。對國家而言，離線可能是終極的防御形式。如果排除這種極端措施，那么，能夠執(zhí)行某些重要網絡防御功能的就只有人工智能了——網絡空間浩瀚無垠，在此可采取的行動選項幾乎無窮無盡，因此，除了少數幾個國家，這一領域內最重要的防御能力可能是其他國家力所不及的。

除了人工智能防御系統(tǒng)，還有一類最令人頭疼的武器——致命自主武器系統(tǒng)。該系統(tǒng)一旦被激活，就可以在沒有人類干預的情況下選擇目標并實施打擊。這類武器的關鍵問題是人類對其缺乏監(jiān)督和干預的能力。

與輕武器聯(lián)接的美國陸軍自主遠程作戰(zhàn)系統(tǒng)（圖源：NPR）

一個自主系統(tǒng)“在其指令環(huán)路中”的某些行動需要人類授權，或需要一個人“在指令環(huán)路上”被動地監(jiān)控其活動。除非受到可遵守和可證實的相互協(xié)議的限制，前者最終可能涵蓋全部戰(zhàn)略和目標（例如保衛(wèi)邊境或實現針對敵人的特定結果），且無需耗費大量人力。在這些領域，必須確保人類的判斷能發(fā)揮作用，實現對武器的監(jiān)督和指導。如果只有一個或少數幾個國家接受這些限制，意義是有限的。先進國家的政府應探討如何以可行的方式進行檢查，進而在此前提下實現相互制約。

人工智能的引入，使人們可能為搶占先機而將某種武器倉促投入使用，進而引發(fā)沖突。當一個國家擔心其對手正在發(fā)展自動化軍力時，可能會“先發(fā)制人”；而如果攻擊“成功”了，擔憂的合理性也就無法再得到證實或證偽。為防止沖突意外升級，大國應在一個可驗證的限制框架內進行競爭。談判不只包括緩和軍備競賽，還應該確保雙方都大致了解對方動向。但雙方都必須對一點有所預期（并據此進行籌劃）：對方會對自己最具敏感性的秘密有所保留。正如冷戰(zhàn)期間的核武器談判所表明的，國家間永遠不會有完全的信任，但這并不意味著無法達成某種程度的諒解。

我們提出這些問題，是為了界定人工智能給戰(zhàn)略帶來的挑戰(zhàn)。界定核時代的條約（以及隨之而來的溝通、執(zhí)行和核查機制）給我們帶來了各方面的收益，但并非歷史的必然產物，而是人類能動性的產物，是共同承擔危機和責任的產物。

對民用和軍事技術的影響

傳統(tǒng)上，三個技術特性促成了軍事和民用領域的分野：技術差異、集中控制和影響規(guī)模。所謂技術差異，是指軍用和民用技術的區(qū)別。所謂集中控制，是指部分技術易于被政府管控，與容易傳播、規(guī)避政府控制的技術相反。所謂影響規(guī)模，則是指一項技術的破壞性潛力。

縱觀歷史，許多技術都是軍民兩用的。至于其他技術，一些很容易廣泛傳播，另一些則具有巨大的破壞力。然而，迄今為止，還沒有一種技術同時具備以下三種特性：軍民兩用、易于傳播和潛在的巨大破壞性。運送貨物到市場的鐵路和運送士兵到戰(zhàn)場的鐵路是一樣的，鐵路不具有破壞性潛力。核技術通常是軍民兩用的，且破壞性巨大，但核設施很復雜，這使政府能夠相對安全地控制核技術。獵槍可能被廣泛使用，同時具有軍民用途，但其有限的能力使持槍者無法在戰(zhàn)略層面造成破壞。

而人工智能打破了這種范式。很明顯，人工智能可以軍民兩用；也很容易傳播，只需幾行代碼，大多數算法（除了部分例外）可以在單個計算機或小型網絡上運行，這意味著政府很難通過控制基礎設施來控制這種技術；其應用具有巨大的破壞性潛力。這種獨一無二的特性組合，加上廣泛的利益相關者，產生了具有全新復雜性的戰(zhàn)略挑戰(zhàn)。

人工智能賦能武器，使對手能以驚人的速度發(fā)起數字攻擊，并極大提高其利用數字漏洞的能力。這樣一來，對于即將到來的攻擊，一個國家可能還來不及評估就需立即響應，否則就可能被對方解除武裝。如果一個國家有相應手段，就可以在對方完全展開攻擊之前做出回應，構建一個人工智能系統(tǒng)來預警攻擊并加以反擊。這一系統(tǒng)的存在，及其毫無預警地實施行動的能力，可能會刺激另一方投入更多建設和規(guī)劃，包括開發(fā)并行技術或基于不同算法的技術。如果人類也參與了這些決定，那么除非各方謹慎地發(fā)展出一個共同的限制理念，否則先發(fā)制人的沖動可能會壓倒謀定后動的需要，就像20世紀初的情況一樣。

在股票市場，一些復雜的所謂量化公司認識到，人工智能算法可以發(fā)現市場模式，并比最佳操盤手更快地做出反應。因此，這些公司已將其證券交易的部分控制權委托給算法。算法系統(tǒng)所贏得的利潤通常遠超人類操盤手。然而，它們偶爾會嚴重誤判，誤判程度遠超最糟糕的人為錯誤。

一款用于操盤的人工智能算法（圖源：Unite.AI）

在金融領域，此類錯誤會毀掉投資，但不會致人死地。然而，在戰(zhàn)略領域，一次類似“閃電崩盤”的算法故障可能引發(fā)災難性后果。如果數字領域的戰(zhàn)略防御需要戰(zhàn)術上的進攻，那么當一方在此類計算或行動上出錯時，就可能在不經意間使沖突升級。

將這些新能力納入一個明確的戰(zhàn)略和國際均勢概念的嘗試非常復雜，因為技術優(yōu)勢所需的專業(yè)知識不再完全集中于政府方面。從傳統(tǒng)的政府承包商到個人發(fā)明家、企業(yè)家、初創(chuàng)企業(yè)和私人研究實驗室，各種各樣的行為體和機構都參與到對這一具有戰(zhàn)略意義的技術的塑造過程中，而并非其中所有人都認為其使命應與聯(lián)邦政府所界定的國家目標保持內在一致。工業(yè)界、學術界和政府之間的相互教育過程可以幫助彌合這一鴻溝，并確保各方在一個共同的概念框架內理解人工智能戰(zhàn)略意義的關鍵原則。很少有哪個時代面臨過如此局面：一方面，其遭遇的戰(zhàn)略和技術挑戰(zhàn)如此復雜；另一方面，對該挑戰(zhàn)的性質乃至討論其所需的詞匯卻鮮有共識。

核時代尚未解決的挑戰(zhàn)是：人類發(fā)展了一種技術，戰(zhàn)略家們卻找不到可行的軍事行動理論。人工智能時代的困境與之不同：典型技術將被廣泛獲取、掌握和應用。無論是在理論概念上還是在實踐操作中，實現相互間的戰(zhàn)略克制，甚至是實現對“克制”的共同定義，都將空前地困難。

即使歷經半個世紀的努力，如今對核武器的管控仍不盡完善。然而，評估核平衡其實相對簡單：核彈頭可以計數，其生產也是已知的。人工智能則不同：其能力不是固定的，而是動態(tài)變化的。與核武器不同的是，人工智能很難被追查：一旦經過訓練，它們可以被輕易復制，并在相對較小的機器上運行。以目前的技術，對其存在進行證實或證偽，將是極其困難甚至無法實現的。在這個時代，威懾可能來自一種復雜性——來自人工智能攻擊能夠借助載體的多樣性，也來自潛在的人工智能反應速度。

為了管控人工智能，戰(zhàn)略家必須考慮如何將其納入負責任的國際關系模式。在部署武器之前，戰(zhàn)略家必須了解使用武器的迭代效應、這些武器導致沖突升級的可能性和謀求沖突降級的途徑。負責任地使用策略，再輔以制約原則，將是必不可少的舉措。決策者應致力于同時處理軍備、防御技術和戰(zhàn)略，以及軍備控制問題，而不是將其視為在時間上前后不同、在功能上彼此對立的步驟。必須在技術付諸使用前就制定理論并做出決定。

那么，這種制約的要求是什么呢？一個顯見的出發(fā)點就是以傳統(tǒng)強制方式對能力加以制約。在冷戰(zhàn)期間，這種做法獲得了一些進展，至少在象征意義上如此。一些能力受到了限制（如彈頭），另一些（如中程導彈）則被徹底禁止。但無論是限制人工智能的潛在能力，還是限制人工智能的數量，都不能完全符合這種技術在民用領域的廣泛應用和持續(xù)發(fā)展態(tài)勢。我們必須研究新的限制因素，重點是人工智能的學習和目標鎖定能力。

在一項部分預見到這一挑戰(zhàn)的決定中，美國對“人工智能賦能武器”和“人工智能武器”進行了劃分，前者使人類指揮的戰(zhàn)爭更精確、更致命、更有效，后者則能脫離人類操作者自主做出致命的決定。美國已宣布其目標是將人工智能使用限制在前一種類別中，并謀求建立一個任何國家（包括美國自身）都不擁有后一種武器的世界。這種劃分稱得上明智。與此同時，技術的學習和演進能力也可能導致對某些特定能力的限制不足。對人工智能賦能武器的制約性質和制約方式進行界定，并確保約束是相互的，是關鍵所在。

在19世紀和20世紀，各國逐漸對某些形式的戰(zhàn)爭進行了限制（例如使用化學武器、攻擊平民）。鑒于人工智能武器使大量新類別的軍事活動成為可能，或使舊形式的軍事活動重獲新生，世界各國必須及時界定，何種軍事行為有可能背離人性尊嚴和道德責任。要獲得安全，我們就不能只是被動應對，而要未雨綢繆。

與人工智能相關的武器技術帶來了這樣的困境：對國家而言，技術的持續(xù)研發(fā)至關重要，否則我們將失去商業(yè)競爭力和與世界的關聯(lián)性；但新技術所固有的擴散天性使迄今一切以談判促限制的努力付諸東流，甚至連概念也未能形成。