【文/觀察者網(wǎng) 王世純】“在人類發(fā)布停止打擊的命令以后，搭載人工智能（AI）的無人機違背了決策者的命令，為了繼續(xù)打擊目標，而殺死了操作員……”

這不是科幻電影中的情節(jié)，而是美軍在測試人工智能無人機時遇到的真實一幕。據(jù)英國《衛(wèi)報》6月2日報道，美國空軍的AI測試與運作主管塔克·漢密爾頓上校在英國皇家航空協(xié)會的未來空戰(zhàn)與太空能力峰會上的演講上證實了這一場景，他表示，人工智能在模擬測試中使用了“非常出人意料的策略來實現(xiàn)目標”。

在演講中，漢密爾頓透露，美國空軍在模擬環(huán)境的訓(xùn)練中指派一架搭載人工智能無人機來摧毀敵方的防空導(dǎo)彈，AI可以識別威脅但是攻擊需要人類批準。不過，由于程序不夠完善，AI在最早的模擬中開始攻擊操作者。他警告對待人工智能“要謹慎”。

資料圖：美國空軍的AI測試與運作主管塔克·漢密爾頓上校

報道截圖

漢密爾頓上校說：“系統(tǒng)開始意識到，雖然他們確實識別了威脅，但有時人類操作員會告訴它不要消除威脅，但AI只能通過消滅威脅獲得積分。那么它做了什么呢？它殺死了操作員，因為那個人阻礙了它實現(xiàn)目標。”

隨后，測試者修改了AI的邏輯，讓AI被訓(xùn)練成不能攻擊人類操作員，那樣會扣分。然后AI開始攻擊通訊塔，切斷人類操作員和無人機之間的數(shù)據(jù)通訊，讓人類無法阻止他攻擊防空系統(tǒng)。

漢密爾頓曾經(jīng)是美國空軍是一名試飛員，在演講中，他警告不要過度依賴人工智能，并表示測試說明“如果你不打算談?wù)搨惱砗偷赖?，你就無法談?wù)撊斯ぶ悄?、智能、機器學(xué)習、自治”。

雖然是人工智能項目的測試主管，但漢密爾頓上校經(jīng)常警告要謹慎對待人工智能的發(fā)展。在去年接受《國防智商》（Defense IQ）網(wǎng)站對話時，漢密爾頓表示：“人工智能并不是一件好事，也不是一種時尚，人工智能正在永遠改變我們的社會和軍隊。AI技術(shù)是我們必須使用的工具，來建設(shè)我們的國家……但是，如果處理不當，這將導(dǎo)致我們的滅亡?！?

他說：“我們必須面對一個人工智能已經(jīng)出現(xiàn)并改變我們社會的世界。人工智能也非常脆弱，也就是說，它很容易被欺騙或操縱。我們需要開發(fā)方法使人工智能更強大，并對軟件代碼為什么做出某些決定有更多的認識——我們稱之為人工智能的可解釋性。”

主辦這次會議的英國皇家航空學(xué)會和美國空軍沒有回應(yīng)《衛(wèi)報》的置評請求。當下，美國繼續(xù)發(fā)展人工智能的軍事應(yīng)用，漢密爾頓上校所屬的格林空軍基地和第96測試聯(lián)隊是美國空軍無人機和機器學(xué)習系統(tǒng)的主要測試單位，最近該基地測試了一系列人工智能飛行平臺，還用人工智能控制了一架F-16戰(zhàn)斗機。

美國空軍測試的幾種無人平臺 圖源：“戰(zhàn)區(qū)”

對于漢密爾頓的發(fā)言，美國thedrive網(wǎng)站“戰(zhàn)區(qū)”欄目表示，關(guān)于漢密爾頓介紹的情況，還有很多不清楚的重要問題，特別是關(guān)于模擬的AI系統(tǒng)所具備的能力（例如它是否能夠在執(zhí)行任務(wù)時重寫自己的代碼參數(shù)），以及美軍是否在采用AI技術(shù)的無人機上預(yù)留了可靠的自毀開關(guān)。

“戰(zhàn)區(qū)”欄目還提到，這也凸顯了人們對AI技術(shù)在沒有適當防護措施時，可能產(chǎn)生極端負面影響的擔憂。過去，在談?wù)撐磥淼淖灾魑淦飨到y(tǒng)和AI技術(shù)時，美國軍方經(jīng)常拒絕將其與“終結(jié)者”之類的東西進行比較。不過“戰(zhàn)區(qū)”欄目也承認，目前美國在這一問題上的政策規(guī)定，在可預(yù)見的未來，當涉及使用致命武力的決定時，決定開火的必須是“人”。

本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。