AI武器未來戰（上）：「殺手機器人」的禁令謬誤？

2018/12/17 徐子軒

致命自主武器系統（LAWS）亦有人將之稱為「殺手機器人」（killer robo... — 致命自主武器系統（LAWS）亦有人將之稱為「殺手機器人」（killer robot）。圖／《魔鬼終結者》

11月底，聯合國《特定常規武器公約》（CCW）有88個締約成員國，群聚日內瓦，召開了政府專家小組（GGE）會議，討論重點在於所謂的「致命自主武器系統」（LAWS）。專家們希望透過各方集思廣益，探討LAWS的未來與公約。

致命自主武器系統亦有人將之稱為「殺手機器人」（killer robot），但不限於有雙手雙腳、可進行攻擊防禦的人形機器。事實上國際法或條約目前仍沒有對於LAWS的確切定義，唯一比較接近各國共識的，應屬2016年紅十字會專家會議的結論。他們主張：

若一種武器系統可「自主」選擇與攻擊目標，便可稱為LAWS。

在CCW的會議裡，大多數的國家都認為，LAWS必須維持某種形式的人為控制，甚至主張應該要締結新的公約，以禁止未來繼續發展和使用LAWS。這點也得到許多非政府組織、科學家與企業家的贊同，如Tesla的執行長馬斯克與人工智慧公司Deepmind的創辦人蘇萊曼（Mustafa Suleyman）就曾與百名專家共同呼籲禁止LAWS。

有些國家採取妥協觀望的立場，像是德國、法國。他們認為，現在對LAWS提出具有法律約束力的條約為時過早，目前國際法和相關宣言足夠控制，不如把目標轉向建立行為準則或信心建立措施，這也得到部份歐盟成員的支持。由於德國先前態度傾向反對LAWS，法國較為支持，因此外界多認為德國的轉變是為迎合法國，以及不願意受到外力對其發展AI的桎梏。

明確表態應繼續LAWS談判的國家則有美國、俄羅斯、澳大利亞等五國，他們表示希望能探索開發和使用LAWS的潛在優勢，並強烈反對任何新公約或政治宣言。俄國更表示，希望能縮短明年的會期，由十天減為七天，因為各國歧見一直存在，沒有必要浪費時間，此議也獲得中國贊同。

最後會議僅形成微弱共識，強調LAWS應該遵循《國際人道法》，在重申未來武器必須透過人為控制的立場後，各國預定於明年繼續聚集探討——那麼，究竟LAWS是否有如部分人士擔心的危險？贊成與反對者的立場又有甚麼不同呢？

LAWS是否如部分人士擔心的危險？贊成與反對者的立場又有甚麼不同呢？圖為美國的軍... — LAWS是否如部分人士擔心的危險？贊成與反對者的立場又有甚麼不同呢？圖為美國的軍警機器人正檢查自殺炸彈客的嘴巴。圖／美聯社

Tesla的執行長馬斯克（左）與Deepmind（即AlphaGo的研發公司）的... — Tesla的執行長馬斯克（左）與Deepmind（即AlphaGo的研發公司）的創辦人蘇萊曼（中）曾與百名專家共同呼籲禁止LAWS。已逝的物理學家霍金（右）也曾警告AI的危險性應謹慎應對。圖／法新社、維基共享、路透社

▌有意義的人為控制 VS 適當的類人判斷

時間回到2014年，CCW第一次針對LAWS召開會議。從那以來，各方就對LAWS爭論不休，從定義到應用，始終無法達成一致。許多國家堅持「有意義的人為控制」是AI武器的標準。這是基於潛在的風險、道德與問責要求，因此人類的生死決定不能委託給機器。

不過，部份國家——如美國和以色列——則主張應以LAWS是否能達成「適當的（appropriate）人類判斷」來討論，而非傳統的人為控制。也就是說，系統在上線運作前，必須通過相關的交戰規則、法規命令等原則，確保系統能「自主」做出與人類一致的決定。

他們認為AI武器不似核生化武器，一旦釋放就無可挽回，且最初設計武器時，理應已加入人為控制的參數，讓AI具有判斷能力，因此不需要多餘的控制程序。這也是所謂的美國標準，至於是否能完全按照美軍規劃，恐怕外界很難論斷。

許多國家堅持「有意義的人為控制」是AI武器的標準，人類的生死決定不能委託給機器。... — 許多國家堅持「有意義的人為控制」是AI武器的標準，人類的生死決定不能委託給機器。不過，部份國家——如美國——則主張應以LAWS是否能達成「適當的人類判斷」來討論，而非傳統的人為控制。圖為美國海軍陸戰隊，操作配備有機關槍武器的遙控機器。圖／USMC

事實上，自主武器的雛形早在當代AI觀念普及前就已存在數十年。像是彈道飛彈防禦體系（BMD），該系統就是美軍定義裡的自主武器，也就是——一旦啟動，無須人類干預，就可以擇定目標發射交戰。當然，人類可以選擇取消發射導彈的決定，符合有意義的人為控制，沒有人會質疑導彈系統是違反國際法的存在。

不過如前述所說，自主武器目前國際上沒有一致定義，使得不少反對派因此時常將「自主」（autonomous）武器與「自動」（automated）武器搞混而混為一談。前者一般是指可以獨立判斷行動的AI，後者是指輸入預定程序，設定並控制其目標，讓它自己行動，又可稱為半自主武器。

嚴格來說，目前世界上並沒有真正、完全的、如電影《魔鬼終結者》般的全自主武器問世（至少檯面上沒有）。因此德國代表也在上半年的GGE上玩著文字遊戲，如此表述：

怎能禁止一些不存在的東西？

為解決紛爭，有學者正試圖研擬關於自主武器的定義，關於其能力涵括了三個指標：自主移動、自主導向和自主決定。自主移動意謂系統能夠自行移動、自主導向意謂系統能識別目標、自主決定則意謂系統能自行設定計畫。若依此定義，目前大多數AI武器具有很高的自主移動和自主導向能力，但極少有自主決定的能力。

由於LAWS的反對者有不少都是軍事門外漢，他們可能不了解，像是美國軍隊研發的「自動化指揮系統」（C4ISR），即是結合電子電腦運算以及人類指揮的現代化指揮體系。這套系統首重指揮（Command）與控制（Control）軍隊，很難想像有任何指揮官與將領願意放棄這些核心原則，因此C4ISR的最高治軍原則仍是落在人類指揮官上；LAWS支持者認為，人類對AI自主決定的方面必定也會有所限制。當然這也是人類的設想，自主AI的發展未必全如人類的規劃。

再回頭談到反對者堅持「LAWS『每個階段』須受到有意義的人為控制」，支持LAWS一派則認為，這在實際操作上站不住腳：若依照反對者要求，LAWS運作的「每階段」都必須透過人為控制，必要時人類得終止攻擊命令。這個標準先不論終結者技術上是否能做到，就算目前也沒有任何武器能「每階段」都受人為控制，試想當人類對敵方一槍，甚至擲出長茅，武器又怎能自動停止攻擊？支持派抓住反對派的語病表示，在開火前有意義的人為控制，當然也符合他們追求的控制原則，只是「每個階段」實屬不切實際。

如此看來，似乎是各方對AI技術的認知不同。目前最接近的是人類協同AI操作的遠程遙控飛行器（RPAV），亦即俗稱的無人機。真正完全自主的LAWS仍沒有應用於戰場上，只憑想像或電影小說描繪就否定其功能或許也過於武斷。

▌人道與良知的難題

若從技術面著手，反對陣營似乎難以取得優勢，因此現今反對者的論點多立足於國際法原則。依據《日內瓦公約》的第一附加議定書、CCW序言裡的《馬爾頓斯條款》（Martens clause）精神，他們強調如果交戰國遇到國際法沒有規範的狀況，應該以「人道原則」與「公眾良知」，做為各國在評估新技術時的義務性考量。

人道原則是指即使在戰時，也必須尊重人的生命和尊嚴，要求對他人施與人道待遇。因為人類會同情人類，因此有動力以人道方式對待彼此。此外，法律和道德判斷使人類能夠理解特定環境，做出經過思慮後的決策，包括在戰爭裡最小化傷害，並防止任意與不合理的生命損失。

這些都是AI所欠缺的部分，做為無生命的LAWS缺乏同情心，無法體會人類生命價值及其喪失的痛苦。AI只能根據算法做出生死決定，而算法在複雜和不可預測的情況下效果不佳，也無法針對每種情形先行編程，最終會將人類降低為一般的生物對象，違反人道原則。

公眾良知則是指公眾和政府對於是非的道德準則。迄今許多團體、專家和政府都強烈反對LAWS的發展，約有26個國家支持先發制人的禁令，超過100個國家呼籲制定一項具有法律約束力的文件，以解決LAWS可能帶來的威脅。