執行摘要

人工智慧 (AI) 技術正在全球迅速普及。驚人的發展不斷湧現,

從模糊真假界限的深度偽造影像的出現,到可以在多人撲克中

擊敗世界上最好的玩家的高級算法。

企業利用人工智慧功能來改進分析處理;城市官員利用人工智慧來監控交通堵塞,

並監督智慧能源計量。然而,越來越多的州正在佈署先進的人工智慧監控工具,

來監控、追踪和監視公民,以實現一系列政策目標 —— 一些是合法的,

另一些是侵犯人權的,其中許多處於模糊的中間地帶。

為了適當地解決這項技術的影響,首先要了解這些工具的佈署位置,以及它們的使用方式,這一點很重要。不幸的是,這樣的資訊很少。為了更清楚地說明,本文提出了一個人工智慧全球監視 (AIGS) 指數 —— 代表了同類研究中的第一個。該指數彙編了全球 176 個國家的人工智慧監控使用經驗數據。它不區分人工智慧監視的合法和非法使用。相反,該研究的目的是展示新的監控能力,如何改變政府監控和追踪個人或系統的能力。它特別要求:

  • 哪些國家正在採用人工智慧監控技術?
  • 政府正在佈署哪些特定類型的人工智慧監控?
  • 哪些國家和公司正在提供這項技術?

主要發現

  • 人工智慧監控技術,正在以比專家普遍理解的更快的速度,傳播到更廣泛的國家。全球 176 個國家中至少有 75 個正在積極使用人工智慧技術進行監控。這包括:智慧城市/安全城市平台(56 個國家)、臉部辨識系統(64 個國家)和智慧警務(52 個國家)。
  • 中國是全球人工智慧監控的主要驅動力。與中國公司相關的技術 —— 特別是華為、海康威視、大華和中興通訊 —— 在 63 個國家提供人工智慧監控技術,其中 36 個國家簽署了中國的「一帶一路」倡議 (BRI)。僅華為一家就負責向全球至少五十個國家提供人工智慧監控技術。沒有其他公司能接近。人工智慧監控技術的第二大非中國供應商是日本的 NEC 公司(十四個國家)。
  • 中國產品宣傳往往伴隨著軟貸款,以鼓勵政府購買他們的設備。這些策略在肯亞、寮國、蒙古、烏干達和烏茲別克斯坦等國家尤為重要 —— 否則這些國家可能無法使用這項技術。這引發了一個令人不安的問題,即中國政府在多大程度上補貼購買先進的壓制性技術。
  • 但中國並不是全球唯一提供先進監控技術的國家。美國公司也活躍在這一領域。美國公司提供的人工智慧監控技術存在於 32 個國家。最重要的美國公司是 IBM(11 個國家)、Palantir(9 個國家)和 Cisco(6 個國家)。其他自由民主國家的公司 —— 法國、德國、以色列、日本 —— 也在推廣這項技術方面發揮著重要作用。民主國家沒有採取足夠的措施,來監測和控制與一系列侵權行為相關的複雜技術的傳播。
  • 自由民主國家是人工智慧監控的主要用戶。該指數顯示,51% 的先進民主國家佈署了人工智慧監控系統。相比之下,37% 的封閉專制國家、41% 的選舉專制/競爭性專制國家和 41% 的選舉民主國家/非自由民主國家佈署了人工智慧監控技術。完全民主國家的政府正在佈署一系列監控技術,從安全城市平台到臉部辨識攝影機。這並不必然意味著民主國家正在濫用這些制度。決定政府是否將這項技術,用於壓制目的的最重要因素,是其治理品質。
  • 專制和半專制國家的政府,比自由民主國家的政府更容易濫用人工智慧監控。一些專制政府 —— 例如中國、俄羅斯、沙烏地阿拉伯 —— 正在利用人工智慧技術進行大規模監控。其他人權記錄不佳的政府,正在以更有限的方式,利用人工智慧監視來加強鎮壓。然而,所有政治背景都存在非法利用人工智慧監控技術,來實現某些政治目標的風險。
  • 一個國家的軍費開支與政府,對人工智慧監控系統的使用有著密切的關係:全球軍費開支排名前 50 的國家中有 40 個(基於累計軍費開支)也使用人工智慧監控技術。
  • 《2018 年網路自由》報告指出,在 65 個國家中,有 18 個國家使用了中國公司開發的人工智慧監控技術。AIGS 指數顯示,2019 年,在 65 個國家中,使用中國 AI 監控技術的國家數量已上升至 47 個。

筆記

  • AIGS 指數呈現了人工智技術監控的國別概況,其中大部分來源在 2017 年至 2019 年之間。鑑於政府監控使用的不透明性,幾乎不可能按具體年份確定哪些人工智平台或系統是目前正在使用中。
  • AIGS 指數使用與民主多樣性 (V-Dem) 項目相同的獨立國家名單,但有兩個例外,共 176個。4 V-Dem 國家名單包括全球所有獨立政體,但不包括人口低於 250,000 的微型國家。
  • AIGS 指數並未提供在特定國家營運的 AI 監控公司的完整列表。該論文使用開源報告和內容分析來得出其發現。因此,存在某些內置限制。一些公司,比如華為,可能有動力突出這一領域的新能力。其他公司選擇淡化他們與監控技術的聯繫,並故意將文件保留在公共領域之外。

該指數的完整版本可在此處線上訪問:https://carnegieendowment.org/files/AI_Global_Surveillance_Index1.pdf 。可在此處訪問與索引相關的交互式地圖,該地圖直觀地描繪了 AI 監控技術的全球傳播:https://carnegieendowment.org/publications/interactive/ai-surveillance 。

用於構建索引的所有參考源材料,都已編譯到一個開放的 Zotero 庫中。可在此處獲得:https ://www.zotero.org/groups/2347403/global_ai_surveillance/items 。

探索地圖

介紹 AI 全球監控 (AIGS) 指數

人工技術曾經被歸入科幻世界,但今天它圍繞著我們。它為我們的手機提供動力,管理我們的音樂偏好,並引導我們的社交媒體訂閱。人工最引人注目的方面也許是它突然無處不在。

電腦科學家 Nils Nilsson 表示,一般而言,人工的目標是透過自動化或複制行為,來「使機器變得慧」,從而「使實體能夠在其環境中適當地和有遠見地發揮作用」。人工不是一種特定的技術。相反,將人工視為一個整合了資訊獲取目標、邏輯推理原則和自我糾正能力的整合系統更為準確。

一個重要的 AI 子領域是機器學習,它是一個統計過程,它分析大量資訊以辨識模式,以解釋當前數據並預測未來用途。一些突破使該領域的新成就成為可能:機器學習的成熟和深度學習的開始;雲端運算和線上數據收集;新一代先進的微晶片和電腦機硬體;提高複雜算法的性能;和市場驅動的人工技術新用途的激勵措施。

毫不奇怪,人工的影響遠遠超出了個人消費者的選擇。它開始改變治理的基本模式,不僅為政府提供了前所未有的能力,來監督其公民和塑造他們的選擇,而且還為他們提供了擾亂選舉、提升虛假資訊,和使跨境民主話語合法化的新能力。


史蒂文·費爾德斯坦

Steven Feldstein 是卡內基民主、衝突和治理項目的高級研究員,他專注於民主、技術、人權、美國外交政策和非洲問題。


本文的重點是人工監控以及政府利用多種工具(從臉部辨識系統和大數據平台,到預測性警務算法)來推進其政治目標的具體方式。非常重要的是,該指數沒有區分用於合法目的的人工監控和非法數位監控。相反,這項研究的目的是揭示新的監視能力,這些能力正在改變國家(從專制國家到先進民主國家)監視個人的能力。 


AIGS 指數—方法論

AIGS 指數提供了全球人工監控趨勢的詳細經驗圖,並描述了世界各國政府如何使用這項技術。它解決了三個主要問題:

  • 哪些國家正在採用人工監控技術?
  • 政府正在佈署哪些特定類型的人工監控?
  • 哪些國家和公司正在提供這項技術?

AIGS 指數包含在附錄 1 中。它包括研究顯示政府正在佈署 AI 監控技術的 75 個國家的詳細資訊。該指數將人工監控工具分為以下子類別:1)智慧城市/安全城市,2)臉部辨識系統,3)警務。該指數的完整版本可在 https://carnegieendowment.org/files/AI_Global_Surveillance_Index1.pdf 線上訪問。可透過 https://carnegieendowment.org/publications/interactive/ai-surveillance 訪問與索引相關的交互式地圖,該地圖直觀地描繪了 AI 監控技術的全球傳播。

用於建構索引的所有參考源材料都已編譯到一個開放的 Zotero 庫中。它可在 https://www.zotero.org/groups/2347403/global_ai_surveillance/items 獲得。

該指數引用的大多數來源發生在 2017 年至 2019 年之間。少數來源可以追溯到 2012 年。該指數使用與民主品種 (V-Dem) 項目中相同的國家列表,但有兩個小例外,8V-Dem 國家名單包括全球所有獨立政體,但不包括人口低於 250,000 的微型州。

研究收集工作按國家/地區、英語和其他語言整理了開源材料,包括新聞文章、網站、公司文件、學術文章、非政府組織報告、專家提交和其他公共資源。它依靠針對每個國家的系統內容分析,結合多個來源來確定相關 AI 監控技術和相應公司的存在。

來源被分為可靠性和準確性的分層級別。一級來源包括主要的印刷和新聞雜誌媒體(如紐約時報、經濟學人、金融時報和華爾街日報)。二線來源包括國內主要媒體。第三層來源包括網路文章、部落格文章和其他證據不足的來源;這些只是在多次證實後才包括在內。

鑑於有限的資源和人員配置限制(一名全職研究人員加上志願者研究援助),該指數只能提供給定國家人工智慧監控水平的快照。它沒有對所有相關技術、政府監控用途和適用公司進行全面評估。由於研究主要依靠內容分析和文獻綜述來得出其發現,因此存在一定的內在局限性。一些公司,比如華為,可能有動力突出這一領域的新能力。其他公司可能希望淡化與監控技術的鏈接,並故意將文件置於公共領域之外。

開展涉及實地資訊收集和驗證的實地研究將是有用的。一些國家 —— 例如安哥拉、亞塞拜然、白俄羅斯、匈牙利、秘魯、斯里蘭卡、突尼斯和土庫曼斯坦 —— 提供了 AI 監視的間接或軼事證據,但沒有足夠的可驗證數據,來保證將其納入索引。

一個主要的困難是確定哪些人工智慧技術應該包含在索引中。直接支持監控目標的人工智慧技術 —— 智慧城市/平安城市平台、臉部辨識系統、智慧警務系統 —— 被納入指數。對人工智慧功能非常重要,但不直接負責監控計劃的使能技術不包括在索引中。

另一個數據收集挑戰是政府(和許多公司)故意隱藏其監控能力。因此,很難準確確定各州佈署算法,以支持其監視目標的程度,或者人工智慧的使用,是否更具投機性而不是真實性。

該指數沒有區分廣泛佈署人工智慧監控技術的政府,與使用人工智慧監控程度低得多的政府(例如,該指數不包括與人工智慧監控程度相關的標準化間隔尺度)。這是設計使然。因為這是一個新興領域,而且關於不同國家如何使用人工智慧監控技術的資訊很少,試圖對一個國家對人工智慧監控的相對使用情況進行評分,會引入很大程度的研究人員偏見。相反,使用了一個基本變量:在給定的國家是否有記錄在案的 AI 監視?如果是這樣,國家正在佈署哪些類型的人工智慧監控技術?未來的研究可能能夠在交叉比較的基礎上,評估和分析人工智慧監控的程度。

最後,索引中記錄的人工智慧監控實,例並沒有與有害結果特別相關。該指數不區分非法和合法監視。部分原因是很難確定政府在監視領域具體做了什麼,以及相關的影響是什麼;有太多未知和隱藏的東西。

調查結果和三個關鍵見解

調查結果表明,全球 176 個國家中至少有 75 個正在積極使用人工智慧技術進行監控。這包括:智慧城市/安全城市平台(56 個國家)、臉部辨識系統(64 個國家)和智慧警務(52 個國家)。AIGS 指數的調查結果產生了三個關鍵見解。

首先,人工智慧監控的全球採用正在全球快速成長。佔被評估國家總數的 43% 的 75 個國家,正在以合法和非法的方式佈署人工智慧監控。國家庫是異質的 —— 它們來自各個地區,它們的政治體係從封閉的專制國家,到先進的民主國家不等。 「2018 年網路自由」報告報告稱,在 65 個被評估國家中有 18 個正在使用中國公司的人工智慧監控技術,這引起了人們的關注。該報告的評估期為 2017 年 6 月 1 日至 2018 年 5 月 31 日。一年後,AIGS 指數發現,同一組中的 47 個國家,現在正在佈署來自中國的人工智慧監控技術。

不出所料,專制制度和低水準政治權利的國家,正在大力投資人工智慧監控技術。海灣、東亞和南亞/中亞的許多政府正在採購先進的分析系統、臉部辨識攝影機和先進的監控能力。但歐洲的自由民主國家,也在競相安裝自動邊境控制、預測性警務、安全城市和臉部辨識系統。事實上,令人震驚的是,華為網站上發布的安全城市監控案例研究,與德國、意大利、荷蘭和西班牙的城市有關

從地區來看,存在明顯的差異。東亞/太平洋和中東/北非地區是這些工具的有力採用者。南亞和中亞以及美洲也顯示出大量使用人工智慧監控儀器。撒哈拉以南非洲落後 —— 不到四分之一的國家投資於人工智慧監控。這很可能是由於技術不發達(非洲國家正在努力將寬頻接入擴展到其人口;該地區有 20 個國家中的 18 個網路普及率最低)。鑑於中國公司積極透過「一帶一路」進入非洲市場,這些數字可能會在未來幾年上升。圖 1 顯示了採用人工智慧監控的國家/地區的百分比細分。

其次,中國是人工智慧監控的主要供應國。與中國公司相關的技術遍布全球至少 63 個國家。僅華為一家就負責向至少五十個國家提供人工智慧監控技術。中國的「一帶一路」倡議與人工智慧監控之間也存在相當大的重疊 —— 86 個「一帶一路」國家中有 36 個也包含重要的人工智能監控技術。然而,中國並不是唯一提供先進監控技術的國家。法國、德國、日本和美國也是該領域的主要參與者。例如,美國公司活躍在 32 個國家。圖 2 細分了該行業的領先公司。

決定政府是否將這項技術,用於壓制目的的最重要因素是其治理的品質 —— 是否存在侵犯人權的模式?是否有強大的法治傳統和獨立的問責機構?這應該為居住在民主國家的公民提供一定程度的保證。

但先進的民主國家正在努力平衡安全利益,與公民自由保護。在美國,越來越多的城市採用了先進的監控系統。例如,Axios 的 Kim Hart 2016 年的一項調查顯示,巴爾的摩警方秘密佈署了空中無人機,對城市居民進行日常監視:「從頭頂飛過的飛機上,強大的攝影機捕捉到整個城市的航拍圖像。每秒都會拍一張照片,這架飛機每天可以在城市上空盤旋長達 10 個小時。」巴爾的摩警方還佈署了臉部辨識攝影機,來監控和逮捕抗議者,尤其是在 2018 年該市發生騷亂期間。美國公民自由聯盟譴責這些技術「相當於在巴爾的摩的每個人身上安裝腳踝 GPS [全球定位服務] 監視器的技術」。

在美墨邊境,一系列高科技公司也提供先進的監控設備。以色列國防承包商 Elbit Systems 已經「在亞利桑那州建造了數十座塔樓,以發現 7.5 英里外的人」,衛報的 Olivia Solon 寫道。它的技術最初是在以色列,透過建造「智慧圍欄」將耶路撒冷與約旦河西岸分開的合同,而在以色列得到完善的。另一家公司,Anduril Industries,「已經開發了具有雷射增強攝影機、雷達和通信系統的塔」,可以掃描兩英里半徑以檢測運動。捕獲的圖像「使用人工智慧進行分析,以從野生動物和其他移動物體中挑選出人類。」目前尚不清楚美國法律,在多大程度上涵蓋了這些監視佈署,更不用說這些行動是否符合必要性和相稱性標準。

美國並不是唯一接受人工智慧監控的民主國家。在法國,港口城市馬賽於 2016 年與中興通訊發起合作,共同建立公共寧靜大數據項目。該計劃的目標是透過建立一個龐大的公共監控網路來減少犯罪,該網路設有一個情報營運中心,和近千台智慧閉路電視 (CCTV) 攝影機(到 2020 年,這一數字將翻一番)。地方當局大肆宣揚該系統,將使馬賽成為「法國和歐洲的第一個安全城市」。同樣,在 2017 年,華為向法國北部小鎮瓦朗謝訥「贈送」了一個展示監控系統,以展示其安全城市模式。該軟體包包括升級的高清閉路電視監控,和由算法驅動的智慧能指揮中心,以檢測異常運動和人群形成。

如此多的民主國家和獨裁國家都在採用這項技術,這一事實意味著,政權類型不能很好地預測,哪些國家將採用人工智慧監控。

政府是否會採購這項技術的一個更好的預測指標,與其軍費開支有關。2018 年軍費支出明細顯示,軍費支出排名前 50 的國家中有 40 個也擁有人工智慧監控技術。這些國家從完全民主到獨裁政權(以及介於兩者之間的一切)。它們包括法國、德國、日本和韓國等主要經濟體,以及巴基斯坦和阿曼等較貧窮的國家。這一發現並不完全出乎意料。對其軍隊進行大量投資的國家,往往具有更高的經濟和技術能力,以及令人關切的具體威脅。

如果一個國家認真對待其安全,並願意投入大量資源來維持強大的軍事安全能力,那麼該國將尋求最新的人工智慧工具也就不足為奇了。歐洲民主國家為何獲得人工智慧監控(控制移民、追踪恐怖主義威脅)的動機,可能與埃及或哈薩克斯坦的利益不同(限制內部異議,在激進主義運動達到臨界規模之前對其進行鎮壓),但這些工具非常相似。未來的研究可能會檢查國家級內部安全數據,並將其與人工智慧監控程度進行比較。

區分合法和非法監視

國家監視本身並不違法。政府有正當理由進行監視,而不是出於實施政治鎮壓和限制個人自由的願望。例如,追踪工具在預防恐怖主義方面,發揮著非常重要的作用。它們幫助安全部隊阻止不良行為,並解決有問題的案件。它們使當局能夠監控關鍵威脅,並做出相應反應。但是技術已經改變了政府進行監控的方式,以及他們選擇監控的內容。網路已經激增了有關個人的交易數據或「元數據」的數量,例如有關發送和接收的電子郵件、位置辨識、網路追踪和其他線上活動的資訊。

通信數據是可儲存、可訪問和可搜索的,向國家當局披露和使用這些數據在很大程度上不受監管。對這些數據的分析可能具有高度的啟發性和侵入性,特別是在數據被組合和匯總時。因此,各國越來越多地利用通信數據,來支持執法或國家安全調查。各國還強制保存和保留通信數據,以使其能夠進行歷史監視。

毋庸置疑,此類侵犯嚴重影響個人的隱私權 —— 不受聯合國人權事務高級專員辦事處 (OHCHR) 所說的「對其隱私、家庭、住宅或一致。」監視同樣可能侵犯個人結社和言論自由的權利。根據國際人權法,三項原則對於評估特定監視行動的合法性非常重要。

首先,國內法是否允許監視?La Rue 的繼任者 David Kaye 於 2019 年發布了一份報告,申明法律法規應「制訂得足夠精確,以使個人能夠相應地規範其行為,並且必須讓公眾可以訪問。」法律要求不應「含糊不清或過於寬泛」,這將允許政府官員不受限制地自由裁量權。法律架構本身應該是「公開的、清晰的、準確的、全面的和非歧視性的」。

其次,監視行動是否符合「必要性和相稱性」的國際法律標準,將監視限制在「為實現合法目的而嚴格和明顯必要」的情況下?

第三,證明監視行為正當的利益是否合法?在確定什麼是合法監視和什麼是濫用權力時,分歧比比皆是。儘管政府通常以國家安全或公共秩序為由為監視辯護,但人權高專辦警告說,此類限制可能「不合理或任意」限制公民的見解和言論自由權。它認為,合法的監視要求國家「證明特定表達對國家安全,或公共秩序的明確利益構成的風險」,以及委託司法部門授權相關監視措施,並提供補救措施的「強大、獨立的監督系統」。虐待案件是必需的。Kaye 補充說,合法的監視應僅在「整個國家的利益受到威脅」時才適用,並且應排除「僅出於政府、政權或權力集團的利益」而進行的監視。

合法進行監視所需的法律標準很高,政府很難達到這些標準。即使是具有強大法治傳統,和強大監督機構的民主國家,也經常無法在其監控計劃中,充分保護個人權利。執法不力或專制制度的國家「通常會逃避這些義務」。正如人權高專辦關於數位時代隱私的首份報告所總結的那樣,「缺乏適當的國家立法和/或執法、程序保障薄弱和監督無效」的國家減少了問責制,增加了非法數位監控的條件。

人工智慧監視加劇了這些情況,並使民主和專制政府更有可能進行違反國際人權標準的監視。 Frank La Rue 解釋說:「技術進步意味著國家進行監視的有效性,不再受規模或持續時間的限制。技術和數據儲存成本的下降,已經消除了進行監視的財務或實際抑制因素。因此,國家現在比以往任何時候都更有能力進行同時、侵入性、有針對性和廣泛的監視。」

人工智慧監控尤其為政府提供了兩項主要能力。第一,人工智慧監控允許政權自動執行,許多以前委託給人類操作員的追踪和監控功能。這帶來了成本效益,減少了對安全部隊的依賴,並克服了潛在的委託代理忠誠度問題(在這種情況下,按照政權的要求運作的部隊決定為自己奪取權力)。

第二,人工智慧技術可以比傳統方法,覆蓋更廣泛的監控網路。與「時間和注意力有限」的人類操作員不同,人工智慧系統從不疲倦或疲勞。因此,即使不訴諸身體暴力,這也會產生巨大的「寒蟬效應」;市民永遠不知道自動機器人是否在監控他們的簡訊、閱讀他們的社交媒體發文,或追踪他們在城鎮周圍的活動。

本文承認人工智慧監控技術是「價值中立的」。這些工具本身並不會煽動鎮壓,它們的存在並不意味著,政府將它們用於反民主目的。該指數沒有具體說明,各國政府是否以合法或非法方式使用這些工具。相反,該指數的目的是確定哪些國家擁有足夠先進的工具,使它們能夠實現一系列監視目標。

中國在多大程度上推動了人工智慧監控的普及?

根據經驗,AIGS 指數顯示,以華為為首的中國公司,是全球領先的人工智慧監控供應商。總體而言,中國正在持續推動人工智慧的領導地位和首要地位。越來越多的共識,將中國列為「威權科技」的全球推動者。專家稱,中國公司正在直接與中國政府當局合作,向志同道合的政府出口「威權科技」,以擴大影響力並推廣替代治理模式。但這是準確的嗎?

這種說法有一定道理 —— 中國出口的一部分直接流向津巴布韋和委內瑞拉等嚴重侵犯人權的國家,否則這些國家將無法獲得此類技術。但人工智慧監控不僅僅從一個威權國家(中國)傳播到其他威權國家。相反,轉移是以一種更加多樣化的方式發生的。中國正在向自由民主國家出口監控技術,同時瞄準威權市場。同樣,自由民主國家(例如德國、法國、以色列、日本、韓國、英國、美國)的公司,正在積極向令人討厭的政權出售精密設備。

沙烏地阿拉伯就是一個很好的例子。華為正在幫助政府建設安全城市,但谷歌正在建立雲端伺服器,英國武器製造商 BAE 已經出售了大規模監控系統,NEC 正在銷售臉部辨識攝影機,亞馬遜和阿里巴巴都在沙烏地阿拉伯設有雲端運算中心,並可能支持一個主要的智慧城市項目。該指數顯示,專制國家很少從單一來源採購此類技術。在泰國,政府官員一再強調「外交政策平衡」的重要性,不要過於強烈地與任何一方掛鉤:「一直都是這樣。這就是為什麼我們仍然是一個王國。我們妥協,我們談判,我們平衡。」

話雖如此,專家們對中國公司進行更嚴格的審查是有特殊原因的。華為在很大程度上,是全球先進監控系統的領先供應商。與其他任何公司相比,其技術與指數中更多的國家相關聯。它正在撒哈拉以南非洲等地區積極尋找新市場。華為不僅提供先進的設備,還提供持續的技術支持來設置、運行和管理這些系統。

《華爾街日報》最近的一份調查報告,提供了一個令人大開眼界的例子。記者發現,烏干達和讚比亞的華為技術人員,都幫助政府官員監視政敵。這包括「攔截他們的加密通信和社交媒體,並使用手機數據追踪他們的行踪。」華為員工不僅「在政府攔截對手私人通信的努力中,發揮了直接作用」,而且還鼓勵烏干達安全官員前往阿爾及利亞,研究華為在阿爾及爾運行的「智慧影像監控系統」。烏干達隨後同意以 1.26 億美元,從華為購買類似的臉部辨識監控系統。

澳洲戰略政策研究所的「中國科技巨頭測繪」項目顯示,華為負責 75 個「智慧城市-公共安全項目」,業務線大幅成長:「2017 年,華為列出了 40 個國家引入了智慧城市技術;據報導,2018 年,這一覆蓋範圍增加了一倍多,達到 90 個國家(包括 230 個城市)。「 華為直接向國家安全機構推銷安全城市模式,而中國進出口銀行似乎正在透過補貼貸款,使交易變得更加甜蜜。結果是像模里西斯這樣的國家,從中國政府那裡獲得了長期融資,中國政府要求與中國公司簽訂合同。模里西斯政府隨後將華為作為主要承包商或次級獲獎者,來建立安全城市並實施先進的監控控制。

越來越清楚的是,像華為這樣的公司在運作時,對中國政府的獨立性遠沒有他們聲稱的那麼大。 《華盛頓郵報》的安娜·菲菲爾德(Anna Fifield )指出,華為於 1987 年由前中國人民解放軍軍官任正非創立,曾在其「軍事技術部門」任職。 有一致的報導稱,華為從中國政府獲得了大量補貼。華為的領導層與中國的安全和情報機構之間,似乎也存在著密切的聯繫。

例如,1999 年至 2018 年擔任華為董事會主席的孫亞芳,曾在中國國家安全部工作。Max Chafkin 和 Joshua Brustein 在《彭博商業周刊》稱,有人指控任正非可能是「中國高級間諜大師,而且確實可能仍然是」。專家堅持認為,中國共產黨越來越多地在私人企業中建立「黨的‘細胞’,以加強准入和控制」。

華為公開表示,它「絕對會拒絕」中國政府要求交出使用者數據的任何要求。但這違反了 2015 年中國國家安全法,該法要求公司允許第三方訪問其網路,並應要求交出源代碼或加密密鑰。華為宣稱的所有權結構非常不透明。Christopher Balding 和 Donald C. Clarke 最近的一項學術研究得出的結論是,華為 99% 的股份由一個「工會委員會」控制,這很可能代表了中國政府對該公司的控制。

即使中國公司正在大力推動先進監控技術的銷售,意圖問題仍然令人困惑 —— 華為和中興等中國公司在兜售監控技術與進行競標時,在多大程度上是出於自身經濟利益的考慮中國國家?至少在泰國,最近的研究採訪,並未表明中國公司正在推動一項協調一致的議程,以兜售先進的人工智能監控設備,或鼓勵政府建立複雜的監控系統。泰國內政部的一位官員指出,雖然人工智慧技術已經「存在」,並且政府正在考慮更多,但「中國沒有提供任何人工智慧。它沒有給人工智慧 —— 泰國人必須要問。「 智慧城市/安全城市模式」也受到質疑。

泰國領先的技術專家 Somkiat Tangkitvanich 評論說:「智慧城市的想法是個笑話。」 他轉述了他最近與泰國資訊和通信技術(ICT)部長的談話:「他[部長]吹噓普吉島的智慧城市。. . . 他告訴我,我們正在考慮為遊客提供腕帶,以便我們可以追踪他們,我們可以幫助他們。類似的東西。但它並沒有真正實施。普吉島的智慧城市竟然為遊客提供免費 Wi-Fi 和網路!」這提醒我們需要更多的實地研究,來區分該領域的誇張和事實。

人工智慧監控的類型

以下部分將描述關鍵的人工智慧監控技術,以及世界各國政府如何佈署它們,以支持特定的政策目標。

各州使用人工智慧技術來實現廣泛的監視目標。本節詳細介紹了納入 AIGS 指數的三個主要人工智慧監控工具:智慧城市/安全城市平台、臉部辨識系統和智慧警務。它還描述了支持技術 —— 例如雲端運算和物聯網 (IOT) 網路 —— 它們是人工智慧監控工具發揮作用不可或缺的一部分。使能技術未納入索引。

重要的是,人工智慧監視不是一種獨立的鎮壓工具。它構成了一套數位鎮壓工具的一部分 —— 用於監視、恐嚇、脅迫和騷擾對手的資訊和通信技術,以對目標施加懲罰並阻止挑戰國家的特定活動或信仰。(有關更多資訊,請參見附錄 2。)表 1 總結了每種技術及其相應的全球佈署級別。

智慧城市/安全城市

世界銀行將智慧城市描述為「技術密集型」城市中心,配備一系列感測器,可從「數千個互聯設備」即時收集資訊,以促進改善服務交付和城市管理。它們幫助市政當局管理交通堵塞,將緊急車輛引導到需要的地點,促進永續能源使用,並簡化行政流程。

但越來越多的人擔心,智慧城市還可以顯著提高公共監控和侵入式安全能力。 IBM 是該術語的最初創造者之一,它設計了一種類似大腦的市政模型,可以集中處理和分析與城市營運相關的資訊。IBM 智慧城市的一個關鍵組成部分是公共安全,它結合了一系列感測器、追踪設備和監控技術,以提高警察和安全部隊的能力。

華為一直在宣傳智慧城市的公共安全技術。它正在向執法社區推銷「安全城市」,以「預測、預防和減少犯罪」,並「應對新出現的威脅」。在 2016 年的白皮書中,華為描述了「一套技術,包括影像監控、緊急影像通信、綜合事件指揮和控制、大數據、行動和安全公共安全雲」,以支持地方執法和警務,以及司法和懲戒系統。華為明確將其安全城市技術與應對地區安全挑戰聯繫起來,並指出在中東,其平台可以防止「極端主義」;在拉丁美洲,安全的城市使政府能夠減少犯罪;在北美,其技術將幫助美國推進「反極端主義」計劃。

這些平台如何在實踐中推進監控目標?與微軟合作開發智慧城市的 IT 公司 Gartner 提供了一個例子:

沙烏地阿拉伯麥加地區發展局 (MRDA) 創建了一個人群控制系統,以提高朝聖者的安全和保障。透過嵌入身份資訊、特殊醫療保健要求和 GPS 的腕帶收集數據。此外,還安裝了監控攝影機,用於收集和分析 Al Mashaaer Al Mugaddassah 地鐵南線 (MMMSL) 沿線,以及麥加大清真寺、阿拉法特山、賈馬拉特和米納等聖地的即時影像。

不出所料,這樣的系統會導致不當使用。近日,華為在塞爾維亞的安全城市項目,計劃在貝爾格萊德的 800 個地點安裝 1000 台具有臉部辨識和車牌辨識功能的高清(HD)攝影機,引發了全國的憤怒。華為發布了一份關於安全城市的好處的案例研究(已被刪除),並描述了類似的監控技術,如何幫助逮捕一名,逃離該國到中國城市的塞爾維亞肇事逃逸肇事者:「基於圖像由塞爾維亞警方提供,. . . [當地]警察局使用新技術在三天內逮捕了。」 塞爾維亞評論員並沒有稱讚該系統的效率,而是觀察到,在一個飽受地方性腐敗和侵蝕威權主義折磨的國家,這種技術為塞爾維亞當局提供了一個強大的工具,可以遏制異議和濫用職權。

在擁有人工智慧監控技術的 75 個國家中,至少有 56 個國家擁有直接公共安全鏈接的智慧城市平台。

臉部辨識系統

臉部辨識是一種生物辨識技術,它使用攝影機(影像或靜止圖像)將個人的儲或即時鏡頭,與數據庫中的圖像進行比對。並非所有臉部辨識系統都專注於透過數據庫比對進行個人辨識。一些系統目的在評估總體人口趨勢,或透過臉部辨識人群掃描進行更廣泛的情緒分析。

與二十五年來,一直是警察中流砥柱的普通閉路電視不同,臉部辨識攝影機的侵入性要大得多。他們可以掃描獨特的部特徵,以便在未經同意的情況下,創建個人的詳細生物特徵圖。臉部辨識監控攝影機通常是可行動且可隱藏的。例如,馬來西亞的安全部隊已與中國科技公司依圖建立合作夥伴關係,為警察配備臉部辨識人體攝影機。這將允許安全官員「快速將現場攝影機捕獲的圖像,與來自中央數據庫的圖像進行比較」。

華為是臉部辨識影像監控的主要供應商,尤其是作為其安全城市平台的一部分。它描述了該技術在肯亞安全城市項目中的優勢:

作為該項目的一部分,華為在該國首都內羅畢佈署了 1800 台高清攝影機和 200 台高清交通監控系統。建立全國警察指揮中心,支持 9000 多名警務人員和 195 個派出所,實現監控和破案。該系統在教皇弗朗西斯 2015 年訪問肯亞期間發揮了作用,超過 800 萬人歡迎他的到來。借助華為高清影像監控和可視化綜合指揮解決方案,警務效率和拘留率顯著提高。

專家詳細介紹了與臉部辨識相關的幾個問題。

首先,很少有規則管理圖像數據庫(儲存從臉部辨識攝影機捕獲的圖像的儲存庫)的訪問和使用。政府如何使用這些信資訊、圖像儲存多長時間,以及當局首先從哪裡獲得這些圖像,都是不透明的問題,並且因管轄權而異。最近披露的美國執法機構(聯邦調查局和移民和海關執法局)在事先不知情或未經同意的情況下,掃描了州駕駛執照數據庫中的數百萬張照片,這不足為奇。Drew Harrell 在《華盛頓郵報》中指出,法律制衡的真空導致了「先監視,後請求許可系統」 。

其次,人臉辨識技術的準確率差異很大。某些測試揭示了不可接受的高錯誤比對率。英國大都會警察局最近的一份獨立報告發現,其臉部辨識技術的錯誤率高達 81%。同樣,美國領先的警用隨身攝影機供應商 Axon 宣布,將停止在其設備上提供臉部辨識功能。 Axon 的獨立倫理委員會表示:「人臉辨識技術目前還不夠可靠,無法從倫理上證明其使用的合理性。」

但其他評估顯示出更有利的結果。美國國家標準與技術研究院在 2014 年至 2018 年間,對來自 39 名開發人員的 127 種算法進行的評估顯示,「臉部辨識軟體在搜索數據庫以查找比對照片方面的性能提高了 20 倍。」同期的故障率從 4.0% 下降到 0.2%。

造成這種差異的一個原因是,在理想條件下,臉部辨識可以表現得非常好。但是,當意外變量(惡劣的天氣或模糊的數據庫圖像)加入時,故障率就會開始上升。臉部辨識技術也無法改變一貫的性別和種族偏見,這導致少數族裔和女性的誤報率升高 —— 「皮膚越黑,出現的錯誤越多 —— 對於膚色較深的女性圖像,誤報率高達近 35%”」。紐約時報的史蒂夫·洛爾。

公民開始反擊臉部辨識系統。例如,香港的抗議者遮住了自己的臉,並禁用了智慧手機的臉部辨識登錄功能,以防止執法人員進入。他們還透過拍攝沒有徽章的警察的照片,並使用臉部辨識圖像搜索在網上暴露警察的身份,從而扭轉了警方的局面。

臉部辨識系統正在世界迅速普及。該指數確定了至少 64 個正在積極將臉部辨識系統納入其人工智慧監控計劃的國家。


智慧警務

智慧警務背後的理念是將大量數據輸入算法 —— 地理位置、歷史逮捕情形、犯罪類型、生物特徵數據、社交媒體資訊 —— 以預防犯罪、應對犯罪行為,甚至對未來犯罪活動的預測。正如 Privacy International 指出的那樣:「隨著監控攝影機、臉部辨識、開源和社交媒體情報、生物辨識技術,以及智慧城市數據的激增,警方現在可以前所未有地訪問大量數據。」 因此,智慧警務的一個主要組成部分,是創建可以分解大量材料的自動化平台,促進來自多個來源的數據,並允許對個人資訊進行微調收集。

最近受到相當多關注的一個領域是預測性警務。在美國國家司法研究所於 2009 年開始,為試點預測性警務項目發放贈款後,該技術在美國得到了加速發展。這些項目的核心在於,基於大量數據聚合,它們聲稱可以非常準確地預測未來犯罪的發生地點,和哪些人可能犯下這些罪行。預測性警務已經大受歡迎。例如,「全國 60 多個警察部門」佈署了 PredPol 預測分析程序。

但人們越來越擔心算法偏見和偏見,以及這些預測的有效性。Caroline Haskins 最近為 Vice 撰寫的報告,描述了 PredPol 的預測犯罪預測算法是如何運作的。Predpol 的軟體為警察生成「小至 500 x 500 平方英尺」的犯罪預測,可以精確定位特定的房屋。它假設「在特定時間犯下的某些罪行,將來更有可能在同一個地方發生。」PredPol 透露,「歷史事件數據集用於訓練每個新城市的算法(最好是 2 到 5 年的數據)。

然後,PredPol 每天都會根據從部門收到的新事件更新算法。」新的預測在疊加在谷歌地圖上的特殊紅色方框中突出顯示,代表需要警察巡邏特別注意的高風險區域。PredPol 方法的一個主要缺點,是它根據過去犯罪活動和逮捕的數據,生成未來預測。某些遭受「過度監管」和有偏見的警察行為的少數族裔社區,在 PredPol 的儀表板中出現的頻率更高。這可能並不代表經過微調的算法犯罪預測,因為它涉及到結構性偏見警務的永久化。

中國熱情地將預測性警務,作為其新疆鎮壓的一部分。人權觀察報告創建了一個綜合聯合作戰平台 (IJOP),該平台從閉路電視攝影機、臉部辨識設備和「wifi 嗅探器(竊聽無線網路中的活動或通信的設備)收集數據。 IJOP 從檢查站掃描的車牌和身份證以及健康、銀行和法律記錄中,獲取更多數據。中國當局正在向 IJOP 補充所有 12 至 65 歲,新疆居民的強制性 DNA 樣本。這些資訊被輸入 IJOP 電腦,算法會篩選大量數據以尋找威脅模式。一旦 IJOP 標記了一個人,該人就會被安全部隊帶走並拘留審問。

智慧警務技術在 75 個國家中,至少有 53 個使用人工智慧監控。

人工智慧監控使能技術

第二類技術不直接負責支持監視程序,但提供對實施應用程序非常重要的關鍵功能。如果沒有雲端運算功能,高級影像監控和臉部辨識攝影機就無法運行。正如一位專家所說,如果影像監控是「眼睛」,那麼雲端服務就是「透過 5G 網路,將攝影機和硬體連接到雲端運算模型的大腦」。然而,孤立的雲端運算並非天生就以監控為導向。因此,這些輔助技術被歸入「使能技術」類別,並在下文進行描述。它們不包括在 AIGS 指數中。

自動邊境控制系統

這些主要存在於國際機場和邊境海關。據諮詢公司埃森哲稱,ABC 系統使用「多模型生物特徵比對」 —— 臉部圖像辨識與電子護照或其他生物特徵文件相結合 —— 來處理乘客。當乘客走到多攝影機牆前時,該過程開始。位於攝影機附近的數位鏡子,吸引乘客的眼睛進行圖像捕捉。然後透過根據個人護照,和某些安全觀察名單,對身份進行自動測試來執行風險評估。那些沒有被自動化系統清除的人,必須與人工代理一起進行二次篩選。

各國政府正在 ABC 系統中試行新功能,例如自動測謊技術。例如,歐盟正在三個國家(希臘、匈牙利和拉脫維亞)測試一種名為 iBorderCtrl 的技術,以篩查過境點的移民。個人被問及他們的原籍國和離境情況。然後由基於人工智慧的測謊系統評估答案。

被發現誠實回答問題的旅行者,將獲得一個允許他們穿越的代碼。所有其他人都被轉移到人類邊防警衛,進行進一步詢問。iBorderCtrl 背後的技術基於「情感辨識科學」,目的在讀取臉部表情並推斷情緒狀態,以做出法律判斷或政策決定。心理學家廣泛批評了這些工具,認為僅依靠臉部表情,來準確判斷一個人的心理狀態是很困難的。儘管科學界對這些技術持懷疑態度,但政府仍在繼續探索它們的使用。

雲端運算

政府和公司越來越多地將數據儲存在大量的異地位置(稱為雲)中,這些位置可透過網路(通常是網路)訪問。雲端運算是一種通用技術,包括從輪播 GPS 地圖、社交網路和電子郵件通信、文件儲存和流媒體內容訪問等方方面面。美國國家標準與技術研究院,將雲端運算定義為「實現對可配置計算資源(例如,網路、伺服器、儲存、應用 app 和服務)共享池的無處不在、方便、按需網路訪問的模型,只需最少的管理工作或服務提供商交互,即可快速配置和發布。從根本上說,雲端運算數據中心充當網路的骨幹,即時儲存、通信和傳輸生成的資訊。因此,雲端運算對於有效運行人工智慧系統非常重要。微軟、IBM、亞馬遜、華為和阿里巴巴都建立了這些數據中心,以促進人工智慧營運。

越來越多的國家已經完全採用雲端運算,並將其所有數據儲存需求外包給一個企業平台。例如,2018 年,冰島與微軟簽署了一項服務協議,讓該公司成為該國整個公共部門的唯一 IT 供應商。雲端運算趨勢並非沒有問題。

一方面,雲端伺服器為網路駭客提供了誘人的目標。NSO Group 等安全公司聲稱,他們能夠穿透雲端伺服器,並訪問目標的「位置數據、存檔消息或照片」,這導致許多人質疑雲端運算公司是否可以保留個人資訊、公司機密、機密政府材料或健康記錄安全(但它們通常代表比傳統現場數據儲存設施更安全的儲存方法)。一個相關的擔憂是強制數據披露 —— 即使雲端伺服器在技術上保持安全,政府可能會強制公司披露保存在雲中的某些數據(例如電子郵件通信或政權批評者的簡訊)。

物聯網

物聯網基於越來越多的設備,將透過網路相互連接的現實,允許共享數據以在雲中進行分析處理。物聯網的一個主要障礙,是設備之間缺乏互操作性。目前,iPhone、Alexa 揚聲器、Nest 恆溫器和 OnStar 汽車系統的功能來自不同的平台,使用不同的資訊源。IOT 的目標是「幫助馴服這座巴別塔」並確保設備整合和數據聚合(儘管亞馬遜、蘋果和谷歌等公司也在建立不同的生態系統,但與其他平台的互操作性有限)。雖然物聯網將帶來更高的效率,但它也可能將傳統的非聯網設備(例如智慧揚聲器)轉變為無所不在的監控工具:

物聯網承諾以我們剛剛開始理解的方式將對象、機器和環境聯網的新前沿。例如,當一台電視機有一個麥克風和一個網路連接,並且可以由其供應商重新編程時,它可以用來收聽在其房間內進行的電話對話的一側 —— 不管電話服務本身的加密程度如何是。這些力量正朝著擁有更多監視機會的未來發展。

圍繞物聯網技術的爭議越來越大。2019 年初,亞馬遜披露,其數千名員工收聽了 Echo 智能揚聲器錄製的對話。在某些情況下,其工作人員就是否應將可能犯罪的記錄,移交給執法當局進行了辯論。亞馬遜在其客戶不知情,或未經同意的情況下分析了這些記錄。同樣,人們發現谷歌和 Facebook 的承包商,一直在定期收聽他們的平台和個人消費者之間的錄音。

物聯網驅動的行動監控是此類技術的另一種可能性。記者安迪·格林伯格描述說,最近展示了一種新設備,它可以插入特斯拉 Model S 或 Model 3 汽車,並將其內置攝影機「變成一個隨著時間的推移發現、追踪和儲存車牌和人臉的系統」。當車主停好車後,「它可以追踪附近的人臉,看看哪些人反覆出現。」該裝置的目的是警告車主防範小偷和破壞者。但正如該設備的發明者杜魯門凱恩所承認的那樣,「它把你的特斯拉變成了一個人工智慧驅動的監控站」,並提供了「另一雙眼睛,可以幫助你告訴你,它看到一個車牌在你身後多日,甚至多日單次旅行的轉折點。」 

結論

各州正在邊境測試的試點技術 —— 例如 iBorderCtrl 的情感辨識系統 —— 正在擴大,儘管有人批評它們基於錯誤的科學和未經證實的研究。累積的影響讓人停頓。關於先進監視技術的準確性、公平性、方法一致性和偏見影響的,令人不安的問題正在浮出水面。政府有義務就如何使用這些新的侵入性工具,提供更好的答案和更充分的透明度。

該索引和工作文件的目的,是突出一項尚未被充分理解,但將越來越多地塑造現代生活的技術的新興趨勢。好消息是,有足夠的時間就人工智慧技術、政府監控和公民隱私權之間的適當平衡展開急需的公開辯論。但隨著這些技術越來越融入治理和政治,變革的窗口將會縮小。

致謝

特別感謝喬治城大學本科生 Luke Lamey 在為 AI 全球監視指數編制參考資料方面提供的研究協助。還要感謝 Jon Bateman(卡內基國際和平基金會)、Thomas Carothers(卡內基國際和平基金會)、Adrian Shabhaz(自由之家)、Brian Wampler(博伊西州立大學)和 Nick Wright(喬治城大學智慧生物學)感謝他們慷慨地花時間通讀本文的先前草稿,並提供寶貴的回饋和建議。

附錄 1:AIGS 指數

CA:封閉的專制

EA:選舉專制

ED:選舉民主

LD:自由民主

AF:非洲

EAP:東亞和太平洋地區

歐元:歐洲和歐亞大陸

MENA:中東和北非

SCA:南亞和中亞

WHA:西半球

源註釋

附錄 2:數字壓制分類