1. AI及其他

1.1. 一些曾經只有極少數專業的技術人員才知曉的術語，如區塊鏈、加密貨幣、物聯網、量子計算等，現在已經成為商業世界和個人生活中的日常話題

1.2. CRMP基於長期確立的風險管理原則，最重要的是，我們需要平衡風險與回報，在保護企業免受威脅的同時確保企業保持活力和競爭力，並將這些原則擴展到以數字技術速度變革的世界

• 1.2.1. 意味着今天我們所做的一切都引入了網絡相關的威脅，同時也帶來了新機遇

• 1.2.2. 反過來又意味着，每一個風險及每項風險管理決策都包含了網絡風險，使得企業在市場中更具競爭力

1.3. 我們生活和工作方式的改變、社會對企業行為的期待，以及法律和監管環境的變化，使得風險的識別、應對、緩釋和利用變得比以往任何時候都要困難

1.4. 正式發佈的CRMP允許前瞻性、戰略性、互聯互通的功能，並將引領戰略性參與，保持適應性和靈活性，以實現未來可持續的風險管理方法

2. AI的定義

2.1. 美國國家標準與技術研究院（NIST）

• 2.1.1. 計算機科學的一個分支，致力於開發數據處理系統以執行與人類智能相關的功能，如推理、學習和自我改進

• 2.1.2. 計算機系統設備執行人類智能相關功能（如推理、學習和自我改進）的能力

2.2. 生成式AI是當前AI最大的熱點所在

• 2.2.1. 是“標準”AI的一個子集，通過創建模型和算法擴展了AI的能力，能夠基於訓練數據生產新內容

2.3. 通用人工智能（AGI）

• 2.3.1. 通用人工智能（AGI）是一種處於假設階段的AI，但全球各地的研發項目都在進行中，以期將AGI變為現實

• 2.3.2. AGI（有時被稱為“強人工智能”​）至少在理論上能夠執行人類完成的所有智力任務，甚至超越人類的能力

2.4. 機器學習（ML）

• 2.4.1. 人工智能和機器學習這兩個術語經常被交替使用，這是不正確的做法

• 2.4.2. 機器學習是AI的一個基礎且關鍵的組成部分，它專注於開發算法和統計模型，使得計算機能夠從數據中學習，而無須為特定任務編程

2.5. 深度學習

• 2.5.1. 是機器學習的一個分支，它使用人工神經網絡對數據進行學習

• 2.5.2. 神經網絡在大型數據集上進行訓練，可以用來完成分類圖像、翻譯語言，以及最重要的預測和決策等工作

• 2.5.3. ReCAPTCHA

• 2.5.3.1. 許多網站使用該工具來判斷訪問用户是否為真人，方式是要求用户識別道路、建築物或其他事物的特徵

• 2.5.3.2. 很少有人意識到他們的輸入是用來提高在線地圖服務和其他數據庫準確性的

2.6. 大語言模型（LLM）

• 2.6.1. 是生成式AI應用（如ChatGPT和Bard）的核心。LLM是一種基於海量數據集（包括文本、圖像和代碼）訓練而成的AI，它能夠理解這些數據的含義

• 2.6.2. 龐大的數據集加上LLM理解數據的能力，是生成式AI能夠回答問題、總結主題和翻譯語言的關鍵所在

2.7. 循環神經網絡（RNN）

• 2.7.1. 是一種人工神經網絡，它本質上是一種模仿人類大腦工作方式的計算機編程形式，專門處理序列數據

• 2.7.2. RNN在一些最先進的新興AI應用場景中發揮着核心作用

3. 全新的風險世界

3.1. 即使沒有人知道AI將帶來的所有風險，或者AI對特定企業或行業的影響將會是什麼，但已經有一些風險逐漸清晰起來

3.2. 數據和算法偏見

• 3.2.1. AI應用的效果取決於輸入的數據質量以及用來解釋和應用這些數據的算法，這兩個因素都可能受到偏見的影響

• 3.2.2. AI在年齡、種族、性別和社會階層等方面會顯示出偏見

3.3. 安全和隱私問題

• 3.3.1. AI和所有技術一樣，都可能被黑客攻擊，龐大的數據集對不法分子來説更是極具吸引力的目標

• 3.3.2. 像ChatGPT這樣的生成式AI能夠編寫出複雜的、有針對性的惡意軟件

• 3.3.3. 黑客發動攻擊所需的技術成本更低，顯著增加了網絡風險，像語音助手這樣的AI也會收集大量數據，但可能沒有相應措施來保護機密數據

3.4. 知識產權（IP）和其他敏感信息的損失

• 3.4.1. 使用龐大的數據集時，確定特定數據所需要的保護級別是困難的，這增加了敏感數據泄露的風險，這可能意味着從專利等知識產權，到銷售數據和市場計劃，再到客户和員工的個人信息等都可能被泄漏

3.5. 欺詐

• 3.5.1. 罪犯總是最先認識到新技術的潛力，AI領域也不例外

3.6. 不透明性

• 3.6.1. AI的不透明性會使決策過程變得模糊，無法解釋其功能的實現原理，這可能導致結果無法追責，也使得人們對技術失去信任

3.7. 企業控制力的喪失

• 3.7.1. AI系統變得越來越複雜、強大和自主，它們開始做出未經授權的決策並自行採取行動，這些可能都是在沒有人類干預甚至不知情的情況下發生的

3.8. 勞動力市場波動

• 3.8.1. ChatGPT在2022年底問世後，市場最直接、普遍的反應是，人們預測數百萬甚至數億的工作崗位將會消失，許多職能工作也將被AI取代

3.9. AI的不當使用可能導致法律和監管責任以及公司聲譽損害，客户、員工和商業夥伴的信心喪失，以及許多其他嚴重的問題，甚至是生存問題

• 3.9.1. 與AI相關聯的風險不僅僅來自對它的惡意利用，也包括未能合理實施並對AI的使用進行監控

• 3.9.2. AI代表了世界運作方式的根本性改變，這使得風險管理工作（保持風險與回報的平衡）​，也變得比以往任何時候都要困難

3.10. AI是企業不能忽視的

• 3.10.1. 不過不論採用與否，它都會給企業帶來嚴重的風險

• 3.10.2. 使得擁有一個全面、健全的風險管理計劃的需求比以往更加緊迫

• 3.10.3. 為有效地管理AI風險，就像實現運營韌性一樣，需要多個業務和運營風險職能部門的協調與合作

4. 對抗性機器學習

4.1. 對抗性機器學習用於幫助保護多種不同的AI應用的機器學習技術免受潛在威脅，涉及保護AI系統的所有組成部分，至少包括了機器學習數據、所使用的機器學習模型以及訓練、測試和部署這些模型的過程，還有使用這些模型所需的基礎設施

4.2. 規避攻擊

• 4.2.1. 在對抗性機器學習領域，規避攻擊成為一個熱點問題

• 4.2.2. 攻擊者的目的是在部署時生成能夠改變機器學習測試分類的對抗性樣本

• 4.2.3. 正處於一個新的對抗性攻擊不斷衝破舊有防禦機制的循環中，要抵禦這些對抗性樣本極具挑戰性

• 4.2.4. 業界已經提出了包括對抗性訓練、隨機平滑和形式驗證技術等多種方法來對抗規避攻擊，但每種方法都有其侷限性

• 4.2.5. 在模型的魯棒性與準確性，以及魯棒性與公平性保障間，總是存在一種固有的權衡

4.3. 投毒攻擊與應對措施

• 4.3.1. 投毒攻擊是機器學習算法訓練階段的對抗性攻擊，這是對機器學習系統的另一種威脅

• 4.3.2. 可能會影響訓練數據的可用性或完整性，導致機器學習模型在所有樣本上性能退化，或者在小部分目標樣本上更難以檢測隱蔽的違規行為

4.4. 隱私攻擊

• 4.4.1. 隱私攻擊日益普遍，這種攻擊通過從聚合統計信息中重建隱私信息或記憶訓練數據來實施

• 4.4.2. 兩種常見的隱私攻擊包括成員推斷攻擊和模型提取攻擊

• 4.4.2.1. 在成員推斷攻擊中，攻擊者可以確定特定記錄是否被包含在訓練數據集中

• 4.4.2.2. 模型提取攻擊旨在提取有關機器學習模型的信息

• 4.4.3. 風險管理不可能孤立進行，特別是在涉及AI時這一點尤為明顯

• 4.4.4. 管理AI風險和特定網絡風險必須與組織內的其他風險管理職能協調一致

• 4.4.4.1. 數字系統相互連通的本質意味着AI在一個區域引入的漏洞可能會影響到整個企業的網絡甚至更廣的範圍

• 4.4.4.2. 採用全面的防禦方法，集結不同領域的專業知識，是絕對必要的

• 4.4.4.3. 隨着對抗性攻擊的日益複雜化，需要結合不同領域的專業技能，採取全面的方法來進行防禦