1. 眾説紛紜的代價
1.1. 在國家和超國家層面，在一個全面的、可執行的框架下，巧妙的監管可以平衡技術進步的需求與合理的安全限制，從科技巨頭和軍隊，到高校的小型研究團隊和初創企業，都應當受到監管
1.2. 制定並實施有效的法規是一項艱鉅的任務
- 1.2.1. 技術日新月異，但走完立法流程需要數年時間
1.3. 目前，在車庫裏工作的業餘愛好者能接觸到更強大的工具，科技公司也在研發上投入了數十億美元，而大多數政客仍在為媒體金句或拍照機會而整日奔波
1.4. 當政府陷入從一場危機到另一場危機的惡性循環時，政客幾乎無暇應對那些需要專業知識且需要在不確定的時間範圍內做出審慎判斷的結構性問題
1.5. 各個技術領域存在數百個截然不同的項目，它們缺乏統一的規劃和方向
1.6. 一個國家即便擁有豐富的專業知識、完備的制度、清晰的規劃及充足的資源，也未必能夠有效應對突如其來的危機
1.7. 在能夠通過現代圖靈測試的人工智能技術面前，即便最深思熟慮且富有遠見的政府機構，其反應也可能與應對新冠疫情時相似
1.8. 政府總是善於應對過去的戰爭、過去的疫情以及過去的技術浪潮
1.9. 監管機構也總是善於監管可以預見的情況
2. 僅靠監管是不夠的
2.1. 如果人工智能對基本人權或基礎設施、公共交通、衞生或社會福利等關鍵系統產生影響，那麼其將被歸為“高風險”類別，將受到更加嚴苛的監管和問責
2.2. 大多數監管措施都需要在多方利益之間進行權衡
2.3. 對發展速度快、用途廣泛的技術進行監管尤具挑戰
2.4. 有效的監管不僅要依靠立法者，還需要警察、交通管理員、汽車公司、機械師、城市規劃者和保險公司的共同參與
2.5. 新一輪技術浪潮即將到來，我們沒有足夠的時間讓眾多機構慢慢摸索應對策略，也無法靜待正確的價值觀和最佳實踐自然形成，而是需要快速、準確地實施先進的監管措施
2.6. 每個國家都希望站在技術前沿，並希望向外界展示其實力，因為這是國家尊嚴的體現，是國家安全的保障，也是關乎生存的必要舉措
- 2.6.1. 各國迫切希望監管這些技術，希望對技術進行遏制，主要是擔心這些技術會威脅到國家作為權力中心的地位
2.7. 每個國家在發展技術時都融入了各自獨特的法律和文化習俗
2.8. 監管無法阻止別有用心的破壞者或意外事故的發生，也無法觸及開放且難以預測的研究體系的核心問題
-
2.8.1. 考慮到技術發展帶來的巨大經濟利益，監管也無法提供其他替代方案
-
2.8.2. 監管措施並不能解決戰略上的必要性問題
-
2.8.3. 各國如何就這一誘人的、難以定義的跨國現象進行協調，特別是在國際條約經常失效的背景下，如何構建微妙而關鍵的聯盟力量
2.9. 遏制技術浪潮的慾望與塑造和擁有它的慾望之間，以及防範技術帶來的風險與防範他人帶來的風險之間，存在無法逾越的鴻溝
2.10. 一個國家政府，甚至多國政府聯手，都難以實現有效的遏制
2.11. 依靠監管是遠遠不夠的，但監管至少是一個起點
3. 新的大契約
3.1. 對技術的有效遏制能使我們擺脱困境
3.2. 除了嚴厲打擊濫用擴散技術的行為外，技術遏制還指導着新生技術的發展、方向和治理
3.3. 遏制需要對技術本身的特性做出反應，並將其引導至更易於掌控的方向
3.4. 可行的路徑
-
3.4.1. 技術的潛在應用場景越多，控制起來就越困難
- 3.4.1.1. 相較於通用系統，我們更應當鼓勵使用適用範圍更窄、針對特定領域的技術系統
-
3.4.2. 技術的非物質化程度越高，就越容易受到難以掌控的超級進化性的影響
-
3.4.3. 技術的價格和複雜性是否在降低
-
3.4.4. 安全可行的替代技術越多，就越容易淘汰現有技術
- 3.4.4.1. 氯氟碳化物之所以能被禁用，部分原因是存在更便宜、更安全的製冷替代技術
-
3.4.5. 某些技術更容易帶來意外並暴露漏洞，風險更大
-
3.4.6. 從本質上來講，一項技術越需要人為干預，失控的可能性就越小
-
3.4.7. 在人工智能或生物技術領域搶佔領先地位則將獲得巨大的經濟和軍事優勢
- 3.4.7.1. 這些“優勢”技術更難拒絕
-
3.4.8. 將技術發展轉向防禦而非進攻，有助於實現技術遏制
-
3.4.9. 從全球範圍來看，適合合成生物學初創企業的傑出人才仍然鳳毛麟角
- 3.4.9.1. 這些因素都有助於在短期內實現技術遏制
3.5. 專用技術相較於通用技術更容易監管，但通用技術的監管更為重要
4. 洪水來臨之前
4.1. 人們很難想到技術還包括對全球糧食供應至關重要的灌溉系統，以及新生兒生命維持設備
4.2. 技術的作用遠不只存儲自拍照片，它代表着世界文化和智慧的積
4.3. 科技並非小眾領域，它是主導人類生活的核心
4.4. 氣候變化所涉及的風險通常具有分散性、不確定性，在時間和空間上都比較遙遠，缺乏像在熱帶草原上遭遇伏擊時那樣的顯著性、緊張感和即時性—這種風險正是我們擅長應對的風險類型
4.5. 認識問題
- 4.5.1. 需要冷靜地承認，技術浪潮即將到來，如果不大幅改變現有路線，我們就將陷入困境
4.6. 着眼於邊際收益，即通過緩慢、持續地匯聚小成果來提高理想結果出現的概率
4.7. 目標是改變技術開發和應用的環境，其中包括想方設法爭取時間、放慢節奏、為深入研究答案提供空間、引起大眾關注、建立聯盟，以及推進技術工作等
4.8. 任何期待迅速解決問題、尋找簡單答案的人肯定會失望
5. 安全
5.1. 技術安全的阿波羅計劃
5.2. 人類的文字創作中總是少不了惡意的偏見，而人工智能則會進一步放大這些偏見
5.3. 從錯誤信息到煤氣燈效應等一系列嚴重問題也尚未解決
5.4. 人工智能在消除不良輸出方面取得的飛速進步無疑是令人矚目的
-
5.4.1. 通過人類反饋進行的強化學習
-
5.4.2. 為了糾正帶有偏見的大語言模型，研究人員採用了精心構建的多輪對話機制，誘導模型產出令人不悦、有害或冒犯性的言論，觀察它在何種情境下以及以何種方式犯這樣的錯誤
-
5.4.3. 與我們試圖教導孩子們在餐桌上避免使用不恰當語言的方式並無太大不同
5.5. 解決大語言模型中的種族主義和偏見問題是一個例證，説明了謹慎和負責任的部署對於提升這些模型的安全性是必要的
- 5.5.1. 通過多接觸現實世界，開發人員能夠更好地理解、糾正並改進這些模型的安全性
5.6. 儘管認為靠技術修復就能解決人工智能帶來的社會和倫理問題是錯誤的觀點，但不可否認的是，技術修復確實可以成為這些問題解決方案的一部分
- 5.6.1. 確保技術安全，包括代碼和實驗室的安全，是任何技術遏制計劃的首要環節
5.7. 從物理上控制技術很重要
-
5.7.1. 技術遏制並非簡單地構建一個魔法盒子來封存技術，但這並不表示我們不想努力打造一個這樣的盒子
-
5.7.2. 最嚴格的控制模式仍然是物理層面的控制，這適用於服務器、微生物、無人機、機器人以及算法等各類技術元素
-
5.7.3. 斷開互聯網連接、減少人員接觸以及限制外部接口等
-
5.7.4. 將人工智能系統封裝在位置明確的物理盒子中
-
5.7.5. 在理論上能夠阻止人工智能與更廣泛的外界環境交互或以某種方式“逃逸”
5.8. 物理隔離僅僅是調整技術安全架構以迎接新技術浪潮挑戰的方式之一
5.9. 充分利用現有手段是技術遏制的重要的第一步
-
5.9.1. 國際原子能機構已發佈了100多份安全報告，為從放射性廢物分類到緊急情況準備等特定情境制定了具體的技術標準
-
5.9.2. 類似電氣電子工程師學會這樣的機構則管理着2 000多項技術安全標準，涵蓋從自主機器人開發到機器學習等多個技術領域
-
5.9.3. 生物技術和製藥行業幾十年來一直在遵循比大多數軟件企業更為嚴格的安全標準
5.10. 前沿人工智能安全研究仍然是一個尚未成熟的新興領域，其主要目標是防止自主性日益增強的系統奪取人類對它們的理解和控制能力
5.11. 與潛在風險的嚴重性相比，人工智能的安全和倫理研究顯得尤為不足
- 5.11.1. 只有少數機構出於資源方面的挑戰，在認真對待技術安全問題
5.12. 必須做的是激勵並直接資助該領域進行更多研究
5.13. 在人工智能領域，技術安全措施還包括沙盒和安全模擬，這些措施用於構建可驗證安全性的氣隙環境，以便在先進的人工智能系統被實際應用之前對其進行嚴格的測試
5.14. 解釋能力也是技術安全前沿領域的一個重要方面
- 5.14.1. 目前尚無人能確切解釋模型為何會產生特定的輸出
5.15. 可證明有益的人工智能模型
5.16. 另一個長期存在的問題是如何攻克“可修正性”的難題，以確保我們能夠始終訪問並糾正系統
5.17. 幾乎所有的現代複印機和打印機都採用了防止複製或打印貨幣的技術，有些機器會在你嘗試此類操作時自動關閉
- 5.17.1. 可以為人工智能系統構建加密保護，以確保模型權重，即系統中最有價值的知識產權，只能被有限次地複製或在特定條件下複製
5.18. 無論是在合成生物學、機器人技術還是人工智能領域，最艱鉅的挑戰都莫過於創建一個絕對可靠的關閉程序，即一種能夠終止任何可能失控的技術的手段
5.19. 太多的安全工作都是漸進式的，常常關注狹隘的影響評估、微小的技術問題或技術發佈後才出現的問題，而非提前解決基礎性問題，這種做法並不明智
5.20. 安全功能不應是技術發佈後才考慮的問題，而應成為這些新技術的內在設計屬性，從而為後續的所有工作奠定基礎
