1. 審計

1.1. 知識就是力量，力量就是控制

1.2. 對技術控制來説至關重要

1.3. 為技術創建安全的物理或虛擬隔離容器是基礎

1.4. 實施有意義的監督，制定可執行的規則，並對技術執行情況進行審查，這些都是極其重要的

1.5. 信任源自透明度

• 1.5.1. 絕對需要在各個層面驗證系統的安全性、完整性和未受損狀態

1.6. 外部審查的重要性不言而喻

• 1.6.1. 全球範圍內並沒有形成系統性的、常規的或正式的機制來測試已經部署的技術系統

1.7. 一個基於常識的基本出發點應該是鼓勵公司和技術前沿領域（存在真正的危害性風險）的研究人員主動與政府主導的審計工作中的可信賴的專家進行合作

1.8. 紅隊測試

• 1.8.1. 主動尋找人工智能模型或軟件系統中的漏洞

• 1.8.2. 涉及以可控的方式對系統進行攻擊，從而探測出其弱點和其他潛在的故障模式

• 1.8.3. 對每個系統進行嚴格攻擊和壓力測試，並確保在此過程中獲得的洞見能在整個行業內廣泛共享

1.9. 用於追蹤新技術的系統應當具備識別異常狀況、能力突變和隱藏故障模式的能力

1.10. 一個既有效又不具侵犯性的起點是，密切關注用於模型訓練的關鍵數據集，特別是開源數據集、科學研究的文獻計量數據以及公開的有害事件數據

1.11. 提供基礎人工智能服務的應用程序接口不應隨意開放，而應先確保對用户足夠了解，這與銀行業的部分謹慎做法相似

1.12. 旨在對算法的非有害性進行數學驗證，要求模型提供嚴格的證明，以確保其行為或輸出受到明確的限制

• 1.12.1. 為活動記錄和能力限制建立保障措施

• 1.12.2. 通過這種方式驗證和確認模型的行為，可以為指導和跟蹤系統提供客觀、規範的手段

1.13. SecureDNA

• 1.13.1. 一個由一羣科學家和安全專家發起的非營利項目

• 1.13.2. 只有極少數的合成DNA會接受潛在危險元素篩查

• 1.13.3. 將每一個DNA合成器（無論是家用的台式設備還是偏遠地區的大型設備）連接到一個集中、安全且加密的系統中，且該系統能夠掃描致病序列，這無疑是一個良好的開端

• 1.13.4. 以雲計算為基礎，免費且具有加密安全特性，並能夠實時更新

• 1.13.5. 對所有合成DNA進行篩查將是一項重大的降低生物風險的舉措，且這樣的舉措並不會對公民自由造成過分限制

1.14. 透明度不是一個可選項

1.15. 仍需要協調和檢查，並且要避免訴諸過於嚴苛的控制手段

1.16. 落實技術安全功能和技術審計措施至關重要，但這需要時間，而我們的時間十分緊迫

2. 技術命門

2.1. 在技術“超級進化”的時代，爭取時間尤為寶貴

2.2. 要爭取時間以制定更為周密的遏制策略，建立額外的安全措施，測試技術的緊急關閉機制，構建更為完善的防禦技術，鞏固民族國家的基礎，實施更有效的監管，或推動重要法案的通過，以及組建高效的國際聯盟

2.3. 在人工智能領域，最新模型所依賴的最先進的GPU主要由英偉達公司設計

• 2.3.1. 英偉達的大部分芯片由台積電公司獨家制造

• 2.3.2. 台積電擁有世界上最先進的芯片製造技術，其工廠被譽為世界上最先進、價值最高的製造基地

• 2.3.3. 台積電的用於製造這些芯片的設備則來源於荷蘭的阿斯麥公司，這是目前歐洲最具價值和重要性的科技公司

• 2.3.4. 阿斯麥的機器採用極紫外光刻技術，能夠以令人驚歎的原子級精度生產芯片，這些機器是歷史上最精密的製成品之一

2.4. 芯片並非唯一的技術命門

• 2.4.1. 致力於通用人工智能研發的其實只有少數幾個資源雄厚的集團，其中最著名的是DeepMind和OpenAI

2.5. 稀土元素如鈷、鈮和鎢的短缺有可能導致整個行業陷入癱瘓

• 2.5.1. 大約80%的高品質石英（對光伏面板和硅芯片等至關重要）均產自北卡羅來納州的一座礦山

2.6. DNA合成器和量子計算機並非日常消費品

2.7. 技能也是技術的生命線

2.8. 隨着技術的負面影響變得清晰，我們必須利用這些技術命門，即關鍵的技術控制點，來為技術的發展設置合理的速度限制

• 2.8.1. 目的是確保在科學快速發展的同時，人們能夠及時地運用理智

2.9. 利用這些技術控制點來影響特定國家的技術進步，甚至在更大的範圍上調節技術發展和推廣速度

• 2.9.1. 出口管制不僅是一種地緣政治策略，還可以被視為一種技術遏制的實地試驗

2.10. 從長遠來看，所有這些技術最終都將廣泛傳播和應用

• 2.10.1. 通過某些關鍵的控制點來減緩技術發展的速度

• 2.10.2. 既然有這樣的選擇，我們就應該抓住機會，同時爭取時間

3. 開發者

3.1. 技術發展的驅動力固然不可阻擋，但技術製造者並不能因此逃避對其創造物的責任

3.2. 沒有人是被迫進行基因改造實驗或構建大語言模型的

3.3. 技術不可避免的擴散與發展趨勢並非一張免罪符，也不是一張允許技術構建者隨意打造、任由結果發生的通行證

3.4. 技術的批評者也扮演着至關重要的角色

• 3.4.1. 技術的批評者以其特有的方式陷入了一種悲觀規避陷阱，這在那些政治、商業和技術精英身上尤為常見

3.5. 有效的批評者應當是實踐者

• 3.5.1. 在問題的源頭上採取必要的行動，而非只是站在一旁吶喊

3.6. 你離技術的核心越近，你就越有能力影響結果，將其導向更積極的方向，並阻止有害的應用

• 3.6.1. 意味着你將成為推動技術現實的一部分，無論這個現實最終會帶來好處還是傷害

3.7. 若沒有外部和內部的批評者，困境終將無可避免地向我們逼近

• 3.7.1. 10年前，科技界在各個層面都顯得文化單一，很少考慮其他聲音

• 3.7.2. 現在的思想多樣性比以往任何時候都突出，技術研發過程中融入了更多批判性、倫理性和人文主義的聲

3.8. 關於人工智能的倫理研究正在急劇增加

• 3.8.1. 過去，科技領域中鮮見道德哲學家、政治學家及文化人類學家的身影，他們在當時顯得頗為另類，但如今已很常見

3.9. 在這個激勵機制根深蒂固，而監管體系越發脆弱的世界裏，技術不僅需要批評者在一旁提出批評，更需要他們深入技術建設的核心

4. 企業

4.1. 利潤驅動着即將到來的技術浪潮

4.2. 傳統上，公司的唯一目標就是給股東帶來回報，這通常意味着要全力推進新技術的開發

4.3. 在混合型組織結構中找到平衡利潤和社會使命的方法，是應對未來挑戰的最佳途徑，而在實際操作中卻困難重重

4.4. 透明性、問責制和倫理準則，將不再是空洞的公關説辭，而是我們所有行動的基石，具有法律約束力，並融入公司的每一項活動

4.5. 谷歌搜索業務的核心知識產權將留在谷歌，但其他知識產權將用於推進DeepMind的社會使命，如研發新藥、改善醫療保健、應對氣候變化等

• 4.5.1. 既能讓投資者獲得回報，也能確保社會使命成為公司的法律基石

4.6. 願景是吸引不同的外部利益相關者，讓其能夠深入瞭解技術前沿，提供反饋，並從遠離新技術熱潮和樂觀情緒的外部視角，為我們帶來急需的觀點和建議

4.7. 臉書已經設立了獨立的監督委員會，它由前法官、活動人士和專家學者組成，負責為平台治理提供建議

4.8. 將強大的遏制機制和目標作為法定義務寫入科技公司章程，是我們下一步的發展方向

4.9. 雖然經濟目標與受限制的技術並不總是完美契合，但創新型企業形式讓我們看到了更多的可能性

4.10. 技術遏制需要新一代企業的支持，需要創業者和技術領域工作者為社會做出積極貢獻

5. 政府

5.1. 國家仍然掌控着眾多文明基本要素，比如法律、貨幣供應、税收、軍事等

5.2. 政府需要更加積極地參與進來，重新投身於真正的技術建設、標準制定以及內部能力的培養

5.3. 深入瞭解是實現問責的基礎，掌握所有權意味着獲得控制權

• 5.3.1. 兩者都需要政府親力親為

• 5.3.2. 雖然如今企業已佔據主導，但許多最具探索性的基礎研究仍由政府資助

5.4. 投資於科學技術教育和研究，支持國內科技企業發展，能夠形成一個積極的反饋循環

5.5. 首要任務應該是加強對技術發展的監控與理解

5.6. 需要公開透明地記錄技術造成的所有損害，包括每一起實驗室泄漏、網絡攻擊、語言模型偏見和隱私泄露事件，以便每個人都能從失敗中學習並改進

5.7. 負責新興技術的部長或秘書長在政府中還比較少見，這不應該成為常態

5.8. 僅靠監管並不能實現控制，但任何不涉及監管的討論都註定無果

• 5.8.1. 監管應聚焦於激勵措施，更好地協調個人、國家、公司和公眾整體的安全與保障，也要設立緊急制動機制

5.9. 政策制定者的想象力需與技術發展的規模相匹配

5.10. 最先進的人工智能系統、合成器或量子計算機應由經過認證的負責任的開發者來製造

5.11. 模型越大、能力越強，許可要求就越嚴格

• 5.11.1. 模型越通用，就越有可能構成嚴重威脅

• 5.11.2. 意味着從事基礎能力研究的人工智能實驗室需要格外留意

5.12. 財政政策是控制這一轉變的關鍵手段，既能對瓶頸進行控制，又能增強國家的韌性

5.13. 需大力開展技能再培訓和教育工作，幫助弱勢羣體提升風險意識，增強他們參與新技術浪潮的能力

5.14. 為了確保這些企業公平地承擔社會責任，我們需要找到一種有效的跨國徵税機制

5.15. 政府的槓桿作用、機構建設和專業能力，需要與技術一樣迅速更新迭代，這對所有相關方都是一個巨大的挑戰

6. 聯盟

6.1. 隨着激光技術的不斷進步，其潛在的致盲風險也日益凸顯

• 6.1.1. 激光一旦用於武器製造，就可能使敵軍或任何被瞄準的人喪失戰鬥力

• 6.1.2. 1995年簽署的《關於激光致盲武器的議定書》明確禁止使用激光致盲武器

• 6.1.3. 激光武器既不是軍隊裝備的主要組成部分，也不是街頭常見的武器類型

6.2. 國家不願輕易放棄權力

6.3. 禁令都是世界各國團結一致、相互妥協以應對重大挑戰的典範，為我們應對即將到來的技術浪潮提供了重要的線索和框架

• 6.3.1. 不擴散核武器條約

• 6.3.2. 旨在禁止氯氟碳化物的《蒙特利爾議定書》​

• 6.3.3. 目標在於徹底禁止生物武器的《禁止生物武器公約》；

• 6.3.4. 為限制碳排放和減緩氣候變化負面影響而設立的《巴黎協定》​

• 6.3.5. 全球根除天花的行動

• 6.3.6. 消除含鉛汽油的行動

• 6.3.7. 全面禁止使用石棉的舉措

6.4. 面對深不見底的危機，地緣政治局勢可以迅速轉變

6.5. 從諾曼底和硫黃島的血雨腥風，到如今堅固的軍事和商業合作關係、深厚的友誼，以及史上規模最大的對外援助計劃，這一切只相隔了短短几年

6.6. 核武器之所以沒有廣泛擴散，部分原因是製造它們極為困難

• 6.6.1. 長時間的耐心磋商、聯合國長達數十年的條約談判努力，以及在緊張局勢下仍堅持的國際合作，這些因素都對核武器的控制至關重要

• 6.6.2. 核遏制不僅關乎道德原則，也涉及戰略考量

6.7. 聯盟也可以在技術專家或次國家機構層面發揮作用，集體決定資助哪些項目、摒棄哪些項目

6.8. 並不是在呼籲永久禁止生殖系基因編輯，也沒有限制其在科研上的應用，更沒有主張每個國家都應該走同樣的路，但確實是在請求從業者拿出時間來協調一致，做出明智的決策

6.9. 合成生物學目前面臨的競爭相對較小，而且新型生物威脅對雙方都是毀滅性的

6.10. 如果中美兩國能夠攜手建立一個共同的生物風險觀測站，使其涵蓋從高級研發到商業應用的各個環節，那麼這無疑將是一個極具價值的合作領域，值得進一步深耕細作

6.11. 隨着量子計算和機器學習技術的不斷進步，這些技術可能會對現有的加密系統構成威脅，因此，兩國都需要共同努力來維護這些系統的安全

6.12. 目標不是全面限制技術的擴散，而是制定規則、建立體系來管理和緩解技術帶來的風險

6.13. 相較於含糊且不切實際的提案，務實的現實主義更有機會獲得成功

7. 文化

7.1. 共同議題是治理，它涵蓋了軟件系統的治理、微芯片的治理、企業與研究機構的治理、國家治理以及國際社會的治理

7.2. 倫理、安全和遏制，這些都是良好治理的直接產物

7.3. 良好的治理並不僅僅依賴於明確的規則和有效的制度框架

7.4. 航空公司卓越的表現歸於多年來技術和操作上的逐步改進

7.5. 對失敗以及公眾譴責的恐懼會導致裹足不前

• 7.5.1. 及時公開問題本應成為個人和組織恪守的底線，而現實卻是那些勇於守住底線的公司和團隊並未因此獲得讚譽，反而容易成為眾矢之的，飽受批評

7.6. 接受失敗必須是發自內心的，而不能僅僅停留在口頭上

7.7. 遏制技術風險不僅要依靠特定的政策、清單或倡議，還需要培育一種自我批判的文化

7.8. 幾千年來，希波克拉底的誓言一直是醫學界的道德指引燈塔，其核心理念“Primum non nocere”​（首要的是，不要造成傷害）被廣為傳頌

7.9. 科學家同樣需要遵循類似的道德準則，且科學家絕不能放棄他們的社會和道德責任

7.10. 遵循預防性原則是一個很好的起點，即在構建技術之前要暫停一下

7.11. 行為不能僅僅停留在法律條文或企業口號的層面

• 7.11.1. 法律條文只是國家層面的規定，而企業口號往往是短暫且表面化的

7.12. 健康的技術文化樂於把果實留在樹上，願意在必要的時候説“不”​，願意延遲收益以確保安全

8. 運動

8.1. 這個世界由無數分散的行動者構成，他們的目標時而一致，時而衝突

8.2. 在社交媒體以外的現實世界，脱離了這個信息泡沫，人們有着截然不同的憂慮

8.3. 如果宏大的“我們”概念未能產生實際效果，那麼這將迫切要求我們構建一個真正有意義的共同體

• 8.3.1. 變革往往源於人們的有意識的奮鬥

• 8.3.2. 來自公眾的壓力推動了新規範的產生

8.4. 當談到新興技術及其潛在風險時，人們確實關心並希望找到解決方案

8.5. 民眾運動在技術遏制中扮演着重要的角色

8.6. 當公眾共同要求變革，真正的改變就會應運而生

9. 狹窄小道

9.1. 阿西洛馬原則

9.2. 對所有合成器進行DNA篩查是必要的，並且整個監測系統需要構建在雲端，這樣就可以實時更新，從而對抗新出現的威脅

9.3. 遏制不是終點，而是一條狹窄且永無止境的道路

9.4. 通道一側，國家權力可能無限擴張，凌駕於社會之上

9.5. 通道的另一側，國家可能面臨體系崩潰，淪為所謂的“殭屍國家”​，即國家喪失對社會的實際控制力

9.6. 安全永遠建立在不出錯、不落入不法之徒之手的保障之上

• 9.6.1. 對互聯網、DNA合成器、通用人工智能研究計劃等進行一定程度的監管是至關重要的

9.7. 過度控制只會讓我們更快地走向反烏托邦，因此我們也必須堅決抵制

9.8. 展望未來，技術將引領人類走向無數可能的方向，釋放巨大的潛能，並具備改變世界的力量

9.9. 如果我們人類能夠匯聚新的運動、企業與政府的合力，調控技術發展的驅動力，強化技術能力、知識和安全保障措施，從而扭轉當前局面，那麼我們就有可能點燃希望之火，沿着那條寶貴的狹窄小道走下去

10. 後人類世的生活

10.1. 基於蒸汽和機械自動化的技術徹底改寫了生產、勞動、價值、財富、能力和權力的規則

10.2. 並非所有人都對這樣的變革感到欣喜

10.3. 長期來看，曾經給社會帶來巨大痛苦的工業技術最終極大地提高了人們的生活水平

10.4. 唯一的方法就是從一開始就正確應對技術

• 10.4.1. 最緊迫的任務不是盲目跟從技術浪潮或徒勞無功地試圖阻止它，而是要學會引導和塑造它

10.5. 即將到來的技術浪潮將徹底改變世界

• 10.5.1. 將成為我們的私人智能代理，扮演幫手、密友和同事的角色，也是我們的“參謀長”和翻譯

10.6. 太多人對未來的設想都是基於技術能夠或可能實現什麼，但這其實是個錯誤的出發點

• 10.6.1. 技術人員除了關注工程細節外，更應該致力於想象和構建一個更加豐富多彩、更具社會性的未來

• 10.6.2. 這個未來是一個複雜的交織體，而技術只是其中的一部分

• 10.6.3. 雖然技術無疑是推動未來發展的重要力量，但它並不是未來的核心，也不是真正重要的問題

10.7. 我們人類才能決定未來的走向

• 10.7.1. 技術應該放大我們的優點，為創造力和合作開闢新道路，與我們生活中的點點滴滴和珍貴的人際關係相得益彰

10.8. 失敗的風險之大簡直難以想象，但我們必須勇敢面對