1. 災難

1.1. 在某種程度上，人類的歷史就是一部災難史

1.2. 大流行病廣泛存在

1.3. 兩場大流行病曾導致世界上多達30%的人口死亡

• 1.3.1. 6世紀的查士丁尼瘟疫和14世紀的黑死病

• 1.3.2. 1300年，英格蘭的人口約為700萬，但到了1450年，由於瘟疫的肆虐，人口鋭減到僅剩200萬

1.4. 災難也可能是人為造成的

• 1.4.1. 一戰和二戰分別導致全球約1%和3%的人口死亡

• 1.4.2. 隨着原子彈的出現，人類現在擁有了足以多次毀滅地球上所有生命的致命力量

1.5. 最終，隨着史上最具影響力的技術滲入我們生活的方方面面，極端情況的發生概率也將大幅提升

1.6. 新技術浪潮的4個特徵預示着，如果不在各個層面採取強有力的遏制措施，那麼像人為策劃的流行病這樣的災難性後果將比以往任何時候都更可能發生

1.7. 一種可能性是，社會轉向技術驅動的全面監控模式

• 1.7.1. 這種強制執行的機制，旨在應對那些難以控制或根本不受控制的技術

• 1.7.2. 這是以犧牲自由為代價來換取安全

1.8. 另一種可能性是，人們選擇徹底遠離技術前沿

• 1.8.1. 這種情況不大可能發生

1.9. 技術的初衷是提升人們的生活水平，確保其益處遠超其成本和負面影響

1.10. 與極端的技術樂觀主義相似，極端的技術災難主義同樣容易被視為一種扭曲、誤導性的炒作，沒有歷史記錄的支持

1.11. 警告的內容看似誇張，也並非拒絕接受其合理性的充分理由

1.12. 一旦軍隊實現全面自動化，衝突的發生門檻將會顯著降低

• 1.12.1. 戰爭可能因某些永遠難以明確的原因而意外觸發，人工智能系統在檢測到特定行為模式或威脅時，可能會立即以勢不可當的力量做出反應

1.13. 為了阻止可卡因貿易，激進分子可能會發明一種新型蟲子，專門對古柯植物進行生物破壞，以此替代傳統的空中燻蒸方法

1.14. 如果激進的素食主義者決定採用生物手段干擾整個肉類供應鏈，那將帶來可怕且難以預料的後果

1.15. 一個經典的思想實驗是，如果你構建一個足夠強大的人工智能系統來製造回形針，但未足夠詳細地指定目標要求，那麼它最終可能會將整個世界甚至整個宇宙都轉化為回形針

1.16. 一個足夠強大的人工智能系統，即便初始設計與人類利益高度一致，也完全有可能重寫自身程序，摒棄內置的安全機制與初始目標

1.17. 在未來10年裏，人工智能將成為歷史上最強大的力量放大器

• 1.17.1. 設想一個能夠輕鬆通過現代圖靈測試卻用於災難性目的的通用人工智能

• 1.17.2. 先進的人工智能和合成生物學技術不僅能為那些致力於尋找新能源或研發改善生命的藥物的組織所用，也可能成為像特德·卡欽斯基這樣的恐怖分子的工具

1.18. 人工智能既極具價值，又充滿危險，因為它正是人性的最好與最壞方面的延伸

• 1.18.1. 作為一種基於學習的技術，它能夠持續適應、不斷探索，生成全新的策略與見解，這些可能遠遠超出以往的人工智能的考慮範圍

1.19. 我們無法預知人工智能自我提升的速度，也無法確定某種尚未完善的生物技術若在實驗室發生事故會帶來何種後果

• 1.19.1. 我們不知道將人類意識直接與計算機連接會產生什麼結果，不清楚人工智能支持的網絡武器對關鍵基礎設施的潛在影響，也無法預測某種基因驅動在現實世界中可能引發的反應

• 1.19.2. 某種快速進化、自我組裝的機器人或新型生物製劑一旦釋放到現實世界中，就無法撤銷了

1.20. 真正的安全需要在所有該技術的應用實例中都維持那些安全標準：考慮到技術的傳播速度和範圍，這無疑是一項艱鉅的任務

1.21. 如果未能遏制即將到來的技術浪潮，災難的降臨就是遲早的事

2. 邪教、瘋子與自毀式國家

2.1. 奧姆真理教

• 2.1.1. 一個20世紀80年代創立於日本的末日論邪教

• 2.1.2. 最初是一個瑜伽工作室，由一個自稱麻原彰晃的人領導

• 2.1.3. 該組織主要在心懷不滿的人羣中發展成員，隨着成員的增加，其信仰逐漸變得極端

• 2.1.4. 結合了高度的組織能力和可怕的野心

• 2.1.5. 企圖通過大規模謀殺來觸發第三次世界大戰和全球崩潰，並已着手為達成此目標建立相應的基礎設施

2.2. 由於可獲取的武器有限，校園槍手的病態虛無主義和暴行在某種程度上受到了約束

2.3. 隨着新的技術浪潮全面來襲，毀滅性工具也將面臨“民主化”和商品化

2.4. 一個新的歷史階段已經到來

• 2.4.1. 隨着衰落的殭屍政府無力遏制技術，下一個奧姆真理教的出現、下一場工業事故、下一場瘋狂獨裁者發動的戰爭，或下一次微小卻致命的實驗室泄漏，其後果都將不堪設想

3. 反烏托邦轉向

3.1. 阻止災難發生顯然是緊迫之事

3.2. 災難越大，利害關係越大，對對策的需求也越大

3.3. 即將到來的技術浪潮為反烏托邦式的統治提供了動機和手段，即在穩步增加的數據蒐集和強制措施的支持下，形成一種自我強化的“人工智能專政”​

3.4. 只要出現巨大的災難，人們就會呼籲建立極端的監控設施，以防未來再次發生類似事件

3.5. 災難威脅和對安全的渴望將持續推動人們朝着反烏托邦方向前進

• 3.5.1. 每一場技術浪潮都曾為社會秩序帶來系統性的衝擊

• 3.5.2. 不過迄今為止，以往的技術浪潮尚未帶來廣泛且系統性的全球災難風險

4. 停滯

4.1. 停滯不前本身就是災難

4.2. 歷史上社會崩潰的案例俯拾皆是：從古美索不達米亞文明到古羅馬文明，從瑪雅文明到復活節島文明，我們反覆注意到文明難以持久，似乎文明的不可持續性是其宿命

4.3. 文明的崩潰並非個例，而是一種常態

• 4.3.1. 一項針對60個文明的研究揭示，這些文明的平均存續時間大約為400年，之後便分崩離析

4.4. 數百年來，技術的持續發展似乎使社會得以掙脱歷史規律的桎梏

4.5. 認為歷史的動態演變已經停滯不前是一種誤解

4.6. 21世紀的文明固然與瑪雅文明大相徑庭，但龐大且渴望權力的上層建築、眾多的人口、能源供應以及文明發展的硬性限制依然存在；它們所帶來的影響只是被暫時抑制了

4.7. 現代文明只有依靠持續的技術發展才能兑現其承諾

• 4.7.1. 社會體系存在的前提是能夠確保長期的經濟增長，這依賴於新技術的發明和推廣

4.8. 開發新技術是應對地球面臨的重大挑戰的關鍵所在

• 4.8.1. 在不引入新技術的情況下，解決氣候變化問題，或維持不斷提高的生活和醫療水平，或改善教育和職業機會，都是不可能實現的

4.9. 假設暫停技術發展是可能的，那麼從某種意義上説，這將意味着一種安全保障

• 4.9.1. 將限制新的災難性風險的出現

• 4.9.2. 並不意味着我們能成功避開反烏托邦的局面

• 4.9.3. 隨着21世紀的社會日益顯現出脆弱性和不可持續性，技術的暫停可能會引發另一種形式的反烏托邦

• 4.9.4. 如果沒有新技術的支持，一切遲早都會陷入停滯，甚至可能徹底崩潰

4.10. 人口趨勢的變化通常需要數十年，而同代人口的規模通常較穩定

4.11. 預計到2030年，鋰、鈷和石墨的需求將增長500%

4.12. 電池是清潔能源技術的核心應用之一，然而電池技術因受存儲容量限制，尚不能滿足許多應用場景中幾分鐘甚至幾秒鐘的能源消耗需求

4.13. 意味着現代生活的方方面面都存在崩潰的風險，從而帶來一系列深遠影響，並與眾多本已棘手的問題相互交織

4.14. 即使存在可能性，試圖阻止即將到來的技術浪潮的想法也並不受歡迎

4.15. 1955年，在生命的最後階段，數學家約翰·馮·諾依曼撰寫了一篇名為《我們能在技術中倖存嗎？​》的論文

• 4.15.1. "技術性風險沒有任何‘解藥’，​”他提到，​“任何試圖為當前爆炸式的進步尋找自動安全通道的嘗試都將是徒勞的。​”

4.16. 技術同時代表了人類最好和最壞的方面

• 4.16.1. 任何片面的觀點都不足以被稱為對技術的客觀審視

• 4.16.2. 唯一合理的技術認識論便是同時認識到技術的正負兩面

• 4.16.3. 為了所有人的利益，我們必須讓遏制成為可能