在流媒體服務隨時可能因系統故障而中斷的時代，Netflix 如何確保數億用户的觀影體驗始終穩定？本文將揭曉其技術團隊的關鍵實踐 —— 從中央 SRE 團隊獨攬事件管理，到讓每個工程師都能主動發起並處理事件的轉型之路。你將看到他們如何通過工具選型、流程標準化和文化重塑，把事件從 “可怕的故障” 轉化為 “可學習的機會”，甚至讓工程師在凌晨三點也能輕鬆啓動事件響應。無論你是關注系統可靠性的技術從業者，還是想了解科技巨頭如何構建韌性架構的讀者，這篇翻譯都將為你揭示：當事件管理成為每個工程師的日常技能，企業如何在持續改進中走向真正的技術成熟。以下內容翻譯自：Empowering Netflix Engineers with Incident Management，作者：Molly Struve
Netflix 的使命是為全球數億用户提供無縫娛樂，這對可靠性提出了極高要求。確保這種可靠性的核心在於我們如何處理“事件”（那些系統不按預期運行、不可避免的時刻）。
當公司範圍內以一致方式管理“事件”時，團隊能夠更快速、更有效地響應。健全的事後跟進流程為學習與系統改進創造機會。這樣的持續改進循環對於維持會員所依賴的高可靠系統至關重要。
隨着 Netflix 業務不斷增長與擴張，構建一套共享且一致的事件管理方法變得尤為關鍵。本文將深入講述我們如何把事件管理從一個集中式職能，轉變為一項普及、易用的實踐，以及我們在這一過程中獲得的寶貴經驗教訓。
過去：無數錯失的機會
在 Netflix 的很長一段時間裏，事件管理主要由中央站點可靠性工程團隊 CORE（Critical Operations and Reliability Engineering）負責，且專注於流媒體業務，由他們單一發起事件。他們依賴 Jira 與一個 Slack 頻道來進行響應。這在早期尚可，但隨着 Netflix 的發展與多元化，我們清楚這種做法無法擴展。
隨着成千上萬個微服務支撐着除流媒體之外的關鍵功能，我們知道有許多故障並未被記錄。公司內部有一個名為 “OOPS” 的事後覆盤模板，團隊可以據此撰寫運營中的意外。然而該模板的採用率很低，許多工程師並不清楚它的存在，或不瞭解其目的與價值。大量日常的小型事件悄然被忽略，我們也因此錯失了學習與改進的關鍵機會。
願景：為事件管理鋪設標準化道路
意識到這些限制後，我們着手推動事件管理的普及化。我們的目標是：讓更多事件被及時發起，並讓更多團隊參與其中。我們設想為事件管理鋪設一條 “標準化道路”——流程足夠直觀、順暢，以至於任何人即使在凌晨三點也能輕鬆聲明並管理事件。要實現這條道路，必須完成角色轉變：中央 SRE 不再是唯一的事件聲明者，而是賦能各工程團隊對自身事件負責。這一重大轉變既需要技術支撐，也需要文化變革。
尋找合適的工具
在像 Netflix 這樣多元且複雜的組織中擴展技術流程充滿挑戰。為了讓每個工程團隊都能有效管理事件，我們需要一個遠比 Jira 和單一 Slack 頻道更為完善的綜合事件管理工具。無論是自研還是採購，解決方案必須滿足四個關鍵要求：
- 直觀的用户體驗 —— 首要優先級是讓工具足夠直觀，幾乎無需培訓即可使用。
- 內部數據集成能力 —— 能夠接入 Netflix 特定數據。
- 在定製與一致性之間取得平衡 —— 既給予團隊靈活性，又維持共享標準。
- 親和可用 —— 以友好、令人愉悦的方式推動圍繞事件的文化變革。
“自研還是採購”是重要考量。儘管 Netflix 擁有世界一流的工程團隊，但在我們的時間線、投入成本與後續持續維護的約束下，構建一套完全滿足上述要求的自研方案並不現實。遵循 “必要時才自研” 的工程原則，我們據此評估了外部解決方案。
最終，我們選擇了 Incident.io。平台在選型階段滿足了我們的各項指標，而在隨後的轉型過程中，這四項需求的作用比我們預期的更為顯著。
推動轉型
選對工具只是起點。真正的挑戰在於如何在 Netflix 多樣化的工程組織中落地，並實現我們所設想的文化轉變。以下四個要素幫助我們將目標變為現實。
直觀設計驅動採用並促成文化轉變
工具的可用性對於鼓勵團隊主動發起事件至關重要。它必須足夠易懂，即便是不常使用事件管理的工程師每年只用幾次也能快速上手。引入 Incident.io 之後，由於易於上手，我們看到了快速的有機增長；其直觀的設計讓用户在使用過程中自然發現功能。得益於我們對可用性的優先級，四個月內已有 20% 的工程團隊開始使用該工具，六個月後採用率超過 50%。
除了快速採用，工具還改變了工程師對 “事件” 的看法：事件不再是 “可怕的大型故障”，而是 “任何值得關注與學習的影響或中斷”。友好、熱情的界面讓事件管理不再令人生畏、更加平易近人。一些工程師形容這個平台 “很歡樂”，甚至讓他們實際上更 願意 主動開啓事件。親和的設計降低了心理門檻，使工程師更願意聲明事件，並把它視為工作流中自然、甚至積極的一環。
組織投入支持可擴展增長
儘管擁有直觀工具很重要，但真正讓工程師願意開啓事件還需要組織層面的投入。我們在標準化上投入巨大，制定了一套既不過度負擔用户、又能支撐複雜事件的輕量流程。找到這個平衡點需要時間，也需要與用户積極互動以瞭解哪些有效、哪些需要改進。直到今天，我們仍在持續調整與優化這一流程。
在教育層面，我們編寫了輕量文檔、快速參考清單，並製作了短視頻演示，以加速在多樣化工程團隊中的採用。我們帶着這些資源在內部巡迴宣講，證明管理事件的門檻幾乎為零。儘管大多數工程師很快接受，也仍有持保留意見者。隨着時間推移，我們與這些同事深入溝通，更好地理解他們的需求，幫助他們將事件管理納入日常工作與流程。
內部集成降低認知負擔
將我們獨特的組織語境——包括團隊、軟件服務、業務域甚至硬件設備——直接融入事件管理平台至關重要。Netflix 特定的上下文支持強大的自動化能力，例如自動通知相關團隊，或基於告警預填事件字段。這些集成顯著降低了事件期間的認知負擔，幫助工程師把精力集中在快速緩解上。更進一步，與內部數據的跨事件關聯讓我們能夠識別並解決系統性問題。
在定製與一致性間的平衡提升響應效果
靈活的平台使我們能夠為不同團隊量身定製響應體驗，同時在全公司層面執行統一語言與標準化元數據。這種平衡對提升響應效果至關重要：不同團隊可以根據自身需求調整工作流，但核心元素（如 “受影響區域與領域”）保持一致。由於結構與語言的統一，響應者可以迅速理解公司範圍內的任何事件，從而實現更快、更有效的響應。
結果：事件管理的新紀元
我們推動事件管理普及的旅程在 Netflix 工程團隊內取得了巨大的成果。我們成功地從集中式響應模式轉變為由工程師主動聲明並管理事件的模式。這一轉型在各團隊之間培育了重新的責任感與學習文化。
我們已經建立了新的實踐，並持續發展一種令我們引以為豪的事件管理文化，但這並未到此為止。我們的事件管理流程仍在不斷演進，以適應 Netflix 的持續增長。每天，我們都在幫助工程師與管理者認識事件所帶來的巨大價值。我們期待繼續利用這些寶貴的學習機會，改進平台，為數億會員帶來更好的體驗。
