Netflix系統架構解析
Netflix架構旨在高效可靠地同時為數百萬用户提供內容。以下是其特性和組件的詳細分析。
是否曾好奇Netflix如何讓您目不轉睛地享受無中斷的流暢播放體驗？幕後功臣正是Netflix架構，它負責提供吸引全球觀眾的無縫流媒體體驗。Netflix的系統架構強調了決定未來內容形態的重要性。讓我們一起探索Netflix流媒體宇宙的幕後故事！
Netflix已成為娛樂、追劇和尖端流媒體服務的代名詞。其迅速崛起可歸因於龐大的內容庫、全球覆蓋以及彈性創新的架構。
從1997年的DVD租賃服務發展為全球流媒體巨頭，Netflix始終運用前沿技術革新着媒體消費方式。
Netflix架構旨在高效可靠地同時為數百萬用户提供內容。鑑於其在190多個國家擁有超過2億會員，基礎設施的可擴展性至關重要。
讓我們深入探究Netflix架構的複雜性，揭示其如何持續塑造我們享受喜愛節目的方式。
理解Netflix系統架構的重要性
理解Netflix系統架構至關重要，原因包括：
首先，它揭示了Netflix如何為全球數百萬用户提供無瑕疵的流媒體體驗。通過探索架構細節，我們能更好地理解其成功背後的技術與策略。
此外，其他行業可將Netflix設計作為開發可擴展、可靠且高效系統的藍圖。其設計原則和最佳實踐為構建複雜分佈式系統提供了重要經驗。
理解Netflix架構還能讓我們認識到推動數字媒體消費發展的持續創新。
理解系統設計需求
系統設計對開發複雜軟件或技術基礎設施至關重要。這些規範是構建整個系統的基礎，驅動決策並塑造最終產品。那麼系統設計的先決條件是什麼？為何如此重要？讓我們進行探討。
功能性需求
功能性需求規定了系統必須包含的功能和能力。這些規範概述系統主要目標，並詳述各部件如何交互。以Netflix為例的流媒體平台功能性需求包括但不限於：
- 賬户創建: 用户應能輕鬆創建賬户，提供註冊所需信息。
- 用户登錄: 註冊用户應能通過認證憑證安全登錄。
- 內容推薦: 平台應根據用户偏好和觀看歷史提供個性化建議。
- 視頻播放: 用户應能無縫播放視頻，支持播放控制功能。
非功能性需求
非功能性需求定義系統在不同場景下的行為，確保滿足特定質量要求。涵蓋性能、可擴展性、可靠性、安全性和合規性等方面。以Netflix為例包括但不限於：
- 性能需求: 高負載時保持低延遲和高吞吐量。
- 合規需求: 遵守數據保護法規標準。
- 擴展性需求: 基礎設施需支持用户增長而不影響性能。
- 安全需求: 實施強認證和加密防止未授權訪問。
- 可靠性需求: 包含故障轉移方法並保證高正常運行時間。
Netflix架構：擁抱雲原生
2008年8月因數據庫損壞遭遇重大挫折後，Netflix得出關鍵結論：必須擺脱單點故障，轉向高可靠、水平可擴展的雲解決方案。Netflix選擇AWS作為雲供應商，2015年將多數服務遷移至雲端。經過七年努力，2016年1月初完成雲遷移，關閉了最後的數據中心組件。
上雲並非易事。Netflix採用雲原生策略，徹底改革運營模式和技術棧：採用NoSQL數據庫、反規範化數據模型、從單體應用轉向數百個微服務。文化變革也不可或缺，如採用DevOps流程、持續交付和自助式工程環境。儘管困難重重，此轉型使Netflix成為雲原生企業，為在線娛樂領域的未來擴展和創新奠定基礎。
Netflix架構三要素
由客户端、後端和內容分發網絡(CDN)構成的強大架構三要素，共同保障無瑕疵用户體驗。面對全球數百萬觀眾，每個組件對內容交付都至關重要。
客户端
客户端架構是Netflix體驗的核心，涵蓋用户訪問的各種設備(電腦、智能電視、智能手機)。Netflix混合使用Web界面和原生應用確保跨平台一致體驗。無論設備類型，這些客户端管理播放控制、用户交互與界面渲染，提供統一體驗。得益於響應式優化，用户可輕鬆瀏覽內容庫並享受連續播放。
後端架構
後端架構是幕後運營的支柱。用户賬户管理、內容目錄、推薦算法、計費系統等由複雜的服務器、數據庫和微服務網絡處理。
後端不僅處理用户數據與內容交付，還運用大數據分析和機器學習優化內容交付與個性化推薦，提升用户滿意度。
Netflix後端架構歷經重大演變：2007年遷移至雲基礎設施，2018年採用Spring Boot作為主要Java框架。結合AWS的可擴展性和可靠性，Ribbon、Eureka和Hystrix等專有技術有效協調後端運營。
內容分發網絡(CDN)
CDN完善架構三角。Netflix運營名為Open Connect的CDN，通過戰略部署的全球服務器網絡，以最高可靠性和最小延遲交付內容。
通過在靠近用户的站點緩存內容，減少緩衝並確保流暢播放。即使在高峯期，通過全球服務器分發內容減少擁塞並最大化帶寬利用率。這種去中心化方式提升全球觀看體驗，降低緩衝時間並提高流媒體質量。
客户端組件
Web界面
近年Netflix Web界面經歷重大轉型，從Silverlight轉向HTML5流式傳輸視頻內容。此舉消除了瀏覽器插件需求，簡化用户體驗。自採用HTML5後，提升了對Chrome、Safari、Firefox等瀏覽器的兼容性。
Netflix對HTML5的應用不僅限於基礎播放，還藉此支持行業標準與技術進步。
移動應用
通過iOS和Android應用將流媒體體驗延伸至移動用户。結合原生開發與平台優化，為各類移動設備提供流暢界面。
憑藉個性化推薦、無縫播放和離線下載等功能，滿足移動觀眾需求。用户可隨時隨地觀看喜愛的內容，Netflix通過頻繁升級提供引人入勝的移動體驗。
智能電視應用
電視應用基於複雜架構，包含Gibbon渲染層、動態更新的JavaScript應用和原生SDK。通過定製版React-Gibbon確保跨電視平台的流暢UI渲染與響應。
性能優化聚焦每秒幀數與輸入響應等指標，通過減少屬性迭代等方法提升渲染效率，樣式優化與自定義組件開發進一步優化性能。
重塑播放體驗：現代化之旅
過去十年Netflix徹底改變了數字媒體消費方式。儘管持續推出創新功能，但自2013年以來播放界面的視覺設計與用户控制鮮有變化。認識到需要更新後，Web UI團隊着手重新設計。
團隊聚焦三大畫布：播放前、視頻播放和播放後，目標是提升客户滿意度。通過React.js和Redux等技術加速開發與提升性能，革新了播放界面。
後端基礎設施
內容分發網絡(CDN)
Netflix基礎設施依賴Open Connect CDN，輕鬆向全球數百萬觀眾交付內容。全球分佈的CDN對確保各地高質量流媒體至關重要。
通過名為OCA的服務器戰略部署於ISP和用户附近，在高峯期降低延遲並保障性能。通過在ISP網絡預置內容，最大化帶寬利用率並減少對骨幹網絡的依賴。
可擴展性是CDN的核心特性。全球約1000個地點部署OCA(包括偏遠地區)，滿足各地增長需求。
向合格ISP提供OCA，使其直接從自身網絡提供內容，既提升質量又降低ISP成本，建立雙贏關係。
視頻處理轉型：微服務革命
通過實施微服務改造視頻處理流水線，實現無與倫比的可擴展性和靈活性。從單體平台轉向微服務平台開啓了敏捷性和功能開發速度的新紀元。
視頻處理流程的每一步由獨立微服務代表，實現簡化編排與解耦功能。從視頻檢測到編碼，這些服務共同產出優質視頻資產。微服務通過快速迭代適應業務需求變化，取得顯著成效。
Open Connect播放流程
全球客户能夠享受絲滑無暇的觀看體驗得益於Netflix Open Connect 的播放流程。其運作方式如下：
- 健康狀態報告: 開放連接設備(OCAs)定期向亞馬遜雲服務(AWS)中的緩存控制服務彙報其學習到的路由信息、內容可用性及整體運行狀況。
- 用户請求: 用户通過客户端設備上託管在AWS的Netflix應用程序請求播放電視劇或電影。
- 授權與文件選擇: 在驗證用户授權和許可後，AWS播放應用程序服務會精確選擇處理播放請求所需的文件。
- 導向服務: AWS導向服務根據緩存控制服務保存的數據，選擇用於提供文件的OCA設備。播放應用程序服務從導向服務獲取這些OCA設備信息並構建其URL地址。
- 內容傳輸: 播放應用程序服務將相關OCA的URL發送至客户端設備。當請求的文件通過HTTP/HTTPS協議傳輸至客户端時，選定的OCA設備即開始提供服務。
下方圖示展示了完整的播放流程：
數據庫架構
利用Amazon S3實現無縫媒體存儲
Netflix在2022年4月21日AWS服務中斷期間的表現，充分證明了其雲基礎設施的價值，特別是對Amazon S3數據存儲服務的依賴。通過整合SimpleDB、S3和Cassandra等服務，Netflix構建了能夠承受此類中斷的健壯系統。
作為基礎設施的核心支柱，Netflix採用Amazon S3（簡單存儲服務）存儲海量影視內容與原創作品。為服務全球數億用户，平台需要管理PB級數據，而S3提供的可擴展、高可靠且易訪問的存儲特性成為理想選擇。
內容庫持續擴張時，S3使Netflix無需擔憂硬件擴容或複雜存儲架構維護，完美契合其"不犧牲用户體驗"的擴展需求。
擁抱NoSQL實現彈性擴展
面對分佈式架構的結構化存儲需求，Netflix在發現傳統關係型數據庫的侷限性後，全面轉向NoSQL分佈式數據庫。技術棧中Cassandra, Hadoop/HBase, 和SimpleDB三大核心方案各具優勢。
Amazon SimpleDB
遷移至AWS雲時，SimpleDB憑藉強大的查詢能力、跨可用區自動複製和高持久性成為首選。其託管特性有效降低了運維成本，符合Netflix將非核心業務外包給雲服務商的策略。
Apache HBase
作為Hadoop生態的高性能解決方案，HBase通過動態分區策略實現負載均衡與集羣擴展，完美應對Netflix的數據增長挑戰。分佈式計數器、範圍查詢和數據壓縮等功能，進一步強化了其一致性架構的健壯性。
Apache Cassandra
這款開源NoSQL數據庫以性能、彈性和靈活性見長。動態集羣擴展能力滿足Netflix無限擴容需求，自適應一致性機制與靈活數據模型使其成為跨區域部署、避免單點故障的理想選擇。
雖然需要面對學習曲線和運維成本，但NoSQL在可擴展性、可用性和性能方面的優勢，使其成為Netflix長期雲戰略的關鍵支柱。
計費系統中的MySQL實踐
Netflix計費系統作為向AWS雲原生架構全面遷移的一部分經歷了重大轉型。由於Netflix運營高度依賴計費系統，此次遷移被謹慎處理以確保對會員體驗的影響最小化，同時嚴格遵守嚴格的財務標準。
跟蹤計費週期、監控支付狀態以及向財務系統提供報告數據只是Netflix計費基礎設施處理的眾多任務中的幾項。計費工程團隊管理着一個包含批處理任務、API、與其他服務的連接器以及數據管理的複雜生態系統來實現這些功能。
數據庫技術的選擇是遷移過程中最重要的決策之一。由於支付處理需要可擴展性和ACID事務支持，MySQL被選為數據庫解決方案。
構建健壯的工具鏈、優化代碼和清理不必要數據都是遷移過程的一部分，以適應新的雲架構。在轉移現有會員數據前，團隊使用代理和重定向器處理流量重定向，並採用乾淨數據集進行了全面測試流程。
將計費系統遷移至AWS上的MySQL是個複雜過程，需要周密規劃、系統實施以及持續測試和迭代。儘管存在困難，遷移最終順利完成，使Netflix能夠利用AWS雲服務的可擴展性和可靠性來支持其計費系統。
總之，將Netflix計費系統切換至AWS上的MySQL涉及大量工程工作併產生廣泛影響。Netflix的系統架構已更新其計費系統，並採用基於雲的解決方案為數字領域的未來發展做好準備。
以下是Netflix遷移後的架構：
Netflix架構中的內容處理流水線
Netflix內容處理流水線是處理內容合作伙伴提供的數字資產的系統化方法。主要包含三個階段：內容攝取、轉碼和封裝。
內容攝取
在攝取階段，音頻、定時文本或視頻等源文件會經過嚴格的準確性和合規性檢查。這些驗證包括：語義信號域檢查、文件格式驗證、壓縮碼流可解碼性驗證、符合Netflix交付標準以及數據傳輸完整性檢查。
轉碼與封裝
通過攝取階段的源文件會進行轉碼處理，生成輸出基本流。隨後這些流會被加密並封裝至可分發的流式容器中。
通過Netflix金絲雀模型確保無縫流媒體體驗
由於客户端應用是用户與品牌互動的主要方式，它們必須保持卓越品質。Netflix系統架構投入大量資源確保對更新版本進行全面評估。然而，由於Netflix需要在數千種設備上運行，並依賴數百個獨立部署的微服務，全面內部測試變得困難。因此，必須依靠更新過程中獲取的可靠現場數據來支持發佈決策。
為加速客户端應用更新評估，Netflix系統架構組建了專門團隊從現場挖掘健康信號。這項系統投資提高了開發速度，改善了應用質量和開發流程。
- 客户端應用: Netflix通過兩種方式更新客户端應用：直接下載和應用商店部署。直接下載提高了分發控制力。
- 部署策略: 雖然定期增量發佈的優勢眾所周知，但軟件更新仍存在挑戰。由於每個用户設備都以流形式傳輸數據，高效信號採樣至關重要。Netflix採用定製部署策略應對各類設備和複雜微服務的獨特挑戰。策略因客户端類型而異（如智能電視與移動應用）。新版本通過分階段發佈逐步推出，提供快速故障處理和智能後端服務擴展。發佈過程中監控客户端錯誤率和採用率可確保部署的一致性和有效性。
- 分階段發佈: 為降低風險併合理擴展後端服務，分階段發佈需要逐步部署新版本。
- AB測試/客户端金絲雀: Netflix採用強化的A/B測試變體"客户端金絲雀"，通過完整應用測試確保數小時內完成及時更新。
- 編排: 編排減少了頻繁部署和分析的工作量，有效管理A/B測試和客户端金絲雀。
總之，得益於Netflix採用客户端金絲雀模型，數百萬用户能享受無瑕疵的流媒體體驗，該模型確保了應用的頻繁更新。
Netflix架構圖示
Netflix系統架構是一個複雜生態系統：後端服務採用Python和Java（Spring Boot），數據處理和實時事件流使用Apache Kafka和Flink。前端採用Redux、React.js和HTML5提供沉浸式用户體驗。多種數據庫（包括Cassandra、HBase、SimpleDB、MySQL和Amazon S3）提供實時分析並處理海量媒體內容。Jenkins和Spinnaker實現持續集成和部署，AWS為整個基礎設施提供可擴展性、可靠性和全球覆蓋能力。
這些技術僅佔Netflix龐大技術棧的一小部分，體現了其為全球觀眾提供完美娛樂體驗的決心。
Netflix架構總結
Netflix系統架構徹底改變了娛樂行業。從DVD租賃服務發展為全球流媒體巨頭，其技術基礎設施是成功的關鍵。
依託AWS支持的Netflix架構確保全球用户的無中斷流媒體體驗，通過客户端、後端和內容分發網絡(CDN)實現跨設備的無瑕疵內容傳輸。
HTML5的創新應用和個性化推薦提升了用户體驗。
儘管面臨挑戰，向雲原生架構的轉型使Netflix更加強大。通過採用微服務、NoSQL數據庫和雲解決方案，Netflix在快速發展的在線娛樂領域為未來創新做好準備。任何技術企業都能從理解Netflix系統中獲益。
簡而言之，Netflix系統架構不僅關乎技術，更旨在改變我們的媒體消費方式。當觀眾追劇時，這套架構在幕後確保一切順暢運行，提升每個人的娛樂享受。
【注】本文譯自： A Look Into Netflix System Architecture
