什麼是 AV1?
以 Google 為代表的開放媒體聯盟(AOM, Alliance for Open Media)所制定的 AV1 標準,在保持相同畫質的條件下,碼率可比 H.265 低 20%左右。同時其免費的專利政策與廣泛的生態支持(尤其是瀏覽器的支持),相比於 H.265 等視頻編碼標準,優勢顯著,成為產業界推廣 AV1 的重要原因之一。
AV1 中的編碼技術
AV1 依然採用了混合編碼框架。儘管在編碼架構上沒有顯著的創新突破,但在不同的編碼模塊中引入了新的編碼工具,以實現高性能的壓縮效果。
塊劃分
在 AV1 中,最大的塊被稱作 super-block,其最大尺寸可達 128x128。AV1 運用了遞歸分區樹的劃分方式,每個 2Nx2N 的塊可以遞歸地劃分成 4 個 NxN 的子塊,直至最小的塊為 4x4。對於每一個 2Nx2N 的塊,可選擇 10 種類型劃分,例如 AB 劃分,Rect 劃分等。
幀內/幀間預測
AV1 除了在傳統的幀內預測方向上細化出更多的預測方向,還新增加了遞歸濾波預測和跨分量預測,以及可顯著提升屏幕內容壓縮性能的調色板模式和幀內塊拷貝模式。
在幀間預測壓縮工具方面,相比幀內壓縮工具更加豐富,AV1 擴展到最大支持 7 個參考幀進行預測。此外,雙向預測還支持多種不同方式生成預測塊,像是楔形分割預測,加權運動補償等。
變換/量化和熵編碼
AV1 的變換核尺寸擴展到支持從 4x4 到 64x64,並且還支持長方形的變換塊尺寸。變換核類型除了支持傳統的 DCT,還支持 ADST,fADST,IDT。由於變換和反變換能夠隨意組合,所以 AV1 共支持 16 種類型組合。變換尺寸以及變換類型組合種類的增多,使得編碼複雜度大幅提升。
環內濾波
環內濾波是目前視頻編碼標準的必要組成部分之一。AV1 除了去塊濾波,還增加了約束方向增強濾波器(用於保留物體邊緣的清晰度,提升重建圖像質量)、環內修復濾波器以及電影顆粒膠片效果合成器等,以此來提高編碼效率。
AV1 複雜度分析
新編碼工具的引入,使得 AV1 編碼性能得以提升,但其編碼複雜度亦極具上升。我們首先做的是對 AV1 的編碼複雜度有清晰的認識,以當下開源的 libaom 和 x265 為例,我們進行了測試。
從表格中的測試數據可以看出,儘管目前 libaom 一直在不斷的優化,並取得了很大的進展,然而 AV1 相比 x265 雖有 25%左右的碼率節省,但是其編碼耗時卻增加了 28 倍左右。因此如何平衡碼率節省與複雜度成為了首要任務。
編碼工具集自適應適配
不同的視頻場景需要適配不同的編碼參數集,以達到最佳的編碼質量平衡。在豐富的編碼工具集合中,針對當前的輸入視頻能夠快速準確選擇應該使用的編碼工具,這是打造 AV1 編碼器的主要優化難點。通過提取輸入視頻的特徵,如紋理特徵,運動強度等,來選擇合適的前處理與編碼參數。
下圖列出了七牛雲 AV1 根據輸入視頻自適應選擇編碼參數的測試結果,可以看出與 H.265 相比,其編碼速度領先 H.265,且在同等質量 PSNR 下,更省碼率。
AV1 的採用
七牛雲自研了多標準的編碼器,其中就包括了 QNAV1。AV1 不僅提升了視頻的壓縮效率,更在實時音視頻場景中實現了畫質的顯著提升。在同等碼率下,AV1 能夠提供比 H.265 更清晰的視頻畫質,甚至在屏幕共享等特定場景下,壓縮率提升高達 80%。
對於用户而言,AV1 的優勢是實實在在的。無論是在移動設備上觀看視頻,還是在網絡條件不佳的環境中享受直播,AV1 都能夠為用户提供更流暢、更清晰的觀看體驗。此外,AV1 的高壓縮率也意味着用户可以節省更多的流量,享受更高的性價比。
AV1 的行業應用場景廣泛,已被廣泛應用於視頻點播、直播、實時音視頻 RTC 等各類場景。其極致的編碼壓縮體驗和超清畫質效果,使 AV1 成為提升行業視頻服務水平的關鍵技術。AV1 不僅在視頻領域得以應用,在圖片領域也有涉及。七牛雲目前已全面支持 AVIF,AVIF 得益於其出色的幀內編碼壓縮技術,可大幅降低各類圖片的體積,讓用户以最低成本獲得小而美的圖片體驗。