[發明專利]一種分辨率自適應視頻編碼方法和系統

有效

• 申請號: 201980007183.0
• 申請日: 2019-12-27
• 公開（公告）號: CN111642141B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 孫域晨;樓劍
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/59;H04N19/44;H04N19/513;H04N19/176
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁;張艷梅

通過獲得比特流的當前幀，從參考幀緩存獲得一個或更多個參考圖片，對獲得的一個或更多個參考圖片中具有與當前幀的分辨率不同分辨率的圖片進行上采樣或下采樣，和基于所述一個或更多個參考圖片和當前幀的所選的運動候選從所述當前幀生成重建幀，提供了用于以運動預測編碼格式實現分辨率自適應視頻編碼方法的系統和方法，從而實現在視頻編碼和遞送過程中網絡傳輸成本的大幅縮減，而無需傳輸會抵消或損害這些節省的其他數據。

相關申請的交叉引用

本公開要求于2018年12月31日提交的美國申請號16/237,073的優先權權益，其全部內容通過引用合并于此。

背景技術

在諸如H.264/AVC(高級視頻編碼)和H.265/HEVC(高效率視頻編碼)標準的常規視頻編碼格式中，序列中的視頻幀的大小和分辨率以序列級記錄在頭部。因此，為了改變幀分辨率，必須從幀內編碼幀開始生成新的視頻序列，與幀間編碼幀相比，幀內編碼幀要傳輸的帶寬成本要大得多。因此，盡管期望當網絡帶寬變低、減小或節流時在網絡上自適應地發送下采樣(down sampled)的低分辨率視頻，但是由于自適應下采樣的帶寬成本抵消了帶寬增益，在使用常規視頻編碼格式時難以實現帶寬節省。

已經對在傳輸幀間編碼幀時支持改變分辨率進行了研究。在由AOM開發的AV1編解碼器的實現中，提供了一種稱為切換幀(switch_frame)的新幀類型，可以以與以前的幀不同的分辨率進行傳輸。但是，由于switch_frame的運動矢量編碼不能參考先前幀的運動矢量，因此switch_frame的使用受到限制。此類參考通常提供降低帶寬成本的另一種方法，因此使用switch_frames仍會維持更大的帶寬消耗，從而抵消了帶寬增益。

在下一代視頻編解碼器規范VVC/H.266的開發中，提供了幾種新的運動預測編碼工具，以進一步支持參考先前幀的運動矢量編碼。需要新技術以便針對這些新編碼工具在比特流中實現分辨率變化。

附圖說明

詳細說明參照附圖得以闡述。在附圖中，附圖標記的最左邊的數字標識該附圖標記首次出現的附圖。在不同附圖中使用相同的附圖標記表示相似或相同的項目或特征。

圖1示出了從由TMVP編碼的幀的塊中選擇運動候選的示例。

圖2A示出了SbTMVP預測器的示例推導。

圖2B示出了SbTMVP預測器的示例推導。

圖3示出了利用與當前幀具有第一時間和第二時間距離的第一參考幀和第二參考幀的示例的雙向預測。

圖4說明視頻編碼過程的實例框圖。

圖5A示出了實現分辨率自適應視頻編碼的視頻編碼方法的示例流程圖。

圖5B示出了實現分辨率自適應視頻編碼的視頻編碼方法的示例流程圖。

圖6示出了實現分辨率自適應視頻編碼的視頻編碼方法的另一示例流程圖。

圖7示出了對參考圖片進行上采樣的示例循環內向上采樣器。

圖8示出了用于在運動預測編碼格式中實現分辨率自適應視頻編碼的過程和方法的示例系統。

圖9示出了用于在運動預測編碼格式中實現分辨率自適應視頻編碼的過程和方法的示例系統。

具體實施例

本文討論的系統和方法旨在實現視頻編碼中的自適應分辨率，并且更具體地涉及基于由VVC/H.266標準提供的運動預測編碼工具實施重建幀的上采樣和下采樣以實現幀間自適應分辨率改變。