[發明專利]機器學習視頻處理系統和方法

在審

• 申請號: 201880056090.2
• 申請日: 2018-07-09
• 公開（公告）號: CN111066326A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: J·C·周;A·多拉佩斯
• 申請（專利權）人: 蘋果公司
• 主分類號: H04N19/90
• 分類號: H04N19/90;H04N19/46;H04N19/102;H04N19/117;H04N19/132;H04N19/136;H04N19/154;H04N19/189;H04N19/86;H04N19/59;G06T9/00;H04N19/436
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 劉玉潔

本公開涉及用于改進視頻編碼和/或視頻解碼的系統和方法。在實施方案中，視頻編碼流水線包括主編碼流水線，所述主編碼流水線通過至少部分地基于編碼參數來處理源圖像數據，從而壓縮對應于圖像幀的所述源圖像數據以生成經編碼圖像數據。另外，所述視頻編碼流水線包括通信地耦接到所述主編碼流水線的機器學習塊，在所述主編碼流水線中，所述機器學習塊通過至少部分地基于當所述機器學習塊被所述編碼參數啟用時在所述機器學習塊中實現的機器學習參數來處理所述源圖像數據，從而分析所述圖像幀的內容；并且所述視頻編碼流水線至少部分地基于期望存在于所述圖像幀中的所述內容來自適應地調節所述編碼參數，以便于提高編碼效率。

相關申請的交叉引用

本專利申請是要求2017年9月1日提交的名稱為“MACHINE LEARNING VIDEOPROCESSING SYSTEMS AND METHODS”的美國臨時專利申請62/553,587的優先權的非臨時專利申請，該申請全文以引用方式并入本文以供所有目的。

背景技術

本公開整體涉及視頻處理，并且更具體地講，涉及至少部分地基于機器學習技術來處理(例如，編碼、解碼、分析和/或濾波)圖像數據。

該部分旨在向讀者介紹可與下面描述和/或要求保護的本技術的各個方面相關的領域的各個方面。該討論被認為有助于為讀者提供背景信息以便于更好地理解本公開的各個方面。相應地，應當理解，應就此而論閱讀這些陳述，而不是作為對現有技術的認可。

為了呈現信息的視覺表示，電子設備可利用電子顯示器基于對應的圖像數據來顯示一個或多個圖像(例如，圖像幀)。由于圖像數據可從另一電子設備接收并且/或者存儲在電子設備中，因此可對圖像數據進行編碼(例如，壓縮)以減小大小(例如，位數)，并且因此減少用于傳輸和/或存儲圖像數據的資源(例如，傳輸帶寬和/或存儲器地址)。為了顯示圖像，電子設備可解碼經編碼圖像數據并指示電子顯示器基于經解碼圖像數據來調節其顯示器像素的亮度。

在一些情況下，可至少部分地基于預測技術來對圖像數據進行編碼。例如，可基于預測樣本來對對應于圖像幀的一部分(例如，塊)的圖像數據進行編碼，該預測樣本指示對圖像幀的至少該部分的預測。由于圖像幀通常逐漸變化，因此可例如使用幀內預測技術基于來自相同圖像幀的圖像數據來確定預測樣本。另外，由于連續圖像幀通常相似，因此可例如使用幀間預測技術基于來自即時先前圖像幀和/或即時后續圖像幀的圖像數據來確定預測樣本。

在任何情況下，可基于編碼參數來確定預測樣本，例如，這些編碼參數指示是使用幀間預測技術還是幀內預測技術。改變編碼參數可導致不同的預測樣本，并且因此導致不同的所得的經編碼圖像數據。因此，在一些情況下，改變編碼參數可影響編碼效率(例如，編碼圖像數據的大小和/或編碼吞吐量)、解碼效率(例如，解碼吞吐量)和/或當對應的經解碼圖像數據用于顯示圖像時期望產生的視頻質量。

發明內容

下面闡述本文所公開的某些實施方案的概要。應當理解，呈現這些方面僅僅是為了向讀者提供這些特定實施方案的簡明概要，并且這些方面并非旨在限制本公開的范圍。實際上，本公開可涵蓋下面可沒有闡述的多個方面。

本公開整體涉及例如通過提高編碼效率、解碼效率和/或當經解碼圖像數據用于在電子顯示器上顯示圖像(例如，圖像幀)時所感知到的視頻質量，來改進視頻編碼和/或視頻解碼。為了便于減少資源使用，可對圖像數據進行編碼(例如，壓縮)以減小大小。例如，視頻編碼流水線可至少部分地基于預測技術諸如幀間預測技術和/或幀內預測技術來對源圖像數據進行編碼。

為了預測編碼源圖像數據，可通過至少部分地基于編碼參數的操作來確定指示對源圖像數據的預測的預測樣本(例如，預測因子)。基于該預測樣本，可確定預測殘差，該預測殘差指示預測樣本和源圖像數據之間的差值。預測殘差與被實現以確定該預測殘差的編碼參數一起被轉碼為經編碼圖像數據。