[發明專利]使用深度生成性模型的視頻壓縮

在審

• 申請號: 202080020806.0
• 申請日: 2020-03-23
• 公開（公告）號: CN113574883A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: A·哈比比安;T·J·范羅森達爾;T·S·科恩
• 申請（專利權）人: 高通股份有限公司
• 主分類號: H04N19/13
• 分類號: H04N19/13;G06N3/08;H04N19/20;H04N19/136;H04N19/90;H04N19/186
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 姚丹紅;陳煒

本公開的某些方面涉及用于使用深度生成性模型來壓縮視頻內容的方法和裝置。一種示例方法一般包括：接收供壓縮的視頻內容。所接收的視頻內容一般通過可由第一人工神經網絡實現的編碼器被編碼到隱性碼空間中。經編碼視頻內容的經壓縮版本一般通過可由第二人工神經網絡實現的經訓練概率性模型來生成并輸出以供傳輸。

相關申請的交叉引用

本申請要求于2019年3月21日提交的題為“Video Compression Using DeepGenerative Models(使用深度生成性模型的視頻壓縮)”且被轉讓給本申請受讓人的美國臨時專利申請S/N.62/821,778的權益，該臨時專利申請的內容藉此通過援引全部納入于此。

公開領域

本公開一般涉及人工神經網絡，尤其涉及使用人工神經網絡來壓縮視頻內容。

相關技術描述

可包括一群互連的人工神經元(例如，神經元模型)的人工神經網絡是一種計算設備或者表示由計算設備執行的方法。這些神經網絡可被用于各種應用和/或設備，諸如網際協議(IP)相機、物聯網(IoT)設備、自主交通工具、和/或服務機器人。

人工神經網絡中的個體節點可通過取得輸入數據并對數據執行簡單運算來模仿生物神經元。對輸入數據執行的簡單運算的結果被選擇性地傳遞給其他神經元。權重值與網絡中的每個向量和節點相關聯，并且這些值約束輸入數據如何與輸出數據相關。例如，每個節點的輸入數據可乘以相應的權重值，并且可對乘積求和。這些乘積的總和可通過可任選的偏置進行調整，并且可將激活函數應用于結果，從而產生節點的輸出信號或“輸出激活”。權重值可初始地由訓練數據在網絡中的迭代流動來確定(例如，權重值在訓練階段期間確立，在該階段中網絡學習如何通過各類別的典型輸入數據特性來標識特定類別)。

存在不同類型的人工神經網絡，諸如遞歸神經網絡(RNN)、多層感知器(MLP)神經網絡、卷積神經網絡(CNN)等。RNN的工作原理是保存一層的輸出并將該輸出反饋回到輸入以幫助預測該層的結果。在MLP神經網絡中，數據可被饋送到輸入層中，并且一個或多個隱藏層提供對數據的若干級別的抽象。隨后可基于經抽象數據來對輸出層作出預測。MLP可以特別適合于分類預測問題，其中輸入被指派類或標簽。卷積神經網絡(CNN)是一種前饋人工神經網絡。卷積神經網絡可包括人工神經元的集合，這些人工神經元各自具有感受野(例如，輸入空間的空間局部區域)并且共同地拼出一輸入空間。卷積神經網絡具有眾多應用。具體而言，CNN已被廣泛使用于模式識別和分類領域。

在分層神經網絡架構中，第一層人工神經元的輸出成為第二層人工神經元的輸入，第二層人工神經元的輸出成為第三層人工神經元的輸入，依此類推。可以對卷積神經網絡進行訓練以識別特征階層。卷積神經網絡架構中的計算可分布在處理節點群體上，其可被配置在一個或多個計算鏈中。這些多層架構可每次訓練一層并可使用反向傳播來微調。

概述

本公開的某些方面涉及一種用于壓縮視頻的方法。該方法一般包括：接收供壓縮的視頻內容；通過由第一人工神經網絡實現的編碼器將所接收的視頻內容編碼到隱性碼空間中，該編碼至少部分地基于與所接收的視頻內容有關的信息；通過由第二人工神經網絡實現的概率性模型來生成經編碼視頻內容的經壓縮版本；以及輸出該經編碼視頻內容的該經壓縮版本以供傳輸。

本公開的某些方面涉及一種用于壓縮視頻的系統。該系統包括至少一個處理器、以及耦合到該至少一個處理器的存儲器。該至少一個處理器一般被配置成：接收供壓縮的視頻內容；通過由第一人工神經網絡實現的編碼器將所接收的視頻內容編碼到隱性碼空間中，該編碼至少部分地基于與所接收的視頻內容有關的信息；通過由第二人工神經網絡實現的概率性模型來生成經編碼視頻內容的經壓縮版本；以及輸出該經編碼視頻內容的該經壓縮版本以供傳輸。