[發明專利]具有基于邊信息的視頻編譯的混合運動補償神經網絡

在審

• 申請號: 201980015244.8
• 申請日: 2019-11-04
• 公開（公告）號: CN111801945A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 德巴爾加·慕克吉;烏爾旺·喬希;陳悅;薩拉·帕克
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N19/503
• 分類號: H04N19/503;H04N19/593;H04N19/61;G06N3/00;G06N3/08;G06T9/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種用于對視頻流進行編譯的混合裝置，包括：

第一編碼器，所述第一編碼器包括具有至少一個隱藏層的神經網絡，其中，所述神經網絡被配置成：

在所述至少一個隱藏層中的第一隱藏層處從所述視頻流接收源數據；

在所述第一隱藏層處接收與所述源數據相關的邊信息；

使用所述源數據和所述邊信息來生成引導信息；并且

輸出所述引導信息和所述邊信息以供解碼器重構所述源數據。

2.根據權利要求1所述的混合裝置，進一步包括：

第二編碼器，所述第二編碼器被配置成使用所述源數據來生成所述邊信息以用于輸入到所述第一編碼器。

3.根據權利要求2所述的混合裝置，其中：

所述第二編碼器包括第二解碼器，并且

所述邊信息包括來自所述第二解碼器的解碼源數據。

4.根據權利要求1至3中的任一項所述的混合裝置，其中：

所述第一編碼器包括第一解碼器，所述第一解碼器被配置成重構所述源數據以形成重構源數據，并且

所述神經網絡被訓練以使所述源數據與所述重構源數據之間的速率失真值最小化。

5.根據權利要求1至4中的任一項所述的混合裝置，其中：

所述第一編碼器包括第一解碼器，并且

所述神經網絡包括多個隱藏層，至少所述多個隱藏層中的所述第一隱藏層形成所述第一編碼器，并且至少所述多個隱藏層中的第二隱藏層形成所述第一解碼器，并且所述第一解碼器被配置成接收所述引導信息和所述邊信息以用于重構所述源數據。

6.根據權利要求5所述的混合裝置，其中：

所述第一編碼器的每個隱藏層被構造成傳遞通過所述邊信息，使得所述第一解碼器的第一層接收所述邊信息。

7.根據權利要求1至6中的任一項所述的混合裝置，其中，所述第一編碼器包括第一解碼器，所述混合裝置進一步包括：

確定性變換，所述確定性變換被配置成在將所述邊信息提供給所述第一編碼器和所述第一解碼器之前對所述邊信息進行變換。

8.根據權利要求1至7中的任一項所述的混合裝置，其中：

所述邊信息包括使用運動預測生成的全分辨率預測信號。

9.根據權利要求8所述的混合裝置，其中：

所述神經網絡被訓練以選擇用于所述全分辨率預測信號內的塊殘差的變換以使速率失真值最小化。

10.根據權利要求1至9中的任一項所述的混合裝置，進一步包括：

第二編碼器，所述第二編碼器被配置成使用所述源數據來生成所述邊信息以用于輸入到所述第一編碼器，其中，所述第二編碼器包括基于塊的編碼器。

11.根據權利要求1至10中的任一項所述的混合裝置，其中：

所述邊信息包括降低分辨率的基礎層的每幀降低分辨率重構。

12.根據權利要求11所述的混合裝置，其中：

所述神經網絡被配置成使用所述每幀降低分辨率重構來生成高分辨率層。

13.根據權利要求12所述的混合裝置，進一步包括：

第二編碼器，所述第二編碼器被配置成使用所述源數據來生成所述邊信息以用于輸入到所述第一編碼器，其中，所述第二編碼器包括基于塊的編碼器；和

參考幀緩沖器，所述參考幀緩沖器用于存儲從所述神經網絡輸出的全分辨率參考幀以供在預測后續幀時使用。