[發(fā)明專利]使用機器學(xué)習(xí)的圖像和視頻壓縮中的改進熵代碼化

在審

• 申請?zhí)枺?/td>: 201980087947.1
• 申請日: 2019-10-31
• 公開（公告）號: CN113287306A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計）人: 亞歷山大·博科夫;蘇輝
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: H04N19/11
• 分類號: H04N19/11;H04N19/13;H04N19/14;H04N19/157;H04N19/176;H04N19/194;H04N19/593
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種用于從比特流中解碼編碼的視頻塊的方法，所述方法包括：

從所述比特流中得出表示所述編碼的視頻塊的語法元素；

確定所述語法元素的概率分布；

從自所述比特流中解碼的視頻數(shù)據(jù)中提取特征集；

使用機器學(xué)習(xí)處理所述概率分布和所述特征集以產(chǎn)生精細的概率分布；

根據(jù)所述精細的概率分布對所述語法元素進行熵解碼以產(chǎn)生量化的變換系數(shù)；

對所述量化的變換系數(shù)進行去量化以產(chǎn)生變換系數(shù)；

對所述變換系數(shù)進行逆變換以產(chǎn)生預(yù)測殘差；

重構(gòu)所述預(yù)測殘差以產(chǎn)生解碼的視頻塊；以及

將所述解碼的視頻塊輸出到輸出視頻流。

2.根據(jù)權(quán)利要求1所述的方法，其中，從根據(jù)所述精細的概率分布對所述語法元素進行熵解碼所產(chǎn)生的壓縮吞吐量比從根據(jù)所述概率分布對所述語法元素進行熵解碼所產(chǎn)生的壓縮吞吐量大。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，從自所述比特流中解碼的視頻數(shù)據(jù)中提取所述特征集包括：

基于以下中的一個或多個來識別所述特征集：與所述編碼的視頻塊相關(guān)聯(lián)的視頻數(shù)據(jù)、與所述編碼的視頻塊的一個或多個鄰近塊相關(guān)聯(lián)的視頻數(shù)據(jù)或用于對所述一個或多個鄰近塊進行解碼的代碼化模式。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述特征集與沿著一個或多個不同方向的所述編碼的視頻塊的像素值中的差異相對應(yīng)，并且使用機器學(xué)習(xí)處理所述概率分布和所述特征集以產(chǎn)生所述精細的概率分布包括：

基于所述像素值中的差異的所述一個或多個不同方向來計算歸一化的定向梯度直方圖；和

通過基于所述歸一化的定向梯度直方圖來更新所述概率分布來產(chǎn)生所述精細的概率分布。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述特征集與用于對所述一個或多個鄰近塊進行解碼的幀內(nèi)預(yù)測模式相對應(yīng)，并且使用機器學(xué)習(xí)來處理所述概率分布和所述特征集以產(chǎn)生所述精細的概率分布包括：

基于所述幀內(nèi)預(yù)測模式的方向來確定所述語法元素的預(yù)測方向的概率；和

通過基于所述預(yù)測方向的所述概率來更新所述概率分布來產(chǎn)生所述精細的概率分布。

6.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中，所述概率分布是基于存儲在概率表中的值來確定的，所述方法進一步包括：

根據(jù)所述語法元素的所述概率分布來更新存儲在所述概率表中的值。

7.根據(jù)權(quán)利要求1至5中的任一項所述的方法，其中，所述機器學(xué)習(xí)使用神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)被訓(xùn)練以最小化所述語法元素與所述精細的概率分布之間的交叉熵損失。

8.一種用于從比特流中解碼編碼的視頻塊的裝置，所述裝置包括：

處理器，所述處理器被配置成：

確定表示所述編碼的視頻塊的語法元素的概率分布，所述語法元素從所述比特流中得出；

基于以下中的一個或多個來識別特征集：與所述編碼的視頻塊相關(guān)聯(lián)的視頻數(shù)據(jù)、與所述編碼的視頻塊的一個或多個鄰近塊相關(guān)聯(lián)的視頻數(shù)據(jù)或用于對所述一個或多個鄰近塊進行解碼的代碼化模式；

使用機器學(xué)習(xí)處理所述概率分布和所述特征集以產(chǎn)生精細的概率分布；

根據(jù)所述精細的概率分布對所述語法元素進行熵解碼，以產(chǎn)生量化的變換系數(shù)；

進一步對所述量化的變換系數(shù)進行解碼以產(chǎn)生解碼的視頻塊；以及

將所述解碼的視頻塊輸出到輸出視頻流。

9.根據(jù)權(quán)利要求8所述的裝置，其中，從根據(jù)所述精細的概率分布對所述語法元素進行熵解碼所產(chǎn)生的壓縮吞吐量比從根據(jù)所述概率分布對所述語法元素進行熵解碼所產(chǎn)生的壓縮吞吐量大。