[發明專利]一種深度圖像/視頻壓縮網絡的訓練方法

有效

• 申請號: 202110357098.6
• 申請日: 2021-04-01
• 公開（公告）號: CN113079377B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 陳志波;郭宗昱
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N19/172
• 分類號: H04N19/172;H04N19/124;H04N19/147;H04N19/42;H04N19/44;H04N19/91;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種深度圖像/視頻壓縮網絡的訓練方法，其特征在于，包括：

第一個階段中，輸入的圖像x通過變換編碼網絡g_a產生隱層變量y，隱層變量y經過熵編碼網絡h_a產生邊際碼流z，加上加性均值噪聲U后變為帶噪邊際碼流再經過噪聲產生分支h_sq恢復出覆蓋整個隱層空間的量化步長Δ，通過量化步長Δ采樣獲得均值噪聲U_Δ生成再通過變換解碼網絡g_s恢復出解碼圖像同時，采用包含上下文模型g_cm的熵估計模塊和熵解碼模塊h_s結合帶噪邊際碼流來估計隱層變量的分布，進而在訓練時計算隱層變量的碼率；此階段將得到訓練好的變換編碼網絡g_a、熵編碼網絡h_a與噪聲產生分支h_sq；

第二階段中，固定變換編碼網絡g_a、熵編碼網絡h_a與噪聲產生分支h_sq，將加性均值噪聲U替換為硬量化的方式，采用硬量化的方式得到帶噪邊際碼流以及采用硬量化的方式得到離散的量化結果再輸入至變換解碼網絡g_s，第二階段訓練對象為包含上下文模型g_cm的熵估計模塊和熵解碼模塊h_s、以及變換解碼網絡g_s；

第二階段中，通過熵編碼網絡h_a輸出的邊際碼流z，采用硬量化的方式得到帶噪邊際碼流并由噪聲產生分支輸出形狀與隱層變量y相同的量化步長Δ′用以量化隱層變量y，再采用硬量化的方式產生離散的量化結果輸入至變換解碼網絡g_s恢復出解碼圖像同時，采用包含上下文模型g_cm的熵估計模塊和熵解碼模塊h_s結合帶噪邊際碼流來估計隱層變量的分布，進而在訓練時計算的碼率。

2.根據權利要求1所述的一種深度圖像/視頻壓縮網絡的訓練方法，其特征在于，所述噪聲產生分支由三層卷積層和一個指數激活層依次連接構成，用以保證網絡輸出的量化步長數值上是正數。

3.根據權利要求1所述的一種深度圖像/視頻壓縮網絡的訓練方法，其特征在于，第一個階段中，通過得到的量化步長Δ，在區間[-Δ/2,Δ/2]采樣獲得均值噪聲U_Δ，加到隱層變量y上，生成

4.根據權利要求1所述的一種深度圖像/視頻壓縮網絡的訓練方法，其特征在于，第二階段中，采用硬量化的方式產生離散的量化結果的公式為：

其中，round表示四舍五入。

5.根據權利要求1所述的一種深度圖像/視頻壓縮網絡的訓練方法，其特征在于，所述輸入的圖像x為單獨的一幅圖像，或者視頻中的單幀圖像。