[發明專利]一種基于神經網絡的圖像編解碼方法、裝置、存儲介質及終端

有效

• 申請號: 202110287649.6
• 申請日: 2021-03-17
• 公開（公告）號: CN113225554B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 賈川民;馬思偉;葛子卿;王苫社
• 申請（專利權）人: 北京大學
• 主分類號: H04N19/119
• 分類號: H04N19/119;H04N19/124;G06T9/00
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 李小朋

本發明公開了一種基于神經網絡的圖像編解碼方法、裝置、存儲介質及終端，該方法包括：獲取并預處理待編碼的目標圖像，生成多個子塊；將多個子塊輸入編碼子網絡中，生成特征圖；初始化預先設定的拉格朗日因子集合；接收輸入的目標碼率，并基于目標碼率從拉格朗日因子集合中確定出目標拉格朗日因子；將特征圖與目標拉格朗日因子輸入自適應量化子網絡中，生成監督量化后的特征圖；將監督量化后的特征圖輸入高斯編碼器中熵編碼后生成目標碼流，并將目標碼率發送至解碼端。因此，采用本申請實施例，可以拓寬單模型的碼率范圍，實現單模型可控碼率圖像編解碼，從而極大程度上減小了硬件負載程度。

技術領域

本發明屬于數字信號處理領域，用于圖像壓縮算法。特別涉及一種基于神經網絡的圖像編解碼方法、裝置、存儲介質及終端。

背景技術

圖像編碼主要包括幀內預測、幀間預測、變換、量化、熵編碼、環路濾波幾個部分。基于全神經網絡的圖像壓縮技術是近年來的研究趨勢。然而，當前多數深度學習圖像壓縮方法都存在不足：一個深度網絡模型只能對應一個固定的碼率，要實現可變碼率編碼需要訓練多個不同碼率的模型。這樣大大增加了模型參數量和硬件負載壓力。

在現有技術中，量化是視頻編解碼領域中的核心技術之一，其思想是通過將連續信號間隔采樣來減少編碼成本，但是量化會帶來一定的失真。同時，量化是現有技術中常用的實現可變碼率編碼的技術。然而在深度學習視頻編碼中，理論證明了不同量化步長的效果是相同的，因此無法簡單通過修改量化因子來實現單模型可變碼率編碼，從而極大程度上增加了編碼時硬件負載程度。

因此，如何找到一種有效的方法，實現在單模型中可變碼率編碼為亟待解決的問題。

發明內容

本申請實施例提供了一種基于神經網絡的圖像編解碼方法、裝置、存儲介質及終端。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

第一方面，本申請實施例提供了一種基于神經網絡的圖像編碼方法，應用于編碼端，神經網絡包括編碼子網絡、自適應量化子網絡，方法包括：

獲取并預處理待編碼的目標圖像，生成多個子塊；

將多個子塊輸入編碼子網絡中，生成特征圖；

初始化預先設定的拉格朗日因子集合；

接收輸入的目標碼率，并基于目標碼率從拉格朗日因子集合中確定出目標拉格朗日因子；

將特征圖與目標拉格朗日因子輸入自適應量化子網絡中，生成監督量化后的特征圖；

將監督量化后的特征圖輸入高斯編碼器中熵編碼后生成目標碼流，并將目標碼率發送至解碼端。

可選的，獲取并預處理待編碼的目標圖像，生成特征圖，包括：

獲取待編碼的目標圖像；

將待編碼的目標圖像切分為N1乘以N2的多個子塊；其中，N1與N2為子塊的長與寬；

從目標圖像中獲取切分后剩余部分像素，并將剩余部分像素以0補全至長寬均為64的倍數。

可選的，將多個子塊輸入編碼子網絡中，生成特征圖，包括：

確定目標卷積參數；

將目標卷積參數與編碼子網絡中的卷積核進行映射關聯，生成關聯參數的卷積核；

將多個子塊逐一與關聯參數的卷積核進行相乘，生成每個子塊所對應的特征圖。

可選的，基于目標碼率從拉格朗日因子集合中確定出目標拉格朗日因子，包括：

初始化質量損失計算函數與拉格朗日因子計算函數；