[發明專利]利用跨模態文本邊信息的感知圖像壓縮方法及終端

在審

• 申請號: 202310949225.0
• 申請日: 2023-07-31
• 公開（公告）號: CN116668716A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 陳斌;秦詩雨;黃鈺鈞
• 申請（專利權）人: 哈爾濱工業大學（深圳）（哈爾濱工業大學深圳科技創新研究院）
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N19/91;G06F40/30;G06F18/25
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 陳專

1.一種利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，包括：

獲取目標圖像的量化采樣信號，并通過圖像編碼器及量化器獲得量化后的壓縮特征；

通過文本編碼器提取輸入文本的文本向量和詞特征，得到文本特征；

通過生成器重構所述量化后的壓縮特征，并通過所述生成器中的空間語義感知模塊對圖像解碼過程進行文本增強處理，得到重構圖像；

通過判別器提取所述重構圖像的特征，并對所述文本特征進行空間復制，將復制后的文本特征與所述重構圖像的特征進行融合，得到判別結果。

2.根據權利要求1所述的利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，所述獲取目標圖像的量化采樣信號，并通過圖像編碼器及量化器獲得量化后的壓縮特征，包括：

通過非線性編碼器獲取所述目標圖像，并對所述目標圖像進行分離采樣處理，得到采樣信號；

根據可學習量化方式將所述采樣信號轉換為所述量化采樣信號；

將所述量化采樣信號以算術編碼器進行熵編碼，得到所述量化采樣信號的比特流；

將所述比特流上傳到服務器。

3.根據權利要求1所述的利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，所述通過文本編碼器提取輸入文本的文本向量和詞特征，包括：

將文本信息輸入到文本編碼器中；

通過所述文本編碼器中的雙向長短期記憶網絡提取得到所述文本向量和所述詞特征。

4.根據權利要求1所述的利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，通過生成器重構所述量化后的壓縮特征，并通過所述生成器中的空間語義感知模塊對圖像解碼過程進行文本增強處理，包括：

接收所述量化采樣信號的比特流；

將所述量化采樣信號的比特流輸入所述生成器中；

采用算術解碼器對所述量化采樣信號的比特流進行熵解碼，得到熵解碼后的量化采樣信號；

將所述熵解碼后的量化采樣信號輸入到所述生成器，并將所述文本向量輸入到所述生成器的空間語義感知模塊中，得到解碼重構特征；

將所述解碼重構特征經過掩碼預測器得到預測掩碼，以像素級的文本信息增強重建的圖像；

對所述熵解碼后的量化采樣信號進行逐層解碼，得到所述重構圖像。

5.根據權利要求1所述的利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，所述通過判別器提取所述重構圖像的特征，并對所述文本特征進行空間復制，將復制后的文本特征與所述重構圖像的特征進行融合，包括：

將所述重構圖像輸入所述判別器，通過所述判別器中的特征提取器提取得到圖像特征；

對所述文本特征進行空間復制，將所述復制后的文本特征與提取的圖像特征進行空間融合，得到交叉熵損失。

6.根據權利要求1所述的利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，所述通過判別器提取所述重構圖像的特征，并對所述文本特征進行空間復制，將復制后的文本特征與所述重構圖像的特征進行融合，之后包括：

根據所述重構圖像得到用于評價圖像重構失真和感知質量的損失；

根據所述損失和比特流，得到率失真優化目標；

根據所述率失真優化目標和生成對抗損失得到所述生成器的優化目標；

根據所述判別器交叉熵損失得到所述判別器的優化目標；

通過所述生成器的優化目標和所述判別器的優化目標，訓練邊跨模態文本邊信息輔助的深度壓縮模型。

7.根據權利要求6所述的利用跨模態文本邊信息的感知圖像壓縮方法，其特征在于，所述生成器優化目標為：

；

定義和作為壓縮后的碼率，分別由和計算得到；

其中，由的熵模型給出；

失真損失由多尺度結構相似性和學習感知圖像塊相似度組成：

；

生成器損失由深度注意多模態相似性模型（DAMSM）損失和生成對抗損失組成：

，；

、、、和均為超參數，表示圖像由生成器生成，滿足相應概率分布。