[發(fā)明專利]一種智能快速幀間編碼方法

有效

• 申請?zhí)枺?/td>: 202110518364.9
• 申請日: 2021-05-12
• 公開（公告）號: CN113225552B
• 公開（公告）日: 2022-04-29
• 發(fā)明（設計）人: 張佩涵;潘兆慶;彭勃;靳登朝;雷建軍
• 申請（專利權）人: 天津大學
• 主分類號: H04N19/109
• 分類號: H04N19/109;H04N19/70;G06K9/62;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發(fā)明公開了一種智能快速幀間編碼方法，所述方法包括：將編碼單元的劃分視作二分類問題，設計了一種多信息融合卷積神經(jīng)網(wǎng)絡模型作為分類器，實現(xiàn)編碼單元劃分提前終止；以編碼單元的紋理信息和運動信息作為分類器的輸入，分別經(jīng)過非對稱卷積核特征提取模塊獲取輸入的特征；再使用基于注意力的特征融合模塊得到融合的特征，最終使用分類模塊根據(jù)融合特征獲取分類結果；通過考慮編碼單元的運動信息以及多信息融合網(wǎng)絡輸出的置信度作為條件，實現(xiàn)Merge模式早期決策。本發(fā)明盡可能在壓縮視頻質量不變的條件下縮短幀間編碼時間，借助深度學習的特征提取與分析能力，通過充分利用空域、時域及運動場信息，有效降低幀間編碼復雜度。

技術領域

本發(fā)明涉及深度學習、視頻編碼領域，尤其涉及一種智能快速幀間編碼方法。

背景技術

視頻是信息傳播的重要載體。近年來，隨著互聯(lián)網(wǎng)和多媒體技術飛速發(fā)展，硬件設備性能的不斷提升，高清、超高清以及全景視頻的應用場景愈發(fā)廣泛。然而，這些數(shù)據(jù)量更大的視頻為存儲和傳輸帶來極大的挑戰(zhàn)。

視頻壓縮編碼技術有助于解決龐大的視頻數(shù)據(jù)量與有限的傳輸帶寬之間的矛盾。通過高效的視頻壓縮編碼技術，可以去除視頻中存在的冗余信息，降低視頻對高傳輸帶寬的需求。然而，視頻編碼過程計算復雜度高，成為制約視頻壓縮編碼技術在實時場景應用中的瓶頸。

為了盡可能降低編碼視頻需要的時間，新一代視頻編碼標準已經(jīng)集成了一些低復雜度編碼工具。隨著人工智能的發(fā)展，深度學習技術在計算機視覺等領域取得了顯著成就，這為視頻低復雜度編碼提供了新的研究思路。Tang等人提出了一種基于深度學習的形狀自適應快速幀內編碼單元劃分決策方法，利用可變大小的池化層處理不同尺寸的編碼單元。Tissier等人提出了一種基于深度學習的幀內編碼塊邊界決策算法，通過神經(jīng)網(wǎng)絡預測64*64編碼單元內所有4*4塊的邊界存在劃分邊緣的概率值，從而根據(jù)概率值跳過不太可能的劃分模式。

現(xiàn)有方法主要關注于利用編碼單元的紋理信息降低幀內編碼復雜度，并沒有考慮幀間的時域相關性，因此這些方法并不適合用于降低幀間編碼復雜度。目前未見工作研究基于深度學習的低復雜度幀間編碼方法。

發(fā)明內容

本發(fā)明提供了一種智能快速幀間編碼方法，本發(fā)明盡可能在壓縮視頻質量不變的條件下縮短幀間編碼時間，借助深度學習的特征提取與分析能力，通過充分利用空域、時域及運動場信息，有效降低幀間編碼復雜度，詳見下文描述：

一種智能快速幀間編碼方法，所述方法包括：

將編碼單元的劃分視作二分類問題，設計了一種多信息融合卷積神經(jīng)網(wǎng)絡模型作為分類器，實現(xiàn)編碼單元劃分提前終止；

以編碼單元的紋理信息和運動信息作為分類器的輸入，分別經(jīng)過非對稱卷積核特征提取模塊獲取輸入的特征；

再使用基于注意力的特征融合模塊得到融合的特征，最終使用分類模塊根據(jù)融合特征獲取分類結果；

通過考慮編碼單元的運動信息以及多信息融合網(wǎng)絡輸出的置信度作為條件，實現(xiàn)Merge模式早期決策。

其中，所述非對稱卷積核特征提取模塊對于不同尺寸的編碼單元具有不同的結構。

進一步地，所述基于注意力的特征融合模塊具體為：使用卷積融合三種特征，得到F_Fusion＝Conv(concat(F_{F_Luma},F_{F_Residual},F_{F_MotionField}))；

使用殘差注意力單元選出更有效的特征，即F_Effect＝Φ(F_Fusion)，Φ表示殘差注意力單元；

最終再通過卷積降低特征圖通道數(shù)，得到F′_Effect，便于后續(xù)分類模塊得到預測結果。

進一步地，所述Merge模式早期決策具體為：