[發明專利]一種用于視頻圖像處理的卷積神經網絡加速方法

在審

• 申請號: 201910131936.0
• 申請日: 2019-02-22
• 公開（公告）號: CN109919051A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 黃禹堯;熊璐;鄧振文;張培志;曾德全;嚴森煒
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 葉敏華

1.一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，包括以下步驟：

S1：將用于視頻圖像處理的整個卷積神經網絡分為用以編碼視覺特征的第一階段和用以解碼特征獲取輸出的第二階段，第一階段包括但不限于兩個具有相同輸入、計算量不同的子網絡，將計算量較小的子網絡作為快路徑，將計算量較大的子網絡作為慢路徑；

S2：令兩條路徑異步執行，并對快、慢路徑通過卷積神經網絡進行視頻處理的特征圖進行更新；

S3：通過融合方式將快、慢兩條路徑輸出的特征圖進行融合，將融合的輸出作為第二階段的輸入；

S4：根據最終目標問題設計第二階段模型，組成完整的網絡模型，并對模型進行訓練和部署。

2.根據權利要求1所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，第一階段中各部分網絡于融合的輸入信息還包括額外的輸入信息。

3.根據權利要求2所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，額外的輸入信息包括快、慢路徑的兩幀輸入圖像。

4.根據權利要求1所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，第一階段中快路徑通過卷積神經網絡進行視頻處理的輸入包括快路徑當前幀圖像。

5.根據權利要求1所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，第一階段中快路徑通過卷積神經網絡進行視頻處理的輸入包括快路徑當前幀圖像及慢路徑對應幀的輸入圖像。

6.根據權利要求1所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，所述的融合方式包括拼接方式、求和方式、全連接方式。

7.根據權利要求1所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，步驟S2中，對快、慢路徑進行視頻處理的特征圖進行更新的具體內容包括：

頻率更新：令兩條路徑異步執行，使快路徑的更新頻率高于慢路徑的更新頻率；

速度更新：將快、慢路徑之間的速度比率設為整數倍。

8.根據權利要求5所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，步驟S3中，融合方式包括以下步驟：

201)計算快、慢兩路徑的輸入幀之間的光流信息；

202)通過光流信息計算出兩幀間的幾何變換；

203)對慢路徑應用幾何變換，獲取特征層；

204)將慢路徑的特征層與快路徑的特征層相連接，獲取融合結果。

9.根據權利要求8所述的一種用于視頻圖像處理的卷積神經網絡加速方法，其特征在于，步驟S4)中，對模型進行訓練的具體內容包括：

1)訓練慢路徑，在慢路徑后設計替代模型，并對替代模型進行預訓練，訓練完成后，丟棄替代模型部分的參數；

2)采用帶有連續幀的視頻數據作為快路徑的輸入數據，采用臨近幀的視頻組成圖像作為慢路徑的輸入數據，真值以輸入快路徑的幀對應的真值為準，構造聯合訓練數據集；

3)根據最終目標問題設計第二階段模型，組成完整的網絡結構，確定慢路徑中的參數，進行遷移學習訓練。