[發明專利]一種基于光流特征融合的視頻語義分割方法

有效

• 申請號: 202010401842.3
• 申請日: 2020-05-13
• 公開（公告）號: CN111652081B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 周世杰;王蒲;程紅蓉;劉啟和;廖永建;潘鴻韜
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V20/40;G06V20/56;G06V10/26;G06V10/62;G06V10/44;G06V10/74;G06V10/80;G06V10/82
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 錢成岑

1.一種基于光流特征融合的視頻語義分割方法，其特征在于，包括如下步驟：

步驟1，判定視頻序列的當前視頻幀圖像為關鍵幀圖像或非關鍵幀圖像；若為關鍵幀圖像，則執行步驟2，若為非關鍵幀圖像，則執行步驟3；

步驟2，提取當前視頻幀圖像的融合位置依賴信息和通道依賴信息的高層語義特征圖；

步驟3，通過計算光流場得到當前視頻幀圖像的高層語義特征圖；

步驟4，對步驟2和步驟3得到的高層語義特征圖進行上采樣，得到語義分割圖；

步驟2包括如下步驟：

步驟2.1，采用第二深層卷積網絡提取關鍵幀圖像的高層語義特征圖；

步驟2.2，將步驟2.1得到的高層語義特征圖送入位置注意力模塊，得到融合位置依賴信息的高層語義特征圖；

步驟2.3，將步驟2.1得到的高層語義特征圖送入通道注意力模塊，得到融合通道依賴信息的高層語義特征圖；

步驟2.4，對步驟2.2和步驟2.3的結果采用對位相乘的方式進行融合，得到融合位置依賴信息和通道依賴信息的高層語義特征圖；

步驟2.2包括如下子步驟：

步驟2.2.1，將三份由步驟2.1中得到的高層語義特征圖進行1*1卷積，得到高層語義特征圖A、B、C，其中A、B、C的大小均為K*H*W；

步驟2.2.2，將A進行reshape并ranspose得到A′，大小為N*K且N＝H*W，將B、C分別reshape得到B′、C′，大小為K*N且N＝H*W；

步驟2.2.3，將步驟2.2.2得到的A′與B′相乘并做歸一化處理，得到位置注意力特征圖S，S的大小為K*K；

步驟2.2.4，將C′與位置注意力特征圖相乘S，得到位置注意力特征圖D₁；

步驟2.2.5，將位置注意力特征圖D與通過第二深度卷積網絡得到的高層語義特征圖進行融合，得到融合位置依賴信息的高層語義特征圖E；表示為：

E＝αD₁+feat_key_i

其中，α表示融合位置依賴信息的權重系數；feat_key_i表示通過第二深度卷積網絡得到的高層語義特征圖；

步驟2.3包括如下子步驟：

步驟2.3.1，將一份由步驟2.1中得到的高層語義特征圖，進行reshape并transpose得到A″，大小為N*K且N＝H*W；將兩份由步驟2.1中得到的高層語義特征圖進行reshape得到B″、C″，大小為K*N且N＝H*W；

步驟2.3.2，將步驟2.3.1得到的A″與B″相乘并做歸一化處理，得到通道注意力特征圖X；

步驟2.3.3，將C″與通道注意力特征圖X相乘，得到通道注意力特征圖D₂；

步驟2.3.4，將通道注意力特征圖D₂與通過第二深度卷積網絡得到的高層語義特征圖進行融合，得到融合通道依賴信息的高層語義特征圖F；表示為：

F＝βD₂+feat_key_i

其中，β表示融合通道依賴信息的權重系數；feat_key_i表示通過第二深度卷積網絡得到的高層語義特征圖；

所述第二深層卷積網絡的結構由多個卷積層和池化層交替組成。

2.根據權利要求1所述的基于光流特征融合的視頻語義分割方法，其特征在于，步驟1包括如下子步驟：

步驟1.1，從視頻序列中選取第一個視頻幀圖像作為第一個關鍵幀圖像；

步驟1.2，采用第一深度卷積網絡計算當前視頻幀圖像和關鍵幀圖像之間的相似度expect score；

步驟1.3，將步驟1.2得到的相似度expect score與設定的相似度閾值target進行比較：

當expect score＞target時，則當前視頻幀圖像判定為非關鍵幀圖像；

當expect score＜target時，則當前視頻幀圖像判定為關鍵幀圖像，并將該判定為關鍵幀圖像的當前視頻幀圖像作為新的關鍵幀圖像，用于判定視頻序列中的后續視頻幀圖像是否為關鍵幀圖像。

3.根據權利要求2所述的基于光流特征融合的視頻語義分割方法，其特征在于，步驟1.2中的所述第一深度卷積網絡的結構包括依次連接的一個卷積層和三個全連接層。