[發明專利]一種基于視覺-語義特征的視頻中行為識別方法和系統

在審

• 申請號: 201810379626.6
• 申請日: 2018-04-25
• 公開（公告）號: CN108647591A
• 公開（公告）日: 2018-10-12
• 發明（設計）人: 李方敏;尤天宇;劉新華;曠海蘭;張韜;欒悉道;陽超
• 申請（專利權）人: 長沙學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

本發明公開了一種基于視覺?語義特征的視頻中行為識別方法，其首先利用三維卷積神經網絡提取短期時空視覺特征，避免了使用光流或密集軌跡法帶來的高計算復雜度；然后利用基于卷積神經網絡的物體檢測器提取人和物體的語義和空間位置信息，構造人?物體空間位置特征并與時空視覺特征進行特征融合，利用額外的語義信息提高視頻中交互行為的識別準確率；最后，在提取的具有通用性的短期時空視覺特征的基礎上，通過循環神經網絡提取特異性的長期行為特征提高行為識別準確率。本發明能夠解決現有針對視頻的行為識別方法中存在的計算復雜度高、行為識別準確率低、以及無法提取貫穿整個視頻時間維度的長期行為特征的技術問題。

技術領域

本發明計算機視覺技術領域，更具體地，涉及一種基于視覺-語義特征的視頻中行為識別方法和系統。

背景技術

針對視頻數據類型的行為識別問題已經成為計算機視覺領域的一個熱門研究領域。目前針對視頻中的行為識別，主要有3種方法：光流法、循環神經網絡法、以及三維卷積神經網絡法。

針對光流法而言，其行為識別的準確率較高，但是因為光流法的計算復雜度高，所以其無法實現計算的實時性；循環神經網絡的輸入數據主要包括兩種：一是使用卷積神經網絡提取的單幀圖像的特征，這一特征缺少時間域關聯信息，導致方法的識別準確率低；二是光流或密集軌跡信息，其與光流法一樣，會導致方法的計算復雜度高；對于三維卷積神經網絡而言，其輸入數據是固定長度的圖像序列片段，因此該方法只能夠提取通用性的短期時空視覺特征，而不能提取貫穿整個視頻時間維度的長期行為特征。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于視覺-語義特征的視頻中行為識別方法和系統，其目的在于，解決現有針對視頻的行為識別方法中存在的計算復雜度高、行為識別準確率低、以及無法提取貫穿整個視頻時間維度的長期行為特征的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于視覺-語義特征的視頻中行為識別方法，包括以下步驟：

(1)從數據集獲取圖像序列，對該圖像序列進行降采樣處理，以得到降采樣后的圖像序列V＝{v_t},t∈0,1,…,T-1，并將降采樣后的圖像序列進行切片，以得到N個具有固定長度的圖像序列片段，其中T表示圖像序列的長度，N表示圖像序列片段的數量。

(2)對N個具有固定長度的圖像序列片段中的每幅圖像進行縮放和裁剪處理，并將N個圖像序列片段輸入三維卷積神經網絡中，以得到N個時空視覺特征向量。

(3)將步驟(1)中得到的每個圖像序列片段中選取一幅圖像，對該圖像進行縮放和裁剪處理，將縮放并裁剪后的圖像輸入到物體檢測器中，以得到物體種類的可信度和位置偏移量，并根據物體種類的可信度和位置偏移量構造人-物體空間位置特征向量。

(4)將步驟(2)中得到的時空視覺特征向量與步驟(3)中得到的人-物體空間位置特征向量進行特征融合。

(5)將步驟(4)特征融合后的特征向量輸入循環神經網絡，以得到長期行為特征。

(6)利用Softmax分類器對步驟(5)得到的長期行為特征進行分類，以生成對應于每一種行為種類的分類概率。

優選地，將圖像序列進行切片具體是采用以下公式：

其中T_c是圖像序列片段的幀步長，δ是圖像序列片段中圖像序列的幀長度，n∈0,1,…N-1，且有T_c＝8,δ＝16。

優選地，使用的三維卷積神經網絡是C3D網絡，使用的物理檢測器是分辨率為300×300的單發多盒檢測器。