[發明專利]一種基于步態序列視頻的人物輪廓特征提取方法

有效

• 申請號: 202110795727.3
• 申請日: 2021-07-14
• 公開（公告）號: CN113673537B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 陳志;周松穎;岳文靜
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/46;G06V10/80;G06V10/82;G06V20/40;G06V40/20
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 葉連生

1.一種基于步態序列視頻的人物輪廓特征提取方法，其特征在于，包括以下步驟：

步驟1)輸入一個視頻，所述視頻為單人行走視頻，逐幀提取視頻中的單人輪廓圖像；

步驟2)當每幀單人輪廓圖像提取出來后，對單人步態周期進行提取，提取一個周期內的單人輪廓圖像；

步驟3)對步驟2)獲取到的一個周期內單人輪廓圖像進行預處理操作，該操作包括水平對齊和尺寸歸一化；

步驟4)計算步態能量圖G(x,y)，公式如下：其中B_t(x,y)是預處理后的單人輪廓圖像，M是一個完整人物輪廓圖像周期中的總幀數，t指圖像幀數即時間，x和y是步態輪廓序列中橫縱坐標的值；

步驟5)利用sobel算子提取步驟4)所述步態能量圖的水平特征z_h以及垂直特征z_v，并將這兩個特征輸入到Inception雙流模型中，以獲取人物輪廓的共性特征z_t；

步驟6)基于步驟3)中預處理后的單人輪廓圖像輪廓樣本以及步驟5)獲得的輪廓共性特征z_t，設計具有K個子分支的候選模塊，其中每個子分支為每個輪廓類別學習一組顯著性特征，總共有K個類別；引入softmax注意力機制和候選loss來獲取具有判別性的輪廓顯著特征表示；

步驟7)當獲取到輪廓的顯著性特征表示后，采用特征向量相加這種模式來獲取人物輪廓特征，融合后的特征表示為

2.根據權利要求1所述的基于步態序列視頻的人物輪廓特征提取方法，其特征在于：所述步驟2)中提取一個周期內的單人輪廓圖像包括以下步驟：

步驟21)計算每幀單人輪廓圖像的非零像素點個數；

步驟22)當人物腿部第一次重疊時，此時非零像素點個數最少，記下此時的時間t_s；

步驟23)當人物開始行走，左腳懸空并再次落在地面上時，非零像素點個數逐漸增加；

步驟24)當左腳接觸地面，右腳懸空向前移動并再次落在地面上時，發生第二次重疊，非零像素點個數先減少后增加；

步驟25)當右腳接觸地面，左腳懸空向前移動時，發生第三次重疊，記下此時的時間t_f；

步驟26)令M為一個步態周期，M＝t_f-t_s。

3.根據權利要求1所述的基于步態序列視頻的人物輪廓特征提取方法，其特征在于：步驟3)所述水平對齊是指將獲取到的一個周期內單人輪廓上半部分相對于其水平質心居中；所述尺寸歸一化是指將一個周期內的所有輪廓圖像調整到同一比例。

4.根據權利要求1所述的基于步態序列視頻的人物輪廓特征提取方法，其特征在于：所述步驟5)包括以下步驟：

步驟51)在Inception模型中分別給每一個3*3和5*5的卷積層之前，加上1*1的卷積層，并設置第一層和第二層的過濾器數量為6和16；

步驟52)將學習后的水平特征以及垂直特征這兩個特征向量連接，由此獲取輪廓共性特征z_t。

5.根據權利要求1所述的基于步態序列視頻的人物輪廓特征提取方法，其特征在于：所述步驟6)包括以下步驟：

步驟61)將輪廓共性特征z_t與設計好的K個子分支相連接，利用softmax激活后，每個輪廓顯著性特征的注意權重為：a_k＝softmax_k(z_t)，其中a_k是和z_t有相同維度的向量，且k≤K；

步驟62)當獲取到每個輪廓顯著性特征注意權重后，利用公式能夠獲得每個輪廓顯著性特征；

步驟63)除了引入注意力機制外，輪廓的顯著性特征還受到候選loss的約束，該約束是根據候選模塊中K個特定表達式的檢測損失得出的平均值；

步驟64)將每個輪廓顯著性特征檢測器與特征向量對齊，其中輪廓顯著性特征檢測器包含兩個全連接層，并以sigmoid層作為輸出，因此，每個子分支通過優化以下檢測損失來訓練，公式如下：

其中表示取真值，表示第i個樣本為第k個類別的可能性，N是訓練的總樣本，允許網絡為每個輪廓生成特定的特征表達，θ表示實際情況下的輪廓圖像；

步驟65)對于每個子候選模塊中生成的loss，由于候選模塊中包含K個子分支，相應的loss定義為K個檢測損失的平均值，公式如下：

步驟66)通過對候選的loss以及注意力機制的抑制，候選模塊獲得具有顯著判別性的輪廓特征表示