[發明專利]基于集合的跨視角步態識別方法

有效

• 申請號: 201811255446.3
• 申請日: 2018-10-26
• 公開（公告）號: CN109583298B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 巢漢青;張軍平
• 申請（專利權）人: 復旦大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06N3/0464
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于集合的跨視角步態識別方法，其特征在于，模型具體訓練步驟為：

(1)從整個訓練集中隨機選取p個人，再從這p個人的訓練樣本中每人隨機選出k個視頻序列，組成p×k大小的一批數據；

(2)對于一批數據中的每個視頻序列，隨機抽取n幀，并對每幀提取輪廓圖，進行剪裁、對齊預處理后組成用于輸入的集合：

χ＝{x₁,x₂,x₃,…,x_n}

x_i代表隨機抽取的一幀視頻圖像預處理之后的輪廓圖，x表示一個用于訓練的輪廓圖集合，n是模型超參數；

(3)對于集合中的每一幀輪廓圖x_i，用卷積神經網絡提取其高層語義特征圖v_i；

所述卷積神經網絡共有8層，從輸入到輸出順序為卷積層SC_1，卷積層SC_2，池化層SP_1，卷積層SC_3，卷積層SC_4，池化層SP_2，卷積層SC_5，卷積層SC_6，作為主流水線；

(4)對于特征圖集合V＝{v₁,v₂,v₃,…,v_n}，用集合池化提取整個集合的特征z_l；

(5)對于第(3)步中卷積神經網絡不同層得到的特征圖z，分別用集合池化提取不同層的集合特征并用多級全局流水線融合這些特征得到集合特征z_g；

所述多級全局流水線具體步驟為：

(a)用一個5層卷積神經網絡，從輸入到輸出順序為卷積層GC_1，卷積層GC_2，池化層GP_1，卷積層GC_3，卷積層GC_4；

(b)對主流水線中SP_1，SP_2和SC_6層的結果，用集合池化得到集合特征z_l1,z_l2和z_l；

(c)將z_l1作為GC_1層的輸入，GP_1層的輸出加上z_l2作為GC_3層的輸入；

(d)將GC_4層的輸出加上z_l得到最終輸出z_g；

(6)對于z_l和z_g，用水平金字塔映射得到62個不同尺度下的判別特征：f₁,f₂,f₃,…,f₆₂；

所述水平金字塔映射的輸入為一個3維張量(c×h×w)z，這3維為：特征圖通道、特征圖高、特征圖寬；具體步驟為：

(a)對特征圖z進行多尺度分割，尺度總數為為超參數；

(b)對于一個尺度將特征圖z在特征圖高維上平均分割為2^s份3維張量，總共得到個3維張量f″；

(c)對于每個f″，用下式進行映射：

f＝FC(GAP(f″)+GMP(f″))，

其中,GAP(·)是作用在特征圖高和特征圖寬維的全局平均函數，GAP(·)是作用在特征圖高和特征圖寬維的全局最大函數，FC(·)是一個全連接映射；

(7)根據三元損失的定義，使用一批訓練樣本組成三元組，共可組成pk(pk-k)(k-1)組；

(8)對于每個三元組，用樣本對應的f_i計算出62個損失L_i′，并對他們求和得到一個三元組的損失

(9)對所有非0的三元組損失求平均得到總損失L＝∑_L′＞0L′,用總損失訓練整個網絡。

2.根據權利要求1所述的步態識別方法，其特征在于，模型具體測試步驟為：

(1)輸入一個人的步態幀集合這些幀來源于任意視頻，集合包含任意數量的幀；

(2)-(5)同訓練過程中的步驟(3)-(6)；

(6)拼接62個判別特征，得到判別特征F，用F進行身份識別。

3.根據權利要求1所述的步態識別方法，其特征在于，所述的集合池化的輸入為一個4維張量(n×c×h×w)V，這4維為：集合維、特征圖通道、特征圖高、特征圖寬，其有三種實現方式：

(1)最大池化：在集合維度取最大值，輸出一個3維張量(c×h×w)；

(2)加權融合池化，具體步驟為：

(a)在集合維度分別取最大、平均和中位數得到3個3維張量x_max，x_mean和x_median；

(b)在特征圖通道維拼接3個張量得到一個3×c×h×w的特征圖z′；

(c)對z′，輸入一個1×1卷積最終得到一個c×h×w的特征圖z；

(3)注意力池化，具體步驟為：

(a)在集合維度分別取最大、平均和中位數得到3個3維張量x_max，x_mean和x_median；

(b)復制上述3個3維張量n份并在特征圖通道維和V拼接，得到一n×3c×h×w的張量V′，并輸入一個1×1卷積得到一個n×c×h×w的注意力掩模a；

(c)利用下式計算最終的特征圖z：

z＝∑V×(a+1)，

其中，求和項作用于集合維。