[發明專利]一種融合視覺關系的行人與隨身敏感物品跟蹤方法

有效

• 申請號: 202010121414.5
• 申請日: 2020-02-26
• 公開（公告）號: CN111325279B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 柯逍;黃新恩
• 申請（專利權）人: 福州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06Q50/26
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種融合視覺關系的行人與隨身敏感物品跟蹤方法，其特征在于，首先根據可變形卷積的RetinaNet目標檢測模型進行敏感物品檢測，接著利用融合多特征的視覺關系檢測模型進行敏感物視覺關系檢測，最后利用Deep Sort多目標跟蹤算法實現對視覺關系的跟蹤；

步驟S1：構建安防敏感物品圖像集；

步驟S2：對步驟S1得到的圖像集進行數據增強，得到數據增強后的圖像集，采用數據增強后的圖像集重復步驟S3-步驟S4，對Retinanet目標檢測模型與視覺關系檢測模型進行訓練，在實際預測時，利用訓練好的兩個模型進行步驟S2-步驟S5；

步驟S3：利用結合可變形卷積的Retinanet目標檢測模型進行敏感物品檢測；

步驟S4：使用融合多特征的視覺關系檢測模型進行敏感物品的視覺關系檢測；

步驟S5：進行基于Deep Sort的多敏感物品視覺關系跟蹤；

步驟S4中所述融合多特征的視覺關系檢測模型包括空間位置特模塊、詞嵌入模塊、局部視覺外觀特征模塊、全局上下文信息模塊以及特征融合層；步驟S4具體包括以下步驟：

步驟S41：令P表示所有被標注的人與物體對的集合，每對物體(s,o)∈P中，s表示主語，o表示賓語；P(s,o)表示物體對(s,o)的所有視覺關系集合，即謂語集合，R＝(s,p,o)|(s,o)∈P∧p∈P(s,o)表示一張圖像中關于敏感物品的全部視覺關系組合，其中p為謂語；

步驟S42：對于步驟S3檢測到的所有敏感物品，在空間位置特征模塊中計算彼此的相對空間位置特征，其中，空間位置特征的計算方式為：

式中，x、y、w、h分別表示物體對應檢測框的左上角橫坐標、左上角縱坐標、對應邊界框的寬、高，下標s和o分別表示主語s以及賓語o；

步驟S43：在詞嵌入特征模塊中利用word2vec詞嵌入模型分別將主語s和謂語o的物體類別表示為一個向量，然后將兩個向量連接在一起，經過一個全連接層，得到對應的語義嵌入特征，該語義嵌入特征代表主語s與謂語o的語義先驗信息；

步驟S44：將敏感物品圖像送入可變性卷積的Retinanet目標檢測模型的Resnet-50殘差網絡提取整張圖像對應的特征圖即全局特征圖，作為全局上下文信息；

步驟S45：在局部視覺外觀特征模塊中，對于一個關系實例(s,p,o)，利用ROI Pooling操作分別截取對應關系實例中三元素所在區域對應的局部視覺特征，其中謂詞p的視覺特征即為主語s和賓語o聯合區域的特征，提取關系實例的三元素對應區域的視覺特征后直接將之拼接在一起，即得到每個敏感物品的局部視覺外觀特征；

步驟S46：將步驟S42得到的空間位置特征、步驟S43得到的語義嵌入特征、步驟S44得到的全局特征圖以及步驟S45得到的每個敏感物品的局部視覺外觀特征送入視覺關系檢測模型的特征融合層中，該特征融合層由全連接層組成，其中，4個全連接層用于改變空間位置特征、語義嵌入特征、全局特征以及局部視覺外觀特征的維度，再將以上4個全連接層的輸出進行拼接，送入兩個全連接層中輸出謂詞、以及關系實例的置信度，并剔除置信度低于預設值的關系實例；

步驟S5具體包括以下步驟：

步驟S51：當獲取視頻前一幀敏感物品圖像檢測輸出的敏感物品檢測框信息后，利用卡爾曼濾波對敏感物品進行軌跡預測，得到對應的預測框，以獲取下一幀圖像中相應目標的預測位置和大?。?/p>

步驟S52：計算當前檢測框與預測框之間的馬氏距離M；

步驟S53：計算當前檢測框與預測框之間的表現特征的余弦距離cosθ，并使用最小余弦距離表示不同特征向量間的相似度；

步驟S54：計算馬氏距離M與余弦距離cosθ的加權融合值Z；

步驟S55：利用匈牙利算法實現預測框的匹配，通過匈牙利匹配判斷圖像與上一幀是否關聯，同時對該圖像 進行卡爾曼濾波預測；當圖像與上一幀關聯時，判斷敏感物品對應的視覺關系是否發生改變，若改變，則發出警報。