[發明專利]人類行為識別的標簽和交互關系聯合學習方法

有效

• 申請號: 201710593912.8
• 申請日: 2017-07-20
• 公開（公告）號: CN107491735B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 王振華;金佳麗;劉盛;張劍華;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種用于人類行為識別的標簽和交互關系聯合學習方法，包括以下步驟：1)，使用CNN特征、HOG特征、HOF特征及人與人之間的距離、頭部朝向等信息構造能量函數，包含一元能量項、二元能量項、交互能量項和正則化項；2)使用大間隔結構化學習訓練所有模型參數；3)標簽和交互關系預測，使用交替搜索策略求解復雜推理問題，在迭代中交替優化標簽和交互結構。本發明適用于包含多人、多行為類別的圖像和視頻，能夠同時識別個人行為和人與人之間的交互行為。

技術領域

本發明屬于計算機視覺中的行為識別領域，涉及一種人類的行為識別方法。該發明在識別個人行為的同時判斷人之間的交互。

背景技術

識別圖像或視頻中的人類行為在計算機視覺中是一個基本的問題，這在許多應用如運動視頻分析，監控系統和視頻檢索中至關重要。最近的工作中，深度學習明顯提高了行為識別的性能。然而，這些工作不適用于處理包含多人互動的數據。首先，他們專注于分給每個圖像一個行為標簽，這不適用于包含多個行為類別的圖像。第二，他們忽視了人之間的相互關系為識別復雜的人類活動像握手，戰斗和足球比賽等提供了重要的語境信息。

為了表示人之間的交互，大多數CRF模型使用預定義的圖形結構，通常使用領域知識或啟發式方法來確定其結構，例如，人之間的距離，但是其對數據變化和成像條件的變化不敏感。使用這樣的圖通常導致不良的識別性能。更好的策略是從數據中學習CRF圖。然而，人類交互結構通常是多樣化的，這使得傳統的圖學習方法無效。Lan等提出通過潛在的結構化SVM來聯合估計個人行為和交互，其中交互被視為隱含變量，這導致非凸的訓練問題。

發明內容

為了克服已有的人類行為識別方式無法適用于多個行為類別的圖像、無法識別交互行為的不足，以及交互作為隱含變量導致非凸的訓練問題的缺點，本發明提供了一種人類行為識別的標簽和交互關系聯合學習方法，適用于包含多個行為類別的圖像，能夠在不使用隱含變量的情況下共同學習互動和個人行為的全新的訓練框架，并提出了一種有效解決相應推理問題的算法。

本發明解決其技術問題所采用的技術方案是：

一種用于人類行為識別的聯合標簽交互學習的方法，所述方法包括以下步驟：

1)構造能量函數

令G＝(V，E)表示圖，其中節點集V表示所有人的個人行為，邊集E表示他們的交互信息，例如，e_ij∈E表示人i和人j之間有交互，而邊e_st的缺失則表示人s與人t之間沒有交互。I表示一張圖像，是人i的個人行為標簽，a＝[a_i]_{i＝1，…，n}是包含n個人的個人行為標簽的向量；

給定一個新的輸入I，目標是通過解決以下的問題(1)來預測個人行為標簽a和交互信息G；

其中

其中是一個指示函數，如果a_i＝s,它的值為1，反之則為0；當e_ij＝z時指示函數的值為1，反之則為0；同樣地，當a_i＝s且a_j＝t時，指示函數為1，反之為0；

2)訓練模型的參數

訓練樣本集G^k＝(V^k，E^k)，邊集E^k表示在第k張訓練樣本的圖片中，人之間的真實的交互信息，e^k是E^k的向量形式，使用下面的最大邊距式公式來訓練所有的模型參數w＝[w^u，w^c，w^τ，w^r，ω^s]：