[發明專利]用于人類行為識別的深度聯合結構化和結構化學習方法

有效

• 申請號: 201611223815.1
• 申請日: 2016-12-27
• 公開（公告）號: CN106815600B
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 王振華;金佳麗;陳勝勇;劉盛;張劍華
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06K9/00
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種用于人類行為識別的深度聯合結構化和結構化學習的方法，其特征在于：所述方法包括以下步驟：

1)構造聯合結構和結構公式化

假設有一組n個訓練樣本I表示一張圖像，a是圖像中所有人的行為標簽的集合；如果圖像包含m個個體，則a＝[a₁,…,a_m]，矩陣E＝(e_ij)∈{0,1}^m×m是一個嚴格的上三角矩陣，表示圖像中所有個體的相互關系結構；e_ij＝0意味著在人i和人j之間沒有交互，而e_ij＝1指示人i和人j彼此交互；

為了預測a和E，最大化下面的潛在函數：

這里w＝[w₀,w₁,w₂]^T是訓練期間要學習的模型參數，函數φ(·),μ(·)和ψ(·)用于計算三種類型的聯合特征，φ給出了圖像和行為標簽的聯合特征；μ計算所述圖像和所述交互標簽e的聯合特征；ψ輸出圖像和兩個個體的行為標簽a的聯合特征表示；

2)特征表示

使用空間網絡從圖像中的人體區域提取深層卷積神經網絡CNN特征，將空間網絡的fc6層的輸出作為深度特征，使用梯度直方圖HOG和光流直方圖特征HOF來進一步增強特征表示；CNN，HOG和HOF特征被連接以表示圖像中的個人行為或交互關系，使用這種特征為每個數據集訓練兩個線性支持向量機分類器，一個用于分類個人行為，另一個用于分類交互關系，使用組合特征來計算公式(1)中的聯合特征，為此，計算

這里d_α,d_∈是用訓練好的SVM分類器分類包含個人行為和交互關系得到的決策值表示的向量，并且所有運算符表示基于向量的元素計算；

s_α(a)表示一個人的行為為a的判別分數，s_∈(e)表示兩個人有交互的判別分值或不在交互的分值，公式(1)中的聯合特征由下式定義：

φ(I,a)＝1_α(a)·S_α(a) (4)

μ(I,e)＝1_∈(e)·S_∈(e) (5)

ψ(I,a_i,a_j)＝1_τ(a_i,a_j,p_i,p_j,r_ij） (6)

這里1_α(a)∈{0,1}^a是指示符向量，在位置a時取值1，其他位置取0的，同樣，1_∈(e)在位置e取1，在別處取0，1_τ(·)在索引位置a_i,a_j,p_i,p_j,r_ij時取1，其中p_i,p_j表示人i和人j的姿勢，r_ij表示人j與人i的相對位置；為了計算r_ij，將圍繞人j的區域劃分為六個子區域，并且每個子區域被分配一個相對位置，r_ij是包圍邊界框i的中心的子區域的ID；

3)訓練模型的參數

給定n個訓練樣本，使用max-margin-style公式進行訓練：

這里ξ表示松弛變量，C是確定增加模型復雜性和減少對訓練數據的不正確預測之間的權衡的常數；標簽成本，即不正確預測的懲罰由下式給出：

其中δ(·)是指示功能，如果測試條件為真則給出1，否則輸出0；

4)訓練和預測中的相關推理

在訓練的每次迭代期間，針對每個訓練示例解決以下損失增強推理：

由于潛在函數F的表達，成本項Δ被吸收到公式(1)中的兩個一元項中，因此，問題(10)與優化是同質的：

2.如權利要求1所述的用于人類行為識別的深度聯合結構化和結構化學習的方法，其特征在于：所述步驟4)中，交替搜索標簽空間和結構空間，在每次迭代期間，算法依次執行以下兩個步驟：

4.1)固定結構并通過循環信任傳播解決剩余問題，以找到的解；

4.2)固定標簽并解決剩余的整數線性規劃ILP問題(11)，找到的解；

其中a^*表示在第一步驟中發現的解，向(11)中添加兩種類型的約束，這導致另外兩個ILP問題：

其中||Z||₀是Z的L₀范數；

(11)，(12)，(13)分別是沒有約束的，最大邊數約束和節點度約束的ILP問題，分別用ILP-NoC，ILP-MNE和ILP-NDC表示；

對于每對(i,j)_{i,j∈{1,…,m},i＜j}，考慮輸出

如果V₀>V₁，設置e_ij＝0，否則把(i,j)放到候選隊列中；接下來，根據候選的V₁值以降序對數組進行排序，然后從頭到尾訪問這個數組，對于當前對(s,t)，如果在ILP-NDC中沒有違反約束，設置e_st＝1；否則設置e_st＝0。