[發(fā)明專利]一種基于語義區(qū)域測度學(xué)習(xí)的行人再識別方法

有效

• 申請?zhí)枺?/td>: 201710841964.2
• 申請日: 2017-09-18
• 公開（公告）號: CN107563344B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 張重;黃美艷;劉爽
• 申請（專利權(quán)）人: 天津師范大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京中政聯(lián)科專利代理事務(wù)所(普通合伙) 11489
• 代理人: 陳超

1.一種基于語義區(qū)域測度學(xué)習(xí)的行人再識別方法，其特征在于，所述方法包括：

步驟S1，將行人再識別兩個視角下的每幅訓(xùn)練圖像劃分為K個子區(qū)域并為每個子區(qū)域提取特征；

步驟S2，基于兩個視角下兩幅訓(xùn)練圖像不同子區(qū)域之間的關(guān)系得到三種子區(qū)域?qū)︻愋停鋈N子區(qū)域?qū)︻愋桶悆?nèi)子區(qū)域?qū)Α⑷躅悆?nèi)子區(qū)域?qū)皖愅庾訁^(qū)域?qū)Γ?/p>

步驟S3，基于每個子區(qū)域的特征向量和映射矩陣M計算得到三種子區(qū)域?qū)μ卣飨蛄恐g的差異，并將其作為三類子區(qū)域樣本并賦予三類子區(qū)域樣本對應(yīng)的標(biāo)簽；

步驟S4，基于三類子區(qū)域樣本及對應(yīng)的標(biāo)簽，學(xué)習(xí)映射矩陣M并利用優(yōu)化算法求解映射矩陣M；

步驟S5，利用映射矩陣M，計算不同視角下兩幅行人圖像子區(qū)域?qū)χg的距離；

步驟S6，基于子區(qū)域間的距離，為每個子區(qū)域在與之對應(yīng)的子區(qū)域和與之對應(yīng)的子區(qū)域的鄰近子區(qū)域中尋找最佳匹配子區(qū)域，將每個子區(qū)域與其最佳匹配子區(qū)域之間的距離作為該子區(qū)域的最佳相似度得分；

步驟S7，將兩個視角下兩幅行人圖像所有子區(qū)域的最佳相似度得分之和作為兩幅行人圖像的相似度得分；

步驟S8，在測試階段，根據(jù)步驟S1-S7求得兩個視角下任意兩幅測試圖像的相似度得分，相似度得分最高的兩幅測試圖像被認(rèn)為是相似行人圖像對，據(jù)此得到測試圖像的行人再識別結(jié)果；

所述步驟S2包括以下步驟：

步驟S21，將不同視角的同一行人的兩幅訓(xùn)練圖像的對應(yīng)子區(qū)域定義為類內(nèi)子區(qū)域?qū)Γ?/p>

步驟S22，將不同視角的同一行人的兩幅訓(xùn)練圖像的上下鄰近m個非對應(yīng)子區(qū)域定義為弱類內(nèi)子區(qū)域?qū)Γ?/p>

步驟S23，將不同視角的不同行人的兩幅訓(xùn)練圖像的對應(yīng)子區(qū)域和非對應(yīng)子區(qū)域定義為類外子區(qū)域?qū)Γ?/p>

所述步驟S3包括以下步驟：

步驟S31，計算類內(nèi)子區(qū)域?qū)Φ奶卣飨蛄吭谟成淇臻g上的差異，并將其作為正子區(qū)域樣本，其中，類內(nèi)子區(qū)域?qū)Φ奶卣飨蛄吭谟成淇臻g上的差異ΔI表示為：

其中，和表示任一類內(nèi)子區(qū)域?qū)Φ奶卣飨蛄浚琈為映射矩陣，k用于表示K個子區(qū)域中的第k個子區(qū)域，1≤k≤K；

步驟S32，計算弱類內(nèi)子區(qū)域?qū)μ卣飨蛄吭谟成淇臻g上的差異，并將其作為弱正子區(qū)域樣本，其中，弱類內(nèi)子區(qū)域?qū)μ卣飨蛄吭谟成淇臻g上的差異ΔW表示為：

其中，和表示任一弱類內(nèi)子區(qū)域?qū)Φ奶卣飨蛄浚?/p>

步驟S33，計算類外子區(qū)域?qū)μ卣飨蛄吭谟成淇臻g上的差異，并將其作為負(fù)子區(qū)域樣本，其中，類外子區(qū)域?qū)μ卣飨蛄吭谟成淇臻g上的差異ΔE表示為：

其中，和表示任一類外子區(qū)域?qū)Φ奶卣飨蛄浚?/p>

所述步驟S4包括以下步驟：

步驟S41，確定最大化互信息目標(biāo)函數(shù)Φ(M)；

步驟S42，基于所述最大化互信息目標(biāo)函數(shù)Φ(M)，利用貪婪軸旋轉(zhuǎn)法得到映射矩陣M；

所述步驟S41包括以下步驟：

步驟S411，確定最大化互信息目標(biāo)函數(shù)Φ(M)，所述最大化互信息目標(biāo)函數(shù)Φ(M)表示為：

其中，I(﹒)是互信息，表示兩個隨機(jī)變量的依賴程度；v_k是一個集合，v_k∈{ΔI,ΔE}，l_v∈{1,-1}；e_k也是一個集合，e_k∈{ΔW,ΔE}，l_e∈{2,-1}；ε為平衡兩種互信息的系數(shù)；

步驟S412,根據(jù)熵的鏈?zhǔn)椒▌t，將所述最大化互信息目標(biāo)函數(shù)公式Φ(M)的第一項I(v_k；l_v)表示為：

其中，H(v_k)即H(ΔI,ΔE)表示正子區(qū)域樣本ΔI和負(fù)子區(qū)域樣本ΔE的聯(lián)合熵，H(v_k|l_v)表示所有正、負(fù)子區(qū)域樣本的條件熵，P(l_v＝1)H(ΔI)表示正子區(qū)域樣本ΔI的邊緣熵，P(l_v＝-1)H(ΔE)表示負(fù)子區(qū)域樣本ΔE的邊緣熵；

步驟S413，假設(shè)正、負(fù)子區(qū)域樣本服從高斯分布，利用正、負(fù)子區(qū)域樣本估計H(v_k)表示為：

其中，r表示子區(qū)域的特征向量投射在映射空間的維數(shù)，det表示求取矩陣的行列式，表示所有正、負(fù)子區(qū)域樣本的協(xié)方差矩陣；

步驟S414，根據(jù)對H(v_k)的估計，互信息I(v_k；l_v)可由正、負(fù)子區(qū)域樣本協(xié)方差的行列式表示為：

其中，和分別表示正、負(fù)子區(qū)域樣本的協(xié)方差矩陣，μ₁和ρ分別表示正、負(fù)子區(qū)域樣本的先驗概率；

步驟S415，類似的，將所述最大化互信息目標(biāo)函數(shù)Φ(M)的第二項I(e_k；l_e)表示為：

其中，Σ_le表示所有弱正子區(qū)域樣本和負(fù)子區(qū)域樣本的協(xié)方差矩陣，表示弱正子區(qū)域樣本的協(xié)方差矩陣，μ₂表示弱正子區(qū)域樣本的先驗概率；

步驟S416，將最大化互信息目標(biāo)函數(shù)Φ(M)表示為：

所述步驟S42包括以下步驟：

步驟S421，在t-1次迭代時，用M(t-1)估計M(t)，找到一個矩陣Y(t)∈SO(d)，其中，SO(d)是d維特殊正交群，使得在第t次迭代時M(t)表示為：

M(t)＝Y(jié)(t)M(t-1)，

其中，矩陣Y(t)用于尋找映射矩陣M優(yōu)化迭代時的旋轉(zhuǎn)方向；

步驟S422，根據(jù)李代數(shù)(Lie algebra)，將映射矩陣M的最佳旋轉(zhuǎn)方向表示為：

其中，2≤p≤d,p+1≤q≤d,β是步長，γ是搜索最優(yōu)旋轉(zhuǎn)方向的步數(shù)，B_p,q是一個只有第p行第q列的元素為1，其它元素均為0的矩陣，B_q,p是一個只有第q行第p列的元素為1，其它元素均為0的矩陣，ΔΦ_p,q＝[Φ(Y_p,qM(t-1))-Φ(M(t-1))]/α，α是一個很小的正數(shù)，Y_p,q＝exp(α(B_p,q-B_q,p))；

步驟S423，迭代找到滿足下式的最優(yōu)步數(shù)γ^*：

將矩陣Y(t)表示為：

得到第t次迭代時的M(t)，即映射矩陣M：

M(t)＝Y(jié)(t)M(t-1)。