[發明專利]一種多視角視頻自適應乘積Grassmann流形子空間聚類方法

有效

• 申請號: 201810080614.3
• 申請日: 2018-01-28
• 公開（公告）號: CN108171279B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 胡永利;寧佩馨;孫艷豐;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種多視角視頻自適應乘積Grassmann流形子空間聚類方法，其特征在于：

首先，針對視頻序列數據，提出并實現能夠反映數據時空特征的PGM表示方法；其次，在PGM上建立自表示模型，并有效地融合不同視角之間的一致性和差異性信息；最后，解決自適應調節模型參數的問題，使之適用于實際場景中不同類型的數據；

S1.視頻序列的PGM表示

采用線性動態系統LDS構建視頻序列的Grassmann流形；LDS是一個平穩的二階高斯隨機過程，假設存在一個具有F幀的視頻序列序列的每一幀圖像都是LDS的輸出，其中，d是每幀圖像的特征維度，表示該圖像數據具有d維特征；則LDS模型有如下形式：

其中，是t時刻的隱藏狀態，p為系統的階數(p≤F)；是投影矩陣，表示隱藏狀態s(t)到LDS輸出y(t)的映射過程；是狀態轉換矩陣，表示隱藏狀態s(t)到s(t+1)的轉換過程；和分別是測量高斯噪聲和過程高斯噪聲；為了求解LDS模型，將給定的圖像幀矩陣Y做SVD分解，得到：

Y＝{y(1)，y(2)，…，y(F)}＝UΣV^T， (2)

在上式(2)中，U是左奇異矩陣，V是右奇異矩陣，∑是對角矩陣，對角矩陣的對角線元素是奇異值；LDS的參數進一步被估計為：

C＝U，S＝ΣV^T， (3)

在式(3)中，S＝[s(1)，s(2)，…，s(F)]是被估計的系統的狀態矩陣；獲得狀態序列之后，矩陣R通過最小二乘法求解得到：

其中，表示矩陣的偽逆；LDS的投影矩陣C構造了視頻圖像的表面特征，狀態轉換矩陣R反映了序列的時間動態；因此，對于一個視頻序列，使用數組(R，C)能夠描述數據的時空特性；

對于N個多視角視頻序列樣本每個樣本都有M個不同的視角，即：

其中表示第i個樣本第m個視角的數據；采用LDS的方法對每個構建Grassmann流形，通過式(2)-式(4)估計其模型參數和采用擴展矩陣構建Grassmann流形上的點，即

其中，d_m、p_m和L_m分別是第m個視角的特征維度、系統維度和截斷參數；每個樣本在PGM上的點被表示為：

S2.自適應一致性和差異性約束的PGM上的自表示模型

對于PGM上的點構建PGM上的自表示模型，同時加入了不同視角之間的一致性和差異性約束：

其中，和分別是一致性和差異性約束；λ₁、λ₂和λ₃是平衡參數；(·)_×4是張量的模-4乘積；表示PGM上的度量；E是樣本的重構誤差；Z是樣本的系數表示矩陣；是一個四階張量，基于對稱矩陣映射的嵌入策略，每個被表示為：

根據Grassmann的嵌入距離，得到關于式(6)的PGM上的度量形式：

其中，||·||_F表示矩陣的F范數；是第m個視角系數表示矩陣Z^m的第i，j個元素；考慮到不同的視角具有不同的判別能力，為每個視角m設置了一個權值式(7)被改寫為一個權重的重構誤差：

由于權重對聚類效果的影響很大，且調節多個參數是十分困難的，因此提出了學習的自適應機制：

為了保護數據內在的局部流形結構，引入自表示稀疏的局部相似性約束：

其中，a_i是相似度矩陣的第i列數據；式(10)的條件約束s.t.中的1是一個所有元素均為1的列向量；a_ij表示第i個和第j個數據點的相似度與它們表示和的相似度在所有視角的一致性；進一步對相似度矩陣A進行正則化約束得到：

其中，λ′₂是一個平衡參數；拉普拉斯矩陣L_A＝D_A-A；對角塊矩陣D_A的對角元素為Z^m是第m個視角樣本的表示矩陣；再利用如下自適應權重的一致性約束，構建了一個更有判別力的相似度矩陣A：

在式(12)中，λ′₂和一致性約束的參數被自適應權重吸收和替換了，進而得到一個更加直觀的形式：

其中，被定義為：

對于多視角聚類任務，只考慮所有視角的一致性約束是不充分的，不同視角之間的互補性信息也應該被利用；為此，采用施密特-希爾伯特獨立準則HSIC來描述不同視角之間的差異性，對于不同視角的表示系數，一種經驗版本的HSIC被估計為：

DH(Z^m，Z^v)＝(N-1)^-2tr(K^mHK^vH)， (15)

其中，K^m，K^v分別是Z^m，Z^v的核矩陣；H＝I-(1/ n)ee^T，I是單位矩陣，e表示元素值全為1的列向量；為了更好地利用不同視角之間的差異互補性信息，定義一個可以自動更新權重的自適應差異性約束，記作：

其中，表示Z^m和Z^v之間的差異程度；被定義為：

將上述式(8)、式(13)和式(16)結合起來，即可得到最終的目標函數：

S3.PGM上的子空間聚類方法

在獲得相似度矩陣A的基礎上，通過(A+A^T)/2構建一個對稱的相似度矩陣，然后將其作為輸入，利用NCut或K-means聚類方法實現聚類；

S4.AWMSCPGM模型的優化求解

根據增廣拉格朗日乘子法結合交替方向最小化策略對式(18)進行優化求解；為了方便計算，首先對式(18)化簡，令：

則有從而，M個N×N的對稱矩陣被定義為：

Δ^m是一個半正定矩陣，對Δ^m進行譜分解得到Δ^m＝U^m∑^m(U^m)^T，其中，(U^m)^TU^m＝I；是一個對角線元素為非負特征值的對角矩陣；通過以上分析，式(18)的重構誤差項被改寫為：

為簡便計算，忽略式(15)中的比例因子(N-1)^-2，同時使用內積核K^m＝(Z^m)^TZ^m表示Z^m的核矩陣；故式(18)中的差異性約束被重寫為：

其中，

最后，引入輔助變量J^m，且令J^m＝Z^m，將式(18)的增廣拉格朗日函數定義為：

其中，F^m是拉格朗日乘子，μ＞0是一個懲罰參數；式(22)通過一種交替迭代的方式求解：

1)固定其他變量更新Z^m；

將式(23)關于Z^m的導數設置為零，得到如下形式的封閉解：

2)固定其他變量更新J^m；

類似于更新Z^m，對每個J^m求導并令其偏導方程為零，得到變量J^m的優化解：

3)固定其他變量更新A；

將(27)式分解為關于A的列向量的一系列獨立子問題：

上式中，d_i∈R^N的第j個元素被記作：

其中，表示J^m的第i列數據；變量A第i列封閉形式的解為：

其中，(·)₊確保了括號中所有的元素都是正值，參數k控制了樣本最近鄰的數量，表示d_i按照升序排列后所得向量中的元素；

4)更新和

根據式(9)、式(14)和式(17)，分別更新權重和

5)更新F^m和μ；

其中，ρ是更新的步長；反復重復以上1)-5)五個步驟，直到達到收斂條件f(l)是第l次迭代目標函數的值。