[發明專利]一種多視角視頻自適應乘積Grassmann流形子空間聚類方法

有效

• 申請號: 201810080614.3
• 申請日: 2018-01-28
• 公開（公告）號: CN108171279B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 胡永利;寧佩馨;孫艷豐;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種多視角視頻自適應乘積Grassmann流形子空間聚類方法，本方法主要針對多視角視頻序列聚類存在的上述問題，以期在較大規模的視頻序列數據庫上獲得良好的聚類效果。首先，針對視頻序列數據，提出并實現能夠反映數據時空特征的PGM表示方法。其次，在PGM上建立自表示模型，并有效地融合不同視角之間的一致性和差異性信息。最后，解決自適應調節模型參數的問題，使之適用于實際場景中不同類型的數據。本發明所提出的方法在此數據庫上具有比較好的實驗結果。

技術領域

本發明是一種機器學習的子空間聚類方法，特別適用于多視角視頻序列的聚類問題。

背景技術

聚類分析是數據分析的重要方法之一，其中，子空間聚類假設數據空間由一組子空間的并組成，而相同類別的數據可以被同一子空間的數據所表示。現有子空間聚類方法主要分為四類：迭代聚類方法、代數聚類方法、統計聚類方法和譜聚類方法，這些方法在許多實際問題上都得到了廣泛的應用，并取得了良好的實驗效果。對于譜聚類方法，稀疏和低秩子空間聚類方法能夠較好地處理樣本中存在的噪聲和離群點，因此近年來成為了計算機視覺、信號處理、模式識別等領域的研究熱點和主流方法。

低秩表示方法(Low Rank Representation，LRR)認為存在一個字典，使得樣本在該字典上的表示具有低秩特性。由于字典學習的代價非常高，因此有研究者提出了使用樣本自身作為字典，形成了自表示的LRR模型。利用低秩表示系數構建相似度矩陣，并基于相似度矩陣可利用常用的譜聚類方法完成聚類。

現實世界存在大量未標注的無序的視頻序列，針對這些高維非結構化的數據，基于歐氏距離度量樣本之間相似性的聚類方法已不再適用。流形學習理論證明了許多高維數據都存在潛在的低維流形結構，其中Grassmann流形因其良好的表示性能受到了廣泛的關注。傳統利用正交子空間構建Grassmann流形表示的方法，將每個視頻序列作為圖像集，并向量化得到原始數據矩陣，然后對原始矩陣進行奇異值分解(Singular ValueDecomposition，SVD)，提取前p個左奇異向量得到Grassmann點。考慮到高維視頻序列內在的非線性結構，相關研究嘗試將流形表示與低秩表示模型結合，提出了Grassmann流形上低秩表示(Grassmann LRR，GLRR)方法。在該方法中，為了解決歐氏空間的度量不能直接應用在流形空間上，因此采用了一種基于對稱矩陣映射的嵌入策略，將流形上的點嵌入到歐氏空間中，從而利用歐氏空間的度量實現流形空間的度量。

在實際應用中，許多數據可以通過不同的視角觀測或者不同的特征描述(如：灰度特征，深度特征，HOG特征等)，每個視角或每個特征都可以作為一個視圖，這些數據通常被稱為多視角數據，這些數據包含了不同視角之間的一致性和差異性信息。對于多視角視頻序列，可以采用不同的流形分別表示其采樣數據，將復雜數據表示為乘積Grassmann流形(Product Grassmann manifold，PGM)，為了實現乘積Grassmann流形上的度量，通常可以利用多流形距離加權和的形式并得到PGM上的LRR(Product Grassmann LRR，PGLRR)模型。

GLRR和PGLRR方法在一些常見的數據庫上取得了良好的聚類效果，證明了多視角數據流形表示與LRR模型結合的可行性。但這只是一些初步的探索，關于多視角視頻序列的流形表示和模型建立，還存在許多需要解決的問題，主要包括：

1、視頻序列的流形表示問題。上述的正交子空間表示方法通常針對靜態和簡單的矢量數據，這種做法沒有考慮視頻圖像幀的時間連續性，從而使聚類效果不夠理想。適當的流形表示應被用于保持數據的非線性結構，避免破壞視頻序列中的時空信息。

2、相似度矩陣的構建問題。現有的多視角聚類工作大多傾向于對多視角數據各個視圖之間的系數矩陣進行一致性約束，學習一個共同的表示，而忽視了不同視角的差異性和互補性。為了構造一個理想的相似度矩陣，有效地融合多視角數據的一致性和差異性是至關重要的。