[發明專利]一種基于深度參數學習的最大相關主成分分析方法

有效

• 申請號: 201810441389.1
• 申請日: 2018-05-10
• 公開（公告）號: CN108734206B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 孫艷豐;陳浩然;胡永利
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

本發明公開了一種基于深度參數學習的最大相關主成分分析方法，其針對具有非線性結構的高維數據能夠有效地降維。這種基于深度參數學習的最大相關主成分分析方法，利用深度參數化的方法逼近未知但存在的非線性函數，把具有非線性結構的高維數據映射為具有線性結構的同維度數據，然后利用主成分分析對數據降維。

技術領域

本發明屬于數據處理，尤其是人臉數據庫的數據降維的技術領域，具體地涉及一種基于深度參數學習的最大相關主成分分析方法。

背景技術

在大數據時代，面臨著越來越多的數據分析和數據處理任務。面對這些任務時，主要存在兩個問題。一是，在現實世界中，通常獲取到的是更高維形式的數據。這些數據一般是把隱藏在低維子空間或者流形的本征低維結構嵌入在高維數據空間。高維度不僅需要更多的存儲空間和計算成本，而且由于維度“詛咒”也增加了數據分析的難度。二是，現實世界的數據很可能被各種各樣的噪聲所破壞，這阻礙了分析數據中真實的信息和存在的相關性。

為了準確、高效地處理這些真實世界的數據，人們總是努力從原始的高維數據中降低數據的維數和提取出重要的特征。其中主成分分析(PCA)是一種標準工具，可以從帶噪聲的或高維數據中提取相關特征信息。通過最小的努力，PCA提供了一種基本的方法來揭示隱藏的或簡化的結構，并將高維數據降到更低的維度。在一些科學研究領域中，PCA有著廣泛的應用，如圖像分析，模式識別和機器學習。然而，PCA只考慮變量(特征)之間的線性相關性，不適用一些具有非線性相關結構的數據，比如瑞士卷數據。由于大多數真實世界數據是非線性，這將限制PCA的應用。

為了解決PCA的這一缺點，許多科研人員致力于研究非線性降維方法。有人提出了核PCA(KPCA)方法，它是在特征空間中改寫傳統的PCA，通過使用核技巧，在一個再生核Hilbert空間中執行傳統的線性算子PCA。事實上，一個大的數據集會導致一個大的核矩陣，而存儲核矩陣可能變得困難。此外，如何選擇合適的核函數完全取決于經驗和列舉。為了解決這個問題，最大方差展開(MVU)嘗試學習一個核矩陣。然而，MVU增加了優化問題的約束，這可能不利于展開數據所在的流形空間。等距特征映射算法(Isomap)也是一種通過在低維流形上或者附近點保持數據兩點間的測地線距離來展開數據的方法。Isomap基于每個數據點鄰域的粗略計算，對估計數據流形的本征幾何提供了一種簡單的方法。然而，Isomap可能在鄰域圖中建立錯誤的連接，如短路。為了克服Isomap的缺點，提出了幾種改進的Isomap方法。它們確實取得了良好的效果，但也縮小了Isomap的應用范圍。

與前面提到的關于全矩陣特征分解的非線性降維方法相比，局部線性嵌入(LLE)也側重于保持數據的局部結構。與Isomap相比，它具有幾個優點，包括在執行稀疏矩陣算法時實現更快的優化，有很多問題可以獲得更好的結果。然而，當大比例的數據在低維空間中保持集中，或者遇到包含洞的流形時，可能會表現較差的性能。另一類降維方法是優化非凸目標函數，如多層自編碼，局部線性調和(LLC)，Sammon映射。多層自編碼是這些方法中應用最廣泛的一種。多層自編碼可以看作是非線性PCA，它使用自適應多層“編碼器”網絡將高維數據轉換為低維代碼，以及類似的“解碼器”網絡，從低維代碼中恢復數據。自編碼的目標是從數據集中學習的一種表示(編碼)，通常是為了達到降維的目的。自編碼已經成功地應用于數據的生成模型。然而，他們的訓練可能很復雜。

另一種類型的PCA是最大相關主成分分析(MCPCA)，它首先通過線性或者非線性的轉移算子，把數據映射到同緯度空間。然后最大化映射后得數據的協方差的q-Ky Fan范數(協方差矩陣的前q個最大的特征值之和)。然而，尋找轉移算子是一項艱巨的任務。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提供一種基于深度參數學習的最大相關主成分分析方法，其針對具有非線性結構的高維數據能夠有效地降維。