[發明專利]一種基于聚類的分步式數據降維方法

在審

• 申請號: 201710809903.8
• 申請日: 2017-09-08
• 公開（公告）號: CN107562908A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 謝國;張永艷;張春麗;劉偉;黑新宏;錢富才
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 楊洲

技術領域

本發明屬于數據挖掘領域，具體涉及一種聚類和降維相結合的高效的數據降維方法。

背景技術

近幾年，工業監測數據大量產生，如何從大量數據中提取有效信息已成為工業界的重要研究課題。現有研究中，數據降維方法能夠把高維數據通過低維空間表現出來的同時，保留絕大多部分有效信息，消除數據冗余，已成為一種有效的信息提取手段，被廣泛研究。目前，主要的降維方法包括PCA、LDA、局部線性降維LLE、非線性降維核PCA、多層自動編碼等，但由于各自方法的局限性，在數據維數較高時，效率較低，難以滿足數據發展的迫切需求。

發明內容

本發明的目的在于提供一種基于聚類的分步式降維方法，可以進一步提高降維的有效性。

為實現上述目的本發明采用以下技術方案：一種基于聚類的分步式降維方法，包括如下步驟：

步驟1、對工業監測數據按數據點間的距離進行聚類；

步驟2、對步驟1產生的聚類數據的每一類數據分別進行降維，即分區降維；

步驟3：對步驟2產生降維后的數據進行一系列調整之后再進行一次降維。

作為本發明進一步的方案，步驟1具體按照以下步驟實施：

步驟(1.1)、工業監測數據為矩陣X，令x_k^T＝(x_k1，x_k2，...，x_kp)，k＝1，2，...，N，p為變量數目，N是采樣的樣本數目；

步驟(1.2)、將所述步驟(1.1)中數據集分成a類，其中a為給定常數，隨機選擇a個樣本作為初始均值向量，它的集合U＝{u₁，u₂，...，u_a}，即為a類樣本的中心，u_i＝x_k^T，i＝1，2，...，a；

步驟(1.3)、分別計算N個采樣樣本x_k分別到各個中心u_i的距離，d_ik＝||x_k^T-u_i||₂；

步驟(1.4)、根據距離最近的均值向量確定每個樣本x_k的標記，每個樣本只能屬于某一類；聚類之后，第一類集合表示為C₁，card(C₁)＝l₁，其中i＝1，2，...，l₁，為樣本向量x_k，同理第a類集合表示為C_a，card(C_a)＝l_a其中i＝1，2，...，l_a，且要滿足

作為本發明進一步的方案，步驟2具體按照以下步驟實施：

對步驟1聚類后每類的樣本數據進行降維，先對聚類之后的第一類數據進行降維，再用同樣的方法對剩下的(a-1)類依次進行降維，第一類樣本集合為C₁，

步驟(2.1)、對第一類樣本集合C₁進行中心化，中心化過程為其中x_ij分別表示樣本集合C₁中第i行第j列的數據，中心化過程就是把C₁中的每一個數據減去該列數據的平均數；

步驟(2.2)、計算樣本的協方差矩陣C₁^TC₁；

步驟(2.3)、對協方差矩陣C₁^TC₁做特征值分解；

步驟(2.4)、取最大的d₁個特征值對應的特征向量其中q＝1，2，...，d₁，且d₁≤l₁；