[發(fā)明專利]基于核保持的數(shù)據(jù)降維方法

在審

• 申請?zhí)枺?/td>: 202011023210.4
• 申請日: 2020-09-25
• 公開（公告）號: CN112116017A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 李丹萍;賀文琪;王磊;劉保龍
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 西安睿通知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 61218
• 代理人: 惠文軒

本發(fā)明屬于模式識別技術(shù)領(lǐng)域，公開了一種基于核保持的數(shù)據(jù)降維方法，包括步驟：獲取待降維高維數(shù)據(jù)和訓(xùn)練樣本集；采用主成分分析法計算訓(xùn)練樣本集的初始投影矩陣，進而得到初始降維后的訓(xùn)練樣本矩陣；構(gòu)造基于核保持的數(shù)據(jù)降維模型作為目標(biāo)函數(shù)；通過最小化訓(xùn)練樣本的重構(gòu)誤差學(xué)習(xí)最優(yōu)的相似性表示，得到訓(xùn)練樣本最優(yōu)表示下的投影矩陣即二次投影矩陣；對待降維高維數(shù)據(jù)進行初始降維和二次降維。本發(fā)明引入核函數(shù)挖掘數(shù)據(jù)的非線性結(jié)構(gòu)，同時考慮了類內(nèi)樣本相似性信息和類間樣本的判別性信息，提高了處理高維數(shù)據(jù)分類問題時的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及模式識別技術(shù)領(lǐng)域，具體涉及一種基于核保持的數(shù)據(jù)降維方法，可用于圖像識別、文本識別和雷達輻射源識別。

背景技術(shù)

隨著計算機技術(shù)的發(fā)展，每分每秒都有大量的數(shù)據(jù)產(chǎn)生，在這樣高度信息化的時代，數(shù)據(jù)存儲所需的空間越來越多，大量高維數(shù)據(jù)的產(chǎn)生使數(shù)據(jù)處理更為困難。此外，在模式識別、機器學(xué)習(xí)和計算機視覺等領(lǐng)域，數(shù)據(jù)通常位于高維空間。因此，通過數(shù)據(jù)降維技術(shù)從中提取最有用的低維特征不僅有助于緩解“維數(shù)災(zāi)難”問題，而且有助于降低分類或聚類任務(wù)的訓(xùn)練成本。子空間投影是數(shù)據(jù)降維的一種典型手段。

盡管基于線性假設(shè)的降維方法易于實現(xiàn)，但其忽略了高維非線性數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。因此，許多學(xué)者提出了非線性的降維方法，目前非線性降維算法主要可分為核函數(shù)方法和基于流形學(xué)習(xí)的算法兩類。前者針對數(shù)據(jù)在低維空間線性不可分的問題，通過非線性映射將低維數(shù)據(jù)映射到高維空間中，使其在高維空間中數(shù)據(jù)線性可分，代表性的算法有核主成分分析(KPCA)和核費舍爾判別分析(KFDA)。基于流形學(xué)習(xí)的方法則是利用流形假設(shè)在高維空間挖掘低維流形結(jié)構(gòu)信息，但是由于其泛化能力差，學(xué)者們將這類算法線性化，提出了利用圖的形式表示樣本之間的關(guān)系。圖嵌入框架由于能夠很好地保持樣本的幾何結(jié)構(gòu)而被廣泛應(yīng)用于模式識別和計算機視覺領(lǐng)域。面向子空間學(xué)習(xí)任務(wù)，基于圖的協(xié)作判別分析方法CGDA被提出，它在協(xié)作表示分類CRC的基礎(chǔ)上利用協(xié)作表示系數(shù)構(gòu)造權(quán)值矩陣，采用閉式解提高了算法效率，實現(xiàn)了降維。但其只利用了類內(nèi)局部關(guān)系構(gòu)圖，忽略了不同類樣本之間的表示關(guān)系及其在構(gòu)圖中的作用，缺少判別能力。

Peng X，Yu Z，Yi Z等人在其發(fā)表的論文“Constructing the L2-Graph forRobust Subspace Learning and Subspace Clustering”(IEEE Transactions onCybernetics)，47(4)，1053-1066，(2017)中提出一種利用l₂范數(shù)構(gòu)圖的方法，每個樣本將除自身外的其它所有樣本作為字典，再利用l₂范數(shù)約束相似矩陣和重構(gòu)誤差，該方法性能要優(yōu)于l₁范數(shù)或低秩表示。但其只考慮數(shù)據(jù)的線性關(guān)系，而實際應(yīng)用中數(shù)據(jù)多為非線性結(jié)構(gòu)；此外，數(shù)據(jù)的重構(gòu)關(guān)系源于樣本間的直接關(guān)系建模，未能充分考慮樣本的類標(biāo)信息。

廈門大學(xué)在其申請的專利文獻“基于判別正則化局部保留投影的圖像數(shù)據(jù)降維方法及系統(tǒng)”(申請?zhí)枺?02010348760.7申請公布號：CN 111553417 A)中建立了一個基于l_2，1范數(shù)的局部判別投影來學(xué)習(xí)數(shù)據(jù)的局部拓撲結(jié)構(gòu)，將局部判別投影作為LPP的正則項與LPP組成彈性距離，使局部領(lǐng)域的大小能夠根據(jù)分布特征自適應(yīng)調(diào)整，對于分布稠密的區(qū)域，能夠防止過多非局部信息的引入，同時能夠很好地保持局部樣本分布的多樣性和差異性，更好地描述數(shù)據(jù)的局部本質(zhì)結(jié)構(gòu)特征。但是，該方法的不足之處是未能考慮樣本類標(biāo)信息，且只利用樣本的近鄰構(gòu)造相似性信息矩陣，忽視了樣本的整體結(jié)構(gòu)，沒有對數(shù)據(jù)進行非線性結(jié)構(gòu)的挖掘，而實際應(yīng)用中數(shù)據(jù)多為非線性結(jié)構(gòu)。

發(fā)明內(nèi)容