[發(fā)明專利]一種基于多模態(tài)圖像缺失補全的分類方法

在審

• 申請?zhí)枺?/td>: 201910992043.5
• 申請日: 2019-10-18
• 公開（公告）號: CN110717550A
• 公開（公告）日: 2020-01-21
• 發(fā)明（設(shè)計）人: 劉琚;杜若畫;吳強;林楓茗
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 37221 濟南圣達知識產(chǎn)權(quán)代理有限公司
• 代理人: 李健康

1.一種基于多模態(tài)圖像缺失補全的分類方法，該方法使用多向延遲嵌入轉(zhuǎn)換和平滑CP分解，捕獲高維空間的移位不變結(jié)構(gòu)，對數(shù)據(jù)的條狀或者塊狀缺失進行補全，最后進行分類，具體步驟包括：

(一)數(shù)據(jù)預(yù)處理：采集多種模態(tài)的數(shù)據(jù)，進行特征提取，分別對每一種模態(tài)提取一階統(tǒng)計特征和二階紋理特征，將提取的特征依次放入變量T中，最終得到其中N為張量的階數(shù)，I₁,I₂,···,I_N為張量維度大小；

(二)數(shù)據(jù)隨機缺失設(shè)置：每個模態(tài)隨機挑選一定比例的樣本，將挑選出的樣本的對應(yīng)模態(tài)特征做缺失處理，得到不完整的張量T；

(三)對數(shù)據(jù)進行多向延遲嵌入轉(zhuǎn)換，對于張量T來說，多向延遲嵌入轉(zhuǎn)換可表示為H_τ(T)＝fold_(I,τ)(T×₁S₁×₂S₂...×_NS_N),其中H_τ(T)代表將T轉(zhuǎn)換為漢克爾矩陣，τ表示復(fù)制長度，S∈{0,1}^{τ(I-τ+1)×I}為復(fù)制矩陣，符號“×₁”，“×₂”，“×_N”分別代表張量與矩陣在第N階上的相乘操作，將輸入的N階張量折疊為2N階張量；

(四)經(jīng)過多向延遲嵌入轉(zhuǎn)換后對張量T進行平滑CP分解：

其中X是完整的輸出張量，Z是CP分解值，G為超對角核心張量，由縮放倍數(shù)g_r構(gòu)成，U^(N)為因子矩陣，由分量構(gòu)成。Ω代表T的可用元素的索引，代表T缺失元素的索引，代表F范數(shù)；ρ＝[ρ⁽¹⁾,ρ⁽²⁾,...,ρ^(N)]^T代表平滑參數(shù)，p∈{1,2}是用來選擇平滑約束類型的參數(shù)，當(dāng)p＝1時，約束項為總變分約束，當(dāng)p＝2時約束項變?yōu)槎巫兎旨s束，矩陣L⁽ⁿ⁾代表平滑約束矩陣；為自適應(yīng)因子，R代表張量CP分解中秩的個數(shù)，N為張量階數(shù)；對目標函數(shù)使用分層交替最小二乘法求解，最后輸出張量X。

(五)得到輸出張量X后，通過多向延遲嵌入轉(zhuǎn)換的逆過程得到最終的補全張量T，其中表示摩爾-彭若斯偽逆(S^TS)^-1S^T,unfold_(I,τ)表示多向延遲嵌入的逆，

(六)得到補全后的張量T，使用支持向量機對樣本進行分類。