[發明專利]基于非負矩陣分解和卷積神經網絡的彩色圖像處理方法

在審

• 申請號: 201810161883.2
• 申請日: 2018-02-27
• 公開（公告）號: CN108491863A
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 張小瑞;吳韻清;孫偉;宋愛國;牛建偉
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京匯盛專利商標事務所(普通合伙) 32238
• 代理人: 張立榮

1.基于非負矩陣分解和卷積神經網絡的彩色圖像處理方法，其特征在于，包括以下步驟：

步驟1、圖像預處理

1.1將彩色圖像的像素值歸一化，并將圖像表示為數據矩陣，所述數據矩陣包括表示紅、綠、藍三種顏色的子數據矩陣；

1.2將原彩色圖像集中的每個彩色圖像進行劃分，得到若干子補丁，并從中隨機抽樣，得到待學習特征的子補丁集；

步驟2、學習彩色圖像顏色特征

2.1采用RGB每個或RGB所有學習方式學習圖像顏色特征，所述RGB每個和RGB所有為卷積神經網絡的兩種學習方式，RGB每個方式分別處理三種顏色信息，RGB所有方式同時處理三種顏色信息；

2.2采用非光滑的非負矩陣分解算法學習顏色特征

RGB每個方式中，采用標準非負矩陣分解算法將步驟1的數據矩陣分解為標準基矩陣和標準特征系數矩陣，采用非光滑非負矩陣分解算法將稀疏特征矩陣引入標準基矩陣，對上述標準特征系數矩陣進行平滑，得到更新的特征系數矩陣和更新的基矩陣，然后連接三種顏色的更新的特征系數矩陣的列方向得到分類器的輸入向量；

RGB所有方式中，將來自3種顏色的數據矩陣進行堆疊，作為分類器的輸入向量，采用非光滑的非負矩陣分解算法學習子補丁集，得到k維特征向量f(x)；

步驟3、基于卷積神經網絡的彩色圖像分類

3.1設原彩色圖像大小為a×a，將圖像提取為大小為p×p的子圖像，將步驟2得到的更新的特征系數矩陣或特征向量，用z個學習特征進行卷積；形成z×(a-p+1)×(a-p+1)個圖像，完成特征映射，得到特征圖；

3.2計算子圖像中的最大或平均值作為子圖像的值，將特征圖無重疊地構建成合并圖，完成平均池化聚合后，子圖像被連接以形成尺寸減小的特征；

3.3使用分類器，串聯合并圖，形成每個圖像對應的矩陣，完成分類；

步驟4、基于卷積神經網絡的彩色圖像重構

4.1定義標簽向量集為其中，是從原彩色圖像集得到的第i個特征；l⁽ⁱ⁾是第i個標簽類，b是訓練樣本數，為正整數；若圖像具有第i個特征，該圖像對應的第i個標簽類是1，否則是0；

4.2局部特征提取

基于步驟3得到的特征圖，用主成分分析降維算法減少特征圖尺寸；用類標簽監督技術改變基于SIFT算法和BoF算法的分類方法，進行局部特征提取；所述SIFT算法是尺寸不變的特征變換法，用于提取圖片特征；所述BoF算法是常見的一種視覺描述符，用于可視化數據分類；用特征擴展因子擴大每個局部特征向量的尺寸；特征擴展因子v_FX描述如下：

其中，v_PCA是d維局部特征壓縮的主成分分析，PCA是主成分分析，是d維局部特征壓縮的主成分分析的轉置，是對稱矩陣上三角部分的壓平向量；

4.3監督降維，結合鄰域特征實現彩色圖像重構

求解局部特征向量的特征值得到變換矩陣CCA，通過映射變換矩陣CCA得到低維鑒別矢量，步驟4.2所述特征提取過程是卷積神經網絡的第一層，每個個體過程分別描述為第一PCA層，第一擴展層，第一CCA層；所述PCA層為主成分分析層；然后連接四個相鄰局部特征可獲得一個向量，再重復串聯PCA、擴展、CCA實現圖像重構。

2.根據權利要求1所述基于非負矩陣分解和卷積神經網絡的彩色圖像處理方法，其特征在于，所述步驟1.1的具體過程為，改變圖像像素值范圍，使之在0到1內變化，實現像素值歸一化；連通紅綠藍三種顏色的所有列，將一個單一圖像表示為數據矩陣其中，3個子數據矩陣分別表示紅、綠、藍三種顏色的數據矩陣，j∈{1,2,...,N}表示樣本索引，N為正整數，表示樣本數量。

3.根據權利要求2所述基于非負矩陣分解和卷積神經網絡的彩色圖像處理方法，其特征在于，所述步驟2中采用標準非負矩陣分解算法將步驟1的數據矩陣分解過程為：對每種顏色，基于標準非負矩陣分解算法，將分解為標準基矩陣W^c(M×R)和標準特征系數矩陣H^c(R×N)，其中，M,R,N分別是輸入尺寸、可用NMF降低的特征維數、樣本數量；

非負矩陣分解算法的成本函數J_NMF計算公式為：

其中，D是原數據矩陣，G是重構矩陣，雙豎線表示歐氏距離；

以梯度下降為更新規則，得到更新的特征系數矩陣和更新的基矩陣更新規則為：

其中，下標rn、mr為矩陣的維數，即r行n列、m行r列；W^cT是標準基矩陣的轉置矩陣；D是原數據矩陣，G是重構矩陣，H^cT是標準特征系數矩陣的轉置矩陣；

基于非光滑非負矩陣分解算法將稀疏特征矩陣引入標準基矩陣，對標準特征系數矩陣進行平滑；在上述更新規則前面加入下式來修改更新規則，

其中，H^c是標準特征系數矩陣；S是平滑矩陣；θ是決定平滑程度的參數，θ越接近1，越光滑，越稀疏，以彌補稀疏損失；R是可用NMF降低的特征維數；eye(R)是生成R×R的單位矩陣；ones(R)是生成R×R維的全1矩陣。