[發明專利]一種基于多層特征融合的圖像方向識別方法

有效

• 申請號: 202011602241.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112699898B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 白茹意
• 申請（專利權）人: 山西大學
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 山西五維專利事務所(有限公司) 14105
• 代理人: 茹牡花

1.一種基于多層特征融合的圖像方向識別方法，其特征在于：包括以下步驟：

1)旋轉并得到不同方向的圖像：將所有圖像依次旋轉四個方向，分別得到四個不同方向的圖像，將旋轉后的所有圖像用RGB彩色模式進行表示；

2)建立LBP-SPP-AlexNet模型：基于局部二值模式LBP(Local Binary Patterns)、空間金字塔池化SPP(Spatial Pyramid Pooling)和AlexNet建立LBP-SPP-AlexNet模型，具體步驟如下：

2.1)在RGB模式下，將彩色圖像分為R，G，B三個分量，分別計算三個分量的非旋轉不變LBP特征，然后再合成為LBP-RGB圖譜；計算過程中采用3個不同的尺度(LBP_1,8、LBP_2,16和LBP_3,24)生成3個LBP-RGB圖譜；

2.2)將2.1)中得到的3個不同尺度的圖譜，輸入到LBP-SPP-AlexNet模型中，該模型以AlexNet為網絡基礎框架，5個卷積層利用濾波器對輸入樣本進行卷積，激活函數采用ReLU，得到5組特征圖；

2.3)對步驟2.2)中得到的5組特征圖進行3種不同尺度的空間金字塔池化(SPP)操作，取每塊的最大值作為池化特征，池化層對不同尺寸的特征圖進行采樣，得到5個SPP特征；

2.4)利用LBP-SPP-AlexNet模型將2.3)中得到的5個SPP特征進行融合，然后輸入到3個全連接層中，用于連接所有神經元；

2.5)在步驟2.4)中的最后一個全連接層之后，采用softmax激活函數和實現四分類；

2.6)基于LBP、SPP和AlexNet建立LBP-SPP-AlexNet模型，損失函數采用交叉熵損失函數；

3)圖像訓練和預測：將步驟1)中得到的圖像放入步驟2)建立的LBP-SPP-AlexNet模型中進行訓練和預測；

4)圖像分類和識別：將經步驟3)中處理得到的圖像分為四類：四個不同的方向，然后自動識別圖像的方向；

5)識別結果的驗證：分別采用不同的性能評價指標對比實驗模型，對預測結果進行驗證。

2.根據權利要求1所述的一種基于多層特征融合的圖像方向識別方法，其特征在于：所述步驟1)中圖像的四個旋轉方向分別為逆時針旋轉0°、90°、180°和270°；所述步驟4)中，所得的圖像分為四類，分別為0°、90°、180°和270°。

3.根據權利要求1所述的一種基于多層特征融合的圖像方向識別方法，其特征在于：所述步驟2.1)中計算圖像的非旋轉不變LBP特征的具體步驟如下：把圖像中的某個像素點作為中心點，取半徑為R，按照(Rcos(2π/P),Rsin(2π/P))方法進行插值，得到的圓形采樣點集作為該中心點的領域點，P為采樣點個數；然后將中心像素點的值與其鄰域像素點的值進行比較，若鄰域像素點的值大于中心點素，則將該領域位置置1，反之置0，之后按順時針讀取圓形采樣點，最終組合成一個二進制數序列，將該序列轉換成十進制，即為LBP_R,P碼，計算如下：

其中g_c是當前像素的灰度級，g_n是其領域的灰度級，s(x)是一個符號函數。

4.根據權利要求1所述的一種基于多層特征融合的圖像方向識別方法，其特征在于：所述步驟2.2)中的5個卷積層分別為：第1個卷積層由96個11×11個卷積核組成，步長為4，padding為0，3×3的最大池化；第2個卷積層由256 個5×5個卷積核組，步長為1，padding為1，3×3的最大池化；第3個卷積層由384個3×3的卷積核組成，步長為1，padding為1；第4個卷積層由384個3×3個卷積核組成，步長為1，padding為1；第5個卷積層由256個3×3，步長為1的卷積核組成，padding為1，3×3的最大池化；

所述激活函數ReLU，又稱線性整流函數，公式為：

式中：x為函數輸入，f(x)為函數輸出。