[發明專利]一種基于多層特征融合的圖像方向識別方法

有效

• 申請號: 202011602241.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112699898B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 白茹意
• 申請（專利權）人: 山西大學
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 山西五維專利事務所(有限公司) 14105
• 代理人: 茹牡花

本發明涉及一種基于多層特征融合的圖像方向識別方法，目的是解決目前識別圖像方向的實際需求，以及現有識別方法需要對圖像進行裁剪破壞原圖像大小的技術問題，本發明的技術方案為：先旋轉并得到不同角度的原圖，然后建立LBP?SPP?AlexNet模型對圖像進行訓練和預測，再進行分類和識別，最后對結果進行驗證。本發明識別方法可以在不改變圖像原始大小的情況下，通過多層特征融合對圖像的方向進行準確識別。

技術領域

本發明屬于圖像處理和計算機視覺處理技術領域，具體涉及一種基于多層特征融合的圖像方向識別方法。

背景技術

幾乎所有的成像應用和圖片管理系統都要求圖像在處理和可視化之前正確定位。例如，大多數圖像識別和場景分類的應用程序，都非常依賴于給定圖像是正面的。

關于照片方向的信息可以從相機的傳感器獲得，并記錄在數據標簽中。然而，這些信息往往在低端數碼相機上丟失，或者可能已經被圖片編輯軟件刪除。在這些情況下，確定圖像的方向就需要用戶的干預。人類可以利用他們的圖像理解能力來識別照片的方向。然而，圖像方向的人工校正是一項繁瑣、耗時和易出錯的工作。當大量的圖片需要處理時，這一點尤為明顯。對于這些情況，設計一個模擬人類高水平理解能力的圖像方向自動識別算法是必要的，同時也這也是一項具有挑戰性的任務。

近些年依據計算視覺特征與人類視覺感知之間的關系，研究人員通過計算機輔助的方法識別圖像的方向，目前對圖像方向的研究現狀如下：

1)人類一般是通過對圖像內容的理解來識別方向，因此大多數研究，采用低層特征(顏色，紋理和布局等)來識別圖像的方向，并未考慮高層語義特征，這就導致它的準確性在很大程度上取決于選取的低層特征是否能準確表達圖像的方向特性。

2)目前有一部分研究采用的深度學習方法，使用的圖像大小是一致的，因此輸入網絡前都需要進行裁剪，這樣會破壞圖像的很多信息，對于有些圖像的大小是作者提前設定好的，而且圖像的長度和寬度對方向識別是重要的因素之一，因此希望在計算過程中不改變原始圖像大小。

發明內容

本發明的目的是針對目前圖像方向識別的實際需求，以及現有識別方法需要對圖像進行裁剪破壞原圖大小的技術問題，提供一種在不改變圖像原始大小的情況下，基于多層特征融合的圖像方向識別方法。

為解決上述技術問題，本發明采用的技術方案是：

一種基于多層特征融合的圖像方向識別方法，包括以下步驟：

1)旋轉并得到不同方向的圖像：將所有圖像依次旋轉四個方向，分別得到四個不同方向的圖像，將旋轉后的所有圖像用RGB彩色模式進行表示；

2)建立LBP-SPP-AlexNet模型：基于局部二值模式LBP(LocalBinaryPatterns)、空間金字塔池化SPP(SpatialPyramidPooling)和AlexNet建立LBP-SPP-AlexNet模型，具體步驟如下：

2.1)在RGB模式下，將彩色圖像分為R，G，B三個分量，分別計算三個分量的非旋轉不變LBP特征，然后再合成為LBP-RGB圖譜。計算過程中采用3個不同的尺度(LBP_1,8、LBP_2,16和LBP_3,24)生成3個LBP-RGB圖譜。

2.2)將2.1)中得到的3個不同尺度的圖譜，輸入到LBP-SPP-AlexNet模型中，該模型以AlexNet為網絡基礎框架，5個卷積層利用濾波器對輸入樣本進行卷積，激活函數采用ReLU，得到5組特征圖；

2.3)對步驟2.2)中得到的5組特征圖進行3種不同尺度的空間金字塔池化(SPP)操作，取每塊的最大值作為池化特征，池化層對不同尺寸的特征圖進行采樣，得到5個SPP特征；