[發明專利]基于圖像梯度的卷積方法、基于方向卷積的神經網絡及分類方法

有效

• 申請號: 202110477216.7
• 申請日: 2021-04-29
• 公開（公告）號: CN113128614B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 劉茂梅;匡乃亮;鐘升;唐磊;彭進業;羅迒哉
• 申請（專利權）人: 西安微電子技術研究所;西北大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/44;G06V10/764;G06V10/774;G06N3/0464;G06N3/048;G06N3/047;G06N3/084
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 崔方方

1.一種基于圖像梯度的卷積方法，其特征在于，對圖像進行基于圖像梯度信息的方向卷積以提取圖像特征包括以下步驟：

步驟101、在采集的圖像上建立平面直角坐標系，將采集的圖像轉化為灰度圖像，通過sobel算子提取灰度圖像橫向及縱向梯度信息，計算梯度的幅值和方向分別得到原始梯度幅值圖和原始梯度方向圖；

步驟102、將所述原始梯度方向圖做閾值化處理，得到圖像每點的梯度方向閾值；

步驟103、隨機初始化卷積核，再按照圖像每點的梯度方向閾值對卷積核進行方向化；

步驟104、將方向化后的卷積核與原始圖像進行卷積，通過邊界填充操作保持卷積前后圖像分辨率不變。

2.根據權利要求1所述的基于圖像梯度的卷積方法，其特征在于，步驟101中提取灰度圖像梯度信息的具體操作為：

sobel算子包含兩組3×3的矩陣，將sobel算子與灰度圖像作平面卷積，分別得出橫向及縱向的圖像梯度；

以A代表原始圖像，G_x為經橫向卷積后的梯度值圖像，G_y代表經縱向卷積后的梯度值圖像，其公式如下：

計算灰度圖像的梯度幅值圖G和梯度方向圖θ：

3.根據權利要求2所述的基于圖像梯度的卷積方法，其特征在于，步驟102中將所述原始梯度方向圖做閾值化處理的具體操作為：

設A為原始圖像，分辨率為w×h，θ為原始梯度方向圖，C為閾值化后的梯度方向圖，則：

4.根據權利要求3所述的基于圖像梯度的卷積方法，其特征在于，步驟103中按照圖像每點的梯度方向閾值對卷積核進行方向化的具體操作為：

以卷積核中心為原點，水平方向為X軸，垂直方向為Y軸建立直角坐標系；

若梯度方向閾值為0，則卷積核在水平方向有非零值，其余值為零；

若梯度方向閾值為1，則卷積核為反對角陣；

若梯度方向閾值為2，則卷積核為對角陣；

若梯度方向閾值為3，則卷積核在垂直方向有非零值，其余值為零。

5.一種基于方向卷積的卷積神經網絡的系統，其特征在于，由以下訓練過程得到：

步驟201、讀入批量訓練圖像，批量訓練數量為batch；所述訓練圖像為原圖和原始梯度圖；

步驟202、采用普通卷積核提取原圖特征，通過邊界填充操作保持卷積前后圖像分辨率不變，卷積后的特征圖采用ReLU函數進行激活；

所述普通卷積核大小為3×3，個數為m₁，卷積時步長為1；

采用方向化后的卷積核提取原始梯度圖特征，通過邊界填充操作保持卷積前后圖像分辨率不變，卷積后的特征圖采用ReLU函數進行激活；

所述方向化后的卷積核大小為3×3，個數為m₂，卷積時步長為1；

所述方向化后的卷積核通過權利要求2的步驟101-步驟103得到；

步驟203、將經普通卷積后得到的m₁個特征圖與經方向卷積后得到的m₂個特征圖按通道進行拼接；

步驟204、將拼接后的特征圖進行卷積，采用普通卷積，通過邊界填充操作保持卷積前后圖像分辨率不變，卷積后的特征圖采用ReLU函數進行激活；

卷積核大小為3×3，卷積時步長為1，卷積核個數為n；

步驟205、對卷積后的n個特征圖進行全局平均池化操作，得到一個n維特征向量，使用softmax函數求所述n維特征向量對應的概率向量q；

步驟206、將所述概率向量q與圖像原始標注類別標簽向量p計算交叉熵損失函數；

步驟207、采用反向傳播算法，利用RMSProp優化算法更新神經網絡參數；

步驟208、重復步驟201-步驟207最小化損失函數，直至神經網絡收斂，得到訓練好的神經網絡。

6.根據權利要求5所述的基于方向卷積的卷積神經網絡的系統，其特征在于，步驟206中交叉熵損失函數為：

7.一種圖像分類的方法，其特征在于：

將圖像輸入到權利要求5或6所述的基于方向卷積的卷積神經網絡的系統中；

權利要求5或6所述的基于方向卷積的卷積神經網絡的系統輸出n維特征向量，n維向量的最大值對應的類別序號即為網絡分類器輸出，神經網絡分類結果即將所述類別序號對應的類別。