[發(fā)明專利]一種瓶頸縮邊模型、神經(jīng)元網(wǎng)絡及其構建方法

在審

• 申請?zhí)枺?/td>: 202210732679.8
• 申請日: 2019-09-20
• 公開（公告）號: CN115049831A
• 公開（公告）日: 2022-09-13
• 發(fā)明（設計）人: 杜宇
• 申請（專利權）人: 成都芯云微電子有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京之于行知識產權代理有限公司 11767
• 代理人: 侯越玲

本發(fā)明涉及一種瓶頸縮邊模型、神經(jīng)元網(wǎng)絡及其構建方法，瓶頸縮邊模型設置于瓶頸縮邊模塊中，所述瓶頸縮邊模型至少包括兩層1*1卷積層和一層m*m卷積層，其中m*m卷積層設置在兩個1*1卷積層之間，所述瓶頸縮邊模塊的縮邊方法包括：G(x)＝c_2(σ(conv(σ(c_1(x)))))+r(x)；其中，conv(X)表示對圖像矩陣x進行無padding的m*m卷積變換，m＞1；c_1(x)與c_2(x)表示對圖像矩陣x進行1*1卷積變換，σ(x)表示對圖像矩陣x進行非線性變換；r(x)表示對圖像矩陣x進行縮邊。本發(fā)明的瓶頸縮邊模型通過1×1的卷積層c_1減少圖像矩陣的通道數(shù)，使得3×3的卷積核的參數(shù)數(shù)量和計算量都大幅減少，從而使瓶頸縮邊模塊的參數(shù)數(shù)量少于相應的基本縮邊模塊，同時又使相應的網(wǎng)絡深度增加50％，通過減少參數(shù)數(shù)量并提高整個神經(jīng)元網(wǎng)絡的穩(wěn)定性。

本發(fā)明是申請?zhí)枮?01910894420.1，發(fā)明名稱為一種包括周邊環(huán)境的圖像識別方法及裝置，申請日為2019年9月20日，申請類型為發(fā)明的專利申請的分案。

技術領域

本發(fā)明涉及信息技術領域，尤其涉及一種瓶頸縮邊模型、神經(jīng)元網(wǎng)絡模型及其構建方法。

背景技術

通過深度學習來進行圖像識別是當今人工智能最熱門的發(fā)展方向和最成功的應用方向。在身份認證、安防、自動駕駛，甚至集成電路設計和垃圾分類等方面，利用深度學習來識別圖像都有巨大的價值。

利用深度學習來進行圖像識別的具體做法是構造卷積神經(jīng)元網(wǎng)絡；收集海量的圖像(數(shù)據(jù))及其分類標記；用這些數(shù)據(jù)及標記來對卷積神經(jīng)元網(wǎng)絡進行訓練，建立相應的模型；在實際應用中用建立好的模型來對輸入圖像進行識別。

最近幾年，隨著人們對卷積神經(jīng)元網(wǎng)絡結構的改進和優(yōu)化，深度學習的圖像識別能力突飛猛進。其中，最著名的卷積神經(jīng)元網(wǎng)絡結構之一是2015年底由微軟中國研究院的He Kaiming等人提出的殘差網(wǎng)絡(ResNet)，它在ImageNet大規(guī)模視覺識別挑戰(zhàn)賽(ILSVRC)上的識別率已經(jīng)超過了人類識別的水平。殘差網(wǎng)絡是由殘差模塊壘疊而成。殘差網(wǎng)絡的核心思想是用處理卷積與輸入的殘差F(x)＝H(x)–x來替代卷積神經(jīng)元網(wǎng)絡中的卷積層H(x)，這樣能夠增加系統(tǒng)的穩(wěn)定性，從而避免在神經(jīng)元網(wǎng)絡過深(層數(shù)過多)時出現(xiàn)的退化現(xiàn)象。以這個思路可以構造殘差模塊(包括基本殘差模塊和進一步減少參數(shù)增加層次的瓶頸殘差模塊)，以殘差模塊為基礎構造網(wǎng)絡層次大幅多于以往的神經(jīng)元網(wǎng)絡模型的殘差神經(jīng)元網(wǎng)絡，達到圖像識別效果的大幅提升。

在對一幅圖像中央的物體進行識別時，圖像上的每一個像素的價值并非相同的。要建立一個高質量的卷積神經(jīng)元網(wǎng)絡來識別圖像中的物體，圖像中央物體本身的像素對神經(jīng)元網(wǎng)絡的參數(shù)產生影響的權重應該大于物體周圍背景對應的像素。

但是，已有的卷積神經(jīng)元網(wǎng)絡，包括He Kaiming等人的殘差網(wǎng)絡，圖像上所有的像素對網(wǎng)絡參數(shù)影響的權重都是相同的，從而造成要么參數(shù)不足而不能足夠的抓取圖像上物體的特征，要么參數(shù)過多而產生過擬合現(xiàn)象；同時，建模和識別的計算量也更大。

但若簡單的剪切掉圖像的邊緣，去掉周圍背景對應的像素，則圖像的信息不足，造成識別的困難。如圖4和圖5所示，帶背景的原圖如圖4a和圖5a所示，剪切掉圖像邊緣后如圖4b和圖5b所示。圖像中的物體比帶背景的原圖更難識別。

例如，中國專利CN108985236A公開了一種基于深度化可分離卷積模型的人臉識別方法，包括以下步驟：第一步、讀取人臉圖像樣本數(shù)據(jù)集；第二步、建立深度化可分離卷積模型，所述深度化可分離卷積模型在相鄰的兩個卷積模塊之間級聯(lián)了多個殘差瓶頸模塊；第三步、利用梯度下降算法更新深度化可分離卷積模型參數(shù)；第四步、通過更新參數(shù)后的深度化可分離卷積模型進行人臉識別。該專利可以在保證人臉識別準確率的基礎上提高識別速度。但是，該專利并沒有對人臉圖像和背景圖像進行權重的區(qū)分，導致計算量較大。