[發明專利]用于同時執行激活和卷積運算的方法和裝置及其學習方法和學習裝置

有效

• 申請號: 201811197180.1
• 申請日: 2018-10-15
• 公開（公告）號: CN109670575B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 金镕重;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06N3/084
• 分類號: G06N3/084;G06N3/045;G06N3/048
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 楊佳婧

本發明提供一種CNN的參數學習的方法。該方法包括以下步驟：(a)允許輸入值發送到單獨的多個要素偏差層；(b)允許與特定要素偏差層連接的比例層將預定比例值乘以特定要素偏差層的輸出值；(c)(i)允許與比例層連接的特定要素激活層應用激活函數，以及(ii)允許其他單個要素激活層對單獨的要素偏差層的輸出值應用激活函數；(d)允許級聯層將特定要素激活層的輸出值和其他要素激活層的輸出值級聯；(e)允許卷積層將卷積運算應用到級聯輸出；(f)在反向傳播過程中允許損失層獲取損失。

技術領域

本發明涉及一種用于學習裝置中的CNN(Convolution?Neural?Networks，卷積神經網絡)的參數學習的學習方法和使用該學習方法的學習裝置，所述學習方法中執行激活運算和卷積運算，更具體地，本發明涉及一種學習裝置中的CNN的參數學習的學習方法，所述學習裝置執行(i)包括多個要素偏差層、比例層以及多個要素激活層的激活模塊的激活運算；(ii)卷積層的卷積運算，所述方法包括以下步驟：(a)所述學習裝置執行以下處理：允許與輸入圖像相對應的輸入值發送到單獨的多個要素偏差層，然后允許單獨的多個要素偏差層中的每一個對所述輸入值應用其對應的每個要素偏差參數q_i；(b)所述學習裝置執行以下處理：允許與所述多個要素偏差層中的特定要素偏差層連接的比例層將預定比例值乘以所述特定要素偏差層的輸出值；(c)所述學習裝置執行以下處理：(i)允許與所述比例層連接的特定要素激活層對所述比例層的輸出值應用非線性激活函數，以及(ii)允許與單獨的要素偏差層連接的其它單獨的要素激活層對單獨的要素偏差層的輸出值應用單獨的非線性函數；(d)所述學習裝置執行以下處理：允許級聯層將所述特定要素激活層的輸出值和其他要素激活層的輸出值級聯，由此獲取級聯輸出；(e)所述學習裝置執行以下處理：允許所述卷積層通過使用所述卷積層的每個要素權重參數p_i及其每個要素偏差參數d，對所述級聯輸出應用卷積運算；以及(f)如果(e)步驟的輸出被輸入應用塊中并且之后后取得從所述應用塊輸出的結果值，則所述學習裝置允許損失層獲取通過將從所述應用塊輸出的所述結果值和與其對應的GT的值進行比較而計算出的損失，由此在反向傳播處理的過程中調整單獨的要素偏差層的每個要素偏差參數q_i、所述要素權重參數p_i和所述要素偏差參數d中的至少一部分。

背景技術

深度卷積神經網絡或深度CNN，是深度學習領域顯著發展的核心。盡管CNN已被用于解決20世紀90年代的字符識別問題，但直到最近CNN才在機器學習中得到廣泛應用。由于最近的研究，CNN已經成為機器學習領域非常有用和強大的工具。例如，在2012年，CNN在年度軟件競賽ImageNet大規模視覺識別挑戰賽中的表現明顯優于其競爭對手，并贏得了比賽。之后，CNN已經成為機器學習領域中非常有用的工具。

圖1示出了具有能夠執行CReLU運算和卷積運算的CNN的以往學習裝置的結構。

通過參考圖1，以往的學習裝置具有交替布置的許多卷積層(例如卷積層110和130)以及許多級聯修正線性單元(CReLU,Concatenated?Rectified?Linear?Units)(例如CReLU?120和其它CReLU(未示出))。

這里，CReLU?120可以包括兩個修正線性單元(ReLU)122，并且ReLU122的運算通過以下公式來執行：

[公式1]

ReLU(x)＝max(0，x)

CReLU是一種激活機制，其按照下面的公式另外進行ReLU的負激活以及正激活。

[公式2]

CReLU(x)＝(ReLU(x)，ReLU(-x))＝(max(0，x)，max(0，-x))

與ReLU相比，CReLU可以使結果值的數量加倍，而不會增加卷積層的計算負載。因此，CReLU可以在保持檢測速度的同時提高檢測精度。