[發明專利]用于同時執行激活和卷積運算的方法和裝置及其學習方法和學習裝置

有效

• 申請號: 201811197180.1
• 申請日: 2018-10-15
• 公開（公告）號: CN109670575B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 金镕重;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06N3/084
• 分類號: G06N3/084;G06N3/045;G06N3/048
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 楊佳婧

1.一種學習裝置中的CNN的參數學習的學習方法，在所述學習裝置中執行(i)激活模塊的激活運算，所述激活模塊包括多個要素偏差層、比例層和多個要素激活層，以及(ii)卷積層的卷積運算，

所述方法包括以下步驟：

(a)所述學習裝置執行以下處理：允許與輸入圖像相對應的輸入值發送到單獨的多個要素偏差層，然后允許單獨的多個要素偏差層中的每一個對所述輸入值應用其對應的每個要素偏差參數qi，其中，所述輸入值與所述輸入圖像的像素值中的每一個相對應，并且所述輸入圖像是如下的概念：不僅包括輸入到所述CNN的圖像本身，而且包括從先前卷積層接收的特征映射中的至少一個；

(b)所述學習裝置執行以下處理：允許與所述多個要素偏差層中的特定要素偏差層連接的所述比例層將預定比例值乘以所述特定要素偏差層的輸出值；

(c)所述學習裝置執行以下處理：(i)允許與所述比例層連接的特定要素激活層對所述比例層的輸出值應用非線性激活函數，以及(ii)允許與單獨的要素偏差層連接的其它單獨的要素激活層對單獨的要素偏差層的輸出值應用單獨的非線性函數，其中，所述要素激活層與n個線性段相對應，該n個線性段將被用于向所述比例層的輸出值或所述單獨的要素偏差層的輸出值應用n個非線性激活函數，并且其中，參考值被用于劃分與所述n個線性段相對應的區段，并且所述區段包括關于要與所述輸入值比較的各個范圍的信息；

(d)所述學習裝置執行以下處理：允許級聯層將所述特定要素激活層的輸出值和其他要素激活層的輸出值級聯，由此獲取級聯輸出；

(e)所述學習裝置執行以下處理：允許所述卷積層通過以下操作對所述級聯輸出應用所述卷積運算：(i)將所述卷積層的每個要素權重參數pi與所述級聯輸出中所包括的相應的要素激活層的每個輸出值相乘，從而獲得每個相乘得到的結果，和(ii)將所述每個相乘得到的結果和要素偏差參數d相加求和；以及

(f)如果(e)步驟的輸出被輸入應用塊中并且之后獲取從所述應用塊輸出的結果值，則所述學習裝置允許損失層獲取通過將從所述應用塊輸出的所述結果值和與其對應的GT的值進行比較而計算出的損失，由此在反向傳播處理的過程中調整單獨的要素偏差層的每個要素偏差參數qi、所述要素權重參數pi和所述要素偏差參數d中的至少一部分，其中所述(e)步驟的輸出是所述激活模塊的激活運算和所述卷積層的卷積運算的綜合結果。

2.根據權利要求1所述的學習方法，其中，所述比例值是負值。

3.根據權利要求1所述的學習方法，其中，所述激活模塊包括N路CReLUs，并且所述要素激活層是修正線性單元層、即ReLU層。

4.根據權利要求1所述的學習方法，其中，如果在步驟(c)中使用n個要素激活層，則在步驟(a)中使用n-1個要素偏差層。