[發明專利]用于學習深度卷積神經網絡的結構的系統和方法

在審

• 申請號: 201811401354.1
• 申請日: 2018-11-22
• 公開（公告）號: CN109961132A
• 公開（公告）日: 2019-07-02
• 發明（設計）人: G·科倫;R·Y·耶海茲凱羅厄卡;S·尼斯莫;G·諾維克
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 黃嵩泉;張欣

1.一種用于產生深度卷積神經網絡CNN的裝置，所述裝置包括：存儲器和耦合至所述存儲器的處理電路，所述處理電路用于：

迭代地處理輸入有向無環圖DAG、節點的集合、外生節點的集合、以及基于CNN的解析度，針對所述CNN的節點的集合中的節點的迭代包括所述處理電路以進一步：

通過基于所述DAG和所述解析度創建用于當前遞歸迭代的臨時DAG來增加所述DAG的解析度；

對后代節點集合中的每個節點遞歸地執行所述迭代以創建后代DAG，所述后代節點集合為具有最低拓撲次序的自主節點；

對祖先節點集合中的每個節點遞歸地執行所述迭代以創建祖先DAG，所述祖先節點集合為所述臨時DAG中的節點在所述后代節點集合中的節點被移除之后的剩余節點，其中，所述后代節點集合是所述祖先節點集合的公共子；

將所述后代DAG與所述祖先DAG合并為經處理的DAG；

創建所述經處理的DAG中的潛在層，所述潛在層包括對于所述當前解析度針對每個祖先節點集合的潛在節點；

將每個潛在節點設置為所組合的后代DAG與祖先DAG中的無父節點的集合的父；以及

返回所述經處理的DAG。

2.如權利要求1所述的裝置，其特征在于，所述DAG的解析度的所述增加包括使所述處理電路進一步用于：

對于所述臨時DAG中的每對連接的節點：

當所述連接的節點彼此獨立時，將所述連接的節點的對斷開連接；以及

當公共近鄰節點不獨立于斷開連接的節點時，將所述斷開連接的節點的節點邊引導至所述公共近鄰節點。

3.如權利要求2所述的裝置，其特征在于，確定何時連接的節點的對是獨立的是通過統計測試完成的并且涉及節點激活的統計依賴性。

4.如權利要求3所述的裝置，其特征在于，所述統計測試是條件獨立性測試CIT。

5.如權利要求4所述的裝置，其特征在于，所述CIT是部分相關性測試或條件互信息測試。

6.如權利要求5所述的裝置，其特征在于，所述CIT測試是產生二進制值0或1的二進制測試，所述CIT測試的形式為：

其中：

和是輸入變量；

是變量的條件集合；

meas()估計相關性水平；以及

γ為閾值。

7.如權利要求6所述的裝置，其特征在于：

所述輸入變量為輸入特征圖IFM；

每個IFM由所有k個可能的m×m窗口表示；以及

meas()由窗口的數量的計數確定，其中，所述CIT二進制值是1，并且將所述窗口的數量的計數除以窗口的總數。

8.如權利要求6所述的裝置，其特征在于：

所述輸入變量為輸入特征圖IFM；

每個IFM由所有k個可能的m×m窗口表示；以及

meas()通過對k'個窗口位置的子集進行采樣根據以下來確定：

9.如權利要求4所述的裝置，其特征在于，所述CIT取決于：

內核卷積窗口尺寸；

卷積窗口跨度長度；以及

以超參數定義的預定義的閾值。