[發明專利]用于學習深度卷積神經網絡的結構的系統和方法

在審

• 申請號: 201811401354.1
• 申請日: 2018-11-22
• 公開（公告）號: CN109961132A
• 公開（公告）日: 2019-07-02
• 發明（設計）人: G·科倫;R·Y·耶海茲凱羅厄卡;S·尼斯莫;G·諾維克
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 黃嵩泉;張欣

公開了用于學習深度卷積神經網絡的結構的系統和方法。一種產生深度卷積神經網絡(CNN)的的遞歸的方法和裝置。該方法包括迭代地處理表示初始CNN的輸入有向無環圖(DAG)、節點的集合、外生節點的集合以及基于所述CNN的解析度。用于節點的迭代可包括：對后代節點集合中的每個節點遞歸地執行該迭代以創建后代DAG；對祖先節點集合中的每個節點遞歸地執行該迭代以創建祖先DAG，該祖先節點集合為臨時DAG中的節點在后代節點集合中的節點被移除之后的剩余節點。將后代DAG與祖先DAG合并，并且創建潛在層，該潛在層包括對每個祖先節點集合的潛在節點。在返回之前，將每個潛在節點設置為所組合的后代DAG與祖先DAG中的無父的節點的集合的父。

技術領域

本文中所描述的是用于學習深度卷積神經網絡的結構的系統、方法和裝置。

背景技術

神經網絡是學習完成任務而無需任務特定編程的計算系統。它們由可處理 信號并將信號傳送到另一個神經元的神經元組成，其中神經元被組織為層，其 中不同的層對其輸入執行不同類型的變換。

卷積神經網絡(CNN)是在成像(例如，圖像識別)、聲音處理(例如， 語音識別)和類似領域中應用的一類深度前饋神經網絡。CNN中的卷積層將 卷積操作應用于其輸入并將結果傳遞到下一層。一般而言，CNN使用相對少 的預處理，這意味著網絡學習傳統算法中手工設計的濾波器，使其更加獨立于 先前的知識和人類在特征設計中的努力。

附圖說明

在附圖中(這些附圖不一定是按比例繪制的)，相同的數字可描述不同視 圖中的類似的組件。具有不同的字母后綴的相同的數字可表示類似組件的不同 實例。在所附附圖的圖中通過示例而非限制性地圖示出一些實現方式，其中：

圖1是圖示出根據實現方式的所學習的深度概率生成模型(LDPGM)的 框圖。

圖2是圖示出根據實現方式通過映射圖1的LDPGM來學習CNN 200的 結構的示例過程的框流程圖；

圖3是用于針對單個潛在層從數據學習LDPGM結構的過程的示例實現方 式的偽代碼列表；

圖4是用于針對多個層從數據學習LDPGM結構的遞歸過程的示例實現方 式的偽代碼列表；

圖5A是圖示出層中的節點關系的框圖；

圖5B是深度生成模型的示例的框圖；

圖5C是圖示出基于深度生成模型所創建的鑒別模型的框圖；以及

圖6是圖示出CNN可在其上運行的計算機系統的以示例形式的機器的框 圖。

具體實施方式

在下列描述中，出于解釋的目的闡述了眾多特定細節以提供對一些實例實 現方式的透徹理解。然而，對本領域技術人員將顯而易見的是，可在沒有這些 特定細節的情況下事實本公開。

在過去的十年中，深度神經網絡已經證明了它們在解決諸如語音識別、計 算機視覺以及機器翻譯之類的各種領域中的許多挑戰性問題的有效性。隨著計 算資源變得更加可用，具有數百萬參數的大型模型可以在大量的數據之上被訓 練，以實現對于這些高維度問題的最先進的方案。建立這些模型要求各種設計 選擇，諸如，網絡拓撲、成本函數、優化技術以及對相關超參數的配置。