[發明專利]利用自我修正代碼減少神經網絡的計算量

在審

• 申請號: 202080040947.9
• 申請日: 2020-06-01
• 公開（公告）號: CN113939801A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: V·維韋克拉亞;R·R·黃;周禹;R·戴爾蒙特;R·J·希頓
• 申請（專利權）人: 亞馬遜技術股份有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06N3/04;G06N3/10;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 錢慰民;張鑫

在各種實施方式中，提供了用于減少神經網絡處理的系統和方法。編譯器可以從具有可重復操作集的神經網絡的源代碼生成指令。所述指令可以包含多個塊。所述編譯器可以向所述多個塊添加覆寫指令，當所述覆寫指令由一個或多個執行引擎執行時觸發覆寫動作。所述覆寫動作使后續塊的指令被NOP指令覆寫。只有在滿足條件時才會觸發所述覆寫動作。

背景技術

人工智能是尋求建立能夠以人類的方式做出決定的智能機器的研究和工程領域。人工神經網絡屬于人工智能的子領域，稱為機器學習。機器學習是研究賦予計算機學習能力而無需明確編程的研究領域。實現機器學習算法的程序能夠學習執行任務，而不需要程序中的明確代碼來解釋每種可能性或所有可能的行為。

神經網絡的架構可以包含輸入層、輸出層和一些中間層，通常被稱為隱藏層。每一層對前一層的輸出執行計算，最后一層(輸出層)提供最終結果。有了更多的層，理論上，神經網絡可以執行更復雜的任務，諸如語言翻譯和識別(或分類)圖像的內容。具有三個以上隱藏層的神經網絡有時被稱為深度神經網絡。深度神經網絡可以有許多隱藏層，諸如，例如，五層到一千多層之間。

神經網絡可以使用中央處理單元(CPU)來執行計算。然而，CPU傾向于為順序計算而不是并行計算進行優化，因此可能具有較差的響應時間。圖形處理單元(GPU)為并行計算進行了優化，但不一定能將一個計算單元的結果直接提供給另一個計算單元。通常情況下，結果必須先寫到存儲器中，然后再讀回。盡管GPU可以比CPU有更好的響應時間，但仍然希望能改善神經網絡的執行時間。

附圖說明

將參照附圖描述根據本公開的各個實施例，其中：

圖1圖示了用于神經網絡的模型的示例。

圖2圖示了包含前饋權重和遞歸權重的神經網絡的模型的示例。

圖3圖示了二維卷積的示例。

圖4圖示了卷積神經網絡的配置示例。

圖5圖示了用于神經網絡的組織的示例。

圖6圖示了神經網絡的組織的另一示例。

圖7圖示了神經網絡的組織的又一示例。

圖8圖示了神經網絡及其相關指令的示例。

圖9圖示了可使用加速引擎的主機系統的示例。

圖10圖示了可用于執行神經網絡的加速器的示例。

圖11圖示了具有多個加速器的加速引擎的示例。

圖12圖示了用于減少神經網絡處理中的計算的方法的示例。

具體實施方式

在一些神經網絡中，諸如遞歸神經網絡，由特定層或節點執行的操作被重復多次，每次都是利用基于前一次迭代的輸出數據的不同輸入數據。這樣的神經網絡可以用數據流圖來表示，該數據流圖具有反饋回路，其指示來自特定層/節點的輸出數據被反饋為特定層/節點的輸入數據(或者，更一般地說，重復的操作集可以包含單個層/節點和/或多個層/節點)。對操作集進行的迭代次數可以是靜態的，也可以是動態的，這是由神經網絡的控制流決定的。例如，如果操作集在沒有中斷條件的“for”循環中實現，則迭代次數可以是靜態的。相反，如果操作集在“while”循環中或在具有中斷條件的“for”循環中實現，則除其他可能性外，迭代的數量可以是動態的。