[發明專利]利用自我修正代碼減少神經網絡的計算量

在審

• 申請號: 202080040947.9
• 申請日: 2020-06-01
• 公開（公告）號: CN113939801A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: V·維韋克拉亞;R·R·黃;周禹;R·戴爾蒙特;R·J·希頓
• 申請（專利權）人: 亞馬遜技術股份有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06N3/04;G06N3/10;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 錢慰民;張鑫

1.一種方法，包括：

由用于神經網絡的編譯器從源代碼中生成多個指令塊，其中，每個指令塊包含每個塊共有的指令集，并且其中，基于條件將所述指令集執行多達多次迭代；

為所述多個塊中的指令塊生成覆寫指令，其中，執行所述覆寫指令觸發覆寫動作，所述覆寫動作使所述多個塊中的后續塊的指令被無操作(NOP)指令覆寫；以及

將所述覆寫指令添加到所述指令塊。

2.根據權利要求1所述的方法，其中，所述覆寫動作使直接存儲器訪問(DMA)引擎以所述NOP指令覆寫所述后續塊的所述指令。

3.根據權利要求1至2中任一項所述的方法，其中，所述覆寫指令被添加到所述指令塊的末端。

4.根據權利要求1至3中任一項所述的方法，其中，當所述條件得到滿足時，執行所述覆寫指令觸發所述覆寫動作。

5.根據權利要求1至4中任一項所述的方法，其中，所述指令集對應于在所述神經網絡的節點或層中執行的可重復操作集。

6.根據權利要求1至5中任一項的所述方法，進一步包括：

生成評估指令，當執行所述評估指令時，致使確定是否滿足所述條件；以及

將所述評估指令添加到所述指令塊。

7.根據權利要求1至6中任一項所述的方法，其中，所述覆寫動作使所述評估指令在所述后續塊中被NOP指令覆寫。

8.根據權利要求1至7中任一項所述的方法，進一步包括：

由所述編譯器識別用于所述神經網絡的所述源代碼中的可重復操作集，其中，所述覆寫指令是響應于識別所述可重復操作集而生成的。

9.根據權利要求1至8中任一項所述的方法，其中，所述編譯器將所述覆寫指令添加到所述多個塊中的每個塊。

10.一種非暫時性計算機可讀存儲介質，包括指令，當所述指令由處理器執行時，使所述處理器執行包括如下的操作：

由用于神經網絡的編譯器從源代碼中生成多個指令塊，其中，每個指令塊包含每個塊共有的指令集，并且其中，基于條件將所述指令集執行多達多次迭代；

為所述多個塊中的指令塊生成覆寫指令，其中，執行所述覆寫指令觸發覆寫動作，所述覆寫動作使所述多個塊中的后續塊的指令被無操作(NOP)指令覆寫；以及

將所述覆寫指令添加到所述指令塊。

11.根據權利要求10所述的非暫時性計算機可讀存儲介質，其中，所述覆寫動作使直接存儲器訪問(DMA)引擎以所述NOP指令覆寫所述后續塊的指令。

12.根據權利要求10至11中任一項所述的非暫時性計算機可讀存儲介質，其中，每個指令塊進一步包含由所述編譯器添加的評估指令，以確定是否滿足所述條件。

13.權利要求10至12中任一項所述的非暫時性計算機可讀存儲介質，其中，在每個指令塊中，所述評估指令在所述覆寫指令之前。

14.權利要求10至13中任一項所述的非暫時性計算機可讀存儲介質，其中，所述覆寫動作使所述后續塊中的所述評估指令被NOP指令覆寫。

15.一種系統，包括：

一個或多個處理器；以及

計算機可讀介質，其包括指令，當所述指令由所述一個或多個處理器執行時，使所述一個或多個處理器執行包括如下的操作：

由用于神經網絡的編譯器從源代碼中生成多個指令塊，其中，每個指令塊包含每個塊共有的指令集，并且其中，基于條件將所述指令集執行多達多次迭代；

為所述多個塊中的指令塊生成覆寫指令，其中，執行所述覆寫指令觸發覆寫動作，所述覆寫動作使所述多個塊中的后續塊的指令被無操作(NOP)指令覆寫；以及

將所述覆寫指令添加到所述指令塊。