[發明專利]實現和執行神經網絡的方法及計算機可讀介質

在審

• 申請號: 201710333745.3
• 申請日: 2017-05-12
• 公開（公告）號: CN107392305A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: J.布拉澤斯;冀正平;張強
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 邵亞麗

相關申請的交叉引用

本申請要求于2016年5月13日提交的美國臨時申請第62/336,493號、于2017年1月31日提交的美國申請第15/421,423號、于2017年4月13日提交的韓國專利申請第10-2017-0048036號的權益，其內容通過引用并入本文。

技術領域

本發明的實施例通常涉及神經網絡。

背景技術

人工神經網絡(NN)可以被設計和訓練以執行廣泛的功能。NN的示例應用包括圖像處理、語音識別、數據處理和控制以及其他應用。NN的模型可以包括大量層和參數(權重)。具有高度并行架構(諸如圖形處理單元(GPU))的處理器可以促進大型NN的有效實現。

附圖說明

圖1是示出根據實施例的神經網絡的特征圖和權重的重排序的框圖。

圖2示出了根據實施例的神經網絡的一部分。

圖3示出了根據實施例的神經網絡的一部分。

圖4示出了根據實施例的重排序神經網絡的方法。

圖5示出了根據實施例的執行重排序神經網絡的方法。

圖6示出了根據實施例的包括修剪的重排序神經網絡的方法。

圖7示出了根據實施例的執行重排序神經網絡以跳過零值權重的方法。

圖8A和圖8B示出了根據實施例的重排序以改進負載平衡。

圖9A和圖9B示出了根據實施例的權重的霍夫曼編碼。

圖10示出了根據實施例的神經網絡中的掩碼流解碼和值流解碼。

具體實施方式

圖1是根據實施例的高級框圖。在一個實施例中，神經網絡(NN)開發框架105為網絡的所有層生成一組權重。在一個實施例中，權重的附加處理在計算機系統上離線執行。在一個實施例中，執行可選的后處理110，其包括修剪(pruning)，其通過將它們設置為零(0)來消除許多權重，如下面更詳細地描述的。執行特征圖的重排序115，其導致具有重排序的權重的等效網絡。重排序的權重被壓縮120。對應于原始訓練的神經網絡的重排序的版本編譯優化的網絡125。在一個實施例中，可以實現利用壓縮的權重的神經網絡來利用并行處理。另外，利用壓縮的權重的神經網絡可以被實現為在到并行處理器的所有輸入權重值都具有零值的情況下不需要處理。

圖2是根據實施例的利用壓縮的權重的神經網絡的一部分的示例的框圖。提供存儲器(例如，靜態隨機存取(SRAM)存儲器)以存儲壓縮的權重和輸入特征圖(IFM)。在一個實施例中，控制單元包括：專用控制邏輯，用于控制并行單元；以及中央處理單元(CPU)，其結合工作以控制SRAM存儲器、乘數累加數組(multiply-accumulate array，MAA)單元和輸入數據路徑(IDP)單元的操作。在諸如卷積NN的許多NN中，很多計算可以被實現為基于可以使用MAA單元計算的操作的操作。

在一個實施例中，每個IDP單元接收壓縮的權重并輸入特征圖數據，并將解壓縮的權重和IFM數據輸出到MAA單元。例如，每個IDP可以包括至少一個解壓縮器和緩沖器來緩沖輸入數據。在一個實施例中，MAA的累加的結果對應于輸出特征圖數據(OFM)和中間結果?？梢蕴峁┮粋€或多個單元(在圖2中標記為DRU)以支持對MAA單元的輸出的附加處理功能，諸如尺度變換、添加偏置、應用激活功能和池化(pooling)。在一個實施例中，MAA從每個IDP接收IFM以及非零權重。

在一個實施例中，IDP的數量是8個，但是更一般地可以使用不同數量的IDP。在一個實施例中，每個IDP單元并行運行，每個向MAA計算單元供應一個非零權重和一組特征圖值(作為IFM的子集)。在一個實施例中，輸入單元在多個周期中迭代IFM的子集和對應的權重，以并行地生成一組OFM。

圖3更詳細地示出了根據實施例的饋送MAA單元的一些數據流的示例。為了說明的目的，示出了8個并行的IDP和16個MAA。然而，更一般地，可以配置任意數量的單元來支持并行處理。例如，使用8個SRAM單元，每個單獨的SRAM存儲權重的一部分(例如，1/8)。在一個實施例中，單獨的IDP向MAA提供一個非零權重，并向MAA中的每個提供一個IFM(例如，4×4塊)。