[發明專利]用于稀疏神經網絡加速的架構

在審

• 申請號: 201780081207.8
• 申請日: 2017-11-17
• 公開（公告）號: CN110121721A
• 公開（公告）日: 2019-08-13
• 發明（設計）人: Y·G·圖拉齊亞;J·賈法里;A·潘達;K·查塔
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳煒;亓云

提供了一種用于稀疏神經網絡的方法、計算機可讀介質、和裝備。該裝備可包括硬件加速器。該裝備可為要由MAR單元處理的每一操作數對確定該對中的兩個操作數是否都非零。該裝備可在要由MAR單元處理的操作數對中的一操作數為零時阻止該操作數對被加載到MAR單元的乘法器。該裝備可在該操作數對中的兩個操作數都非零時將該操作數對置于多個隊列之一中。

相關申請的交叉引用

本申請要求于2016年12月29日提交的題為“ARCHITECTURE FOR SPARSENEURALNETWORK ACCELERATION(用于稀疏神經網絡加速的架構)”的美國專利申請No.15/393,670的權益，其通過援引全部明確納入于此。

背景

領域

本公開一般涉及用于人工神經網絡的計算系統，且更具體而言涉及用于深神經網絡的硬件加速器。

背景

可包括一群互連的人工神經元的人工神經網絡是一種計算設備或者可表示將由計算設備執行的方法。人工神經網絡可具有生物學神經網絡中的對應的結構和/或功能。然而，人工神經網絡可為其中傳統計算技術可能是麻煩的、不切實際的、或不勝任的某些應用提供有用的計算技術。由于人工神經網絡能從觀察中推斷出功能，因此這樣的網絡在因任務或數據的復雜度使得通過常規技術來設計該功能較為麻煩的應用中可以是有用的。

在計算中，硬件加速是使用計算機硬件來比用在較通用的CPU上運行的軟件更有可能地更高效地執行某些功能。執行加速的硬件可被稱為硬件加速器。硬件加速器可通過允許較大并發性、具有用于算法中的臨時性的特定數據路徑、以及可能降低指令控制的開銷來改進特定算法的執行。

卷積神經網絡是一種前饋人工神經網絡。卷積神經網絡可包括神經元集合，其中每個神經元具有感受野并且共同地拼出一輸入空間。卷積神經網絡(CNN)具有眾多應用。具體而言，CNN已被廣泛使用于模式識別和分類領域。

深卷積神經網絡(DCN)已經在分類問題(例如，圖像識別)中顯示了很好的性能。專用硬件加速器可被構建以啟用DCN技術在像移動計算和云計算等領域中的各種應用。DCN中的功率密集操作可以是矩陣-矩陣乘法和卷積。

若干技術可以降低計算開銷并改進DCN分類器的質量。然而，此類技術可以導致乘法操作數的增加的稀疏性(例如，由于降低數目的非零操作數導致的較高百分比的零值操作數)。例如，權重修剪可導致DCN中約30-70％的稀疏性。使用經校正線性單元(ReLU)激活可以造成DCN中約50％的稀疏性。DCN的退出者(僅用于訓練)可導致DCN中25-75％的稀疏性。具有高百分比的零值操作數的神經網絡可被稱為稀疏神經網絡。

概述

以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在標識出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是以簡化形式給出一個或多個方面的一些概念以作為稍后給出的更詳細描述之序言。

若干技術可以降低計算開銷并改進DCN分類器的質量。然而，此類技術可導致乘法操作數的增加的稀疏性。硬件加速器設計可以將稀疏性納入考慮以使計算單元利用最大化。例如，硬件加速器可被配置成避免在乘法累加約簡(MAR)單元中乘以零值操作數。

在本公開的一方面，提供了一種用于神經網絡的方法、計算機可讀介質、以及裝備。該裝備可包括硬件加速器。該裝備可為要由MAR單元處理的每一操作數對確定該對中的兩個操作數是否非零。該裝備可在要由MAR單元處理的操作數對中的一操作數為零時阻止該操作數對被加載到MAR單元的乘法器中。該裝備可在該操作數對的兩個操作數都非零時將該操作數對置于多個隊列之一中。