[發明專利]用于神經網絡稀疏信道生成和推斷的方法

有效

• 申請號: 202011039200.X
• 申請日: 2020-09-28
• 公開（公告）號: CN113078974B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 郭敏
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: H04B17/391
• 分類號: H04B17/391;G06N3/0464
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

公開了用于加速利用稀疏信道的神經網絡(NN)模型的推斷操作的方法。離線方法通過將與稀疏信道相關聯的信道核合并為一個信道核，將一層的稀疏信道合并為一個合并后的稀疏信道。該方法重新訓練合并后的稀疏信道的信道核，同時保持用于密集信道的信道核固定，以修改信道模型。可以確定合并后的稀疏信道的重新訓練的信道核的稀疏度并將其存儲在元數據中。當修改后的信道模型在線時，該方法可以將合并后的稀疏信道的重新訓練的信道核的稀疏度與稀疏推斷閾值進行比較，以確定是否對合并后的稀疏信道進行推斷。可以動態地調整稀疏推斷閾值，以在NN模型的速度和準確性之間達到平衡。

技術領域

本公開的實施方式總體上涉及機器學習。更具體地，本公開的實施方式涉及用于通過人工智能應用中的機器學習引擎或神經網絡進行推斷的軟件模型的生成和使用。

背景技術

神經網絡用于諸如計算機視覺、自然語言處理、機器人技術和自動駕駛車輛(ADV)等應用中。例如，神經網絡可以以自動駕駛模式運行(例如，無人駕駛)車輛，可將乘員、尤其是駕駛員從一些駕駛相關的職責中解放出來。當以自動駕駛模式運行時，車輛可使用車載傳感器導航到各個位置，從而允許車輛在最少人機交互的情況下或在沒有任何乘客的一些情況下行駛。神經網絡可以通過處理由車載傳感器捕獲的車輛周圍環境的視頻和電磁圖像來生成命令，以規劃和控制車輛的運動。例如，神經網絡可以生成或訓練用于在自主模式下的感知、預測、決策、規劃和/或控制過程的一組規則、算法和/或預測模型。

運動規劃和控制操作的準確性和效率在很大程度上取決于神經網絡使用的模型。神經網絡中的模型可以使用矩陣或更一般地使用多維張量來處理輸入信道數據(諸如通過一個或多個層的傳感器捕獲的視頻和電磁圖像)，以得出特征圖輸出。神經網絡模型的每一層可以計算來自前一層的輸入信道數據的表示，以使用與該層的輸出信道(也稱為信道矩陣或信道核)相對應的矩陣來推斷一個或多個輸出信道。矩陣的密度或相反地稀疏度可以是矩陣的零或接近零的參數數量的度量。稀疏度可能會影響推斷計算的速度，因為在執行矩陣乘法時，可能會跳過與零或接近零的參數關聯的乘法和加法運算。

大多數神經網絡模型都是為密集矩陣設計的。為了加速推斷操作，神經網絡加速器可以利用模型中矩陣的稀疏度。例如，神經網絡加速器可以通過僅對密集信道執行推斷操作來削減其相應信道矩陣具有大量零或接近零的參數的稀疏信道。但是，這種削減算法可能會降低量化和推斷操作后的輸出特征圖的準確性，尤其是在通過多層來傳播錯誤時。削減信道的選擇也可能很嚴格。

發明內容

根據本公開的一方面，提供了用于操作神經網絡模型的推斷層的計算機實施的方法，所述方法包括：

讀取所述神經網絡模型的推斷層的元數據，所述推斷層包括多個信道，并且所述元數據包括與所述多個信道相對應的多個信道核的信道稀疏度度量；

將與所述多個信道中的一個信道相對應的所述信道核的所述信道稀疏度度量與稀疏推斷閾值進行比較；以及

響應于確定對應所述一個信道的所述信道核的所述信道稀疏度度量大于所述稀疏推斷閾值，控制所述一個信道的推斷操作。

根據本公開的另一方面，提供了數據處理系統，包括：

處理器；

存儲器，所述存儲器聯接至所述處理器，以存儲指令，所述指令在由所述處理器執行時致使所述處理器執行操作，所述操作包括：

讀取神經網絡模型的推斷層的元數據，所述推斷層包括多個信道，并且所述元數據包括與所述多個信道相對應的多個信道核的信道稀疏度度量；

將與所述多個信道中的一個信道相對應的所述信道核的所述信道稀疏度度量與稀疏推斷閾值進行比較；以及

響應于確定對應所述一個信道的所述信道核的所述信道稀疏度度量大于所述稀疏推斷閾值，控制所述一個信道的推斷操作。