[發明專利]線內數據檢查以進行工作量簡化

有效

• 申請號: 201810980508.0
• 申請日: 2018-08-27
• 公開（公告）號: CN109426519B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: J·M·普爾;A·克爾;J·特蘭;M·Y·西烏;S·奧伯曼
• 申請（專利權）人: 輝達公司
• 主分類號: G06F9/30
• 分類號: G06F9/30
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;婁曉丹

公開了一種用于線內數據檢查的方法、計算機可讀介質和系統。該方法包括以下步驟：由加載/存儲單元接收加載指令，并通過耦合到加載/存儲單元的檢查電路獲得由加載指令指定的數據。附加步驟包括確定數據等于零并將數據和謂詞信號發送到加載/存儲單元，其中謂詞信號指示數據等于零。可選附加步驟包括基于數據和閾值之間的比較來計算謂詞值，以及將數據和謂詞值發送到加載/存儲單元，其中當數據小于閾值時斷言謂詞值并且當數據不小于閾值時否定謂詞值。

技術領域

本發明涉及數據檢查，并且更具體地，涉及程序指令執行期間的數據檢查。

背景技術

對于深度學習應用程序，卷積核通常對稀疏的數據進行操作，這意味著數據中的許多值等于零。稀疏性可以在激活中或在權重中。激活中的稀疏性源自神經網絡的前一層中的修正線性單元(ReLU)激活函數。當修剪神經網絡以提高精確度或減小模型尺寸時，出現權重中的稀疏性。對具有零值的元素執行算術運算在處理時間和性能方面是浪費的，因為算術運算對輸出沒有貢獻。需要解決與現有技術相關的這些問題和/或其他問題。

發明內容

公開了一種用于線內(inline)數據檢查的方法、計算機可讀介質和系統。該方法包括以下步驟：由加載/存儲單元接收加載指令，并由耦合到加載/存儲單元的檢查電路獲得由加載指令指定的數據。附加步驟包括確定數據等于零并將數據和謂詞(predicate)信號發送到加載/存儲單元，其中謂詞信號指示數據等于零。可選的附加步驟包括基于數據和閾值之間的比較來計算謂詞值，以及將數據和謂詞值發送到加載/存儲單元，其中當數據小于閾值時斷言謂詞值并且當數據不小于閾值時否定謂詞值。

附圖說明

圖1A示出了根據一個實施例的用于線內數據檢查的方法的流程圖；

圖1B示出了根據一個實施例的線內數據檢查邏輯的框圖；

圖1C示出了根據一個實施例的用于線內數據檢查的方法的另一流程圖；

圖2A示出了根據一個實施例的圖1B中所示的檢查電路的框圖；

圖2B示出了根據一個實施例的發起線內數據檢查的指令的字段；

圖2C示出了根據一個實施例的用于數據瓦片(a?tile?of?data)的算術運算的概念圖；

圖2D示出了根據一個實施例的包括發起線內數據檢查的指令的偽代碼；

圖3示出了根據一個實施例的并行處理單元；

圖4A示出了根據一個實施例的圖3的并行處理單元中的通用處理集群；

圖4B示出了根據一個實施例的圖3的并行處理單元的存儲器分區單元；

圖5示出了根據一個實施例的圖4A的流式多處理器；

圖6示出了示例性系統，其中可以實現各種先前實施例的各種體系架構和/或功能。

具體實施方式

避免對具有零值的操作數(即，元素)執行算術運算的一種解決方案是檢查已從存儲器加載并將用作算術運算的操作數的數據。然而，這種方法需要額外的指令來比較值并減少一些操作數上的比較結果。可用于存儲指令的指令發布時隙(issue?slots)的數量通常也限制了內核執行的性能，尤其是數學密集型內核。因此，如果執行算術運算，則額外指令可能損害內核的性能，并且如果不執行運算，則可實現的性能改進可能受到取指延遲的限制。

當輸入數據等于零時，線內數據檢查技術消除了算術運算(諸如乘法)的執行。因此，與現有技術相反，零檢測指令不包括在程序中。在一個實施例中，當輸入數據小于閾值時，線內數據檢查技術消除了運算的執行。因此，與現有技術相比，比較指令不包括在程序中。如前所述，由于處理單元內的指令的存儲是有限的，所以減少指令序列的指令占用(instruction?footprint)是重要的。不需要額外的指令來執行零檢測或輸入數據的比較。