[發明專利]用于處理單元的數據處理方法、電子設備和計算機可讀存儲介質

有效

• 申請號: 202110258250.5
• 申請日: 2021-03-09
• 公開（公告）號: CN112835551B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海壁仞智能科技有限公司
• 主分類號: G06F7/523
• 分類號: G06F7/523
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

本公開的實施例涉及用于處理數據的方法，涉及計算機領域。方法包括：在第m個時鐘周期，確定第一指數值；在第m+1個時鐘周期，將兩個n維向量輸入到處理單元中以用于確定n個第二指數值，第二指數值是一個n維向量中的一個浮點數的指數與另一n維向量中的相應浮點數的指數之和；確定第一指數值和所確定的n個第二指數值中的最大值；確定n個第二指數值中是否存在目標第二指數值，目標第二指數值與最大值之間的差的絕對值大于或者等于第一閾值；以及響應于確定存在目標第二指數值，則在m+1時鐘周期期間，不執行與目標第二指數值相對應的兩個浮點數的乘法運算。通過本公開的數據處理方法，能夠在處理單元中省略到一些數據的乘法運算，因此節省功耗。

技術領域

本公開的實施例涉及一種信息處理領域，尤其是用于處理單元的數據處理方法、電子設備和計算機可讀存儲介質。

背景技術

通用矩陣乘法(GEMM)算術邏輯單元(ALU)在計算密集型計算(例如各種AI應用程序)中起著核心作用。脈動陣列已成為大規模GEMM ALU的最新實現方式。在脈動陣列的基本處理單元中，通常執行融合的乘法和加法運算，也就是兩個向量的點積運算。為了在每個基本處理單元中實現融合的乘法和加法運算，在該基本處理單元中，需要執行大量的乘法和這些乘法結果的加法運算。

傳統的用于處理單元的數據處理方案，難以有效解決大型脈動陣列的功耗高這一設計瓶頸。

發明內容

本公開提供了一種用于處理單元的數據處理方法、電子設備和計算機可讀存儲介質，能夠有效節省處理單元(特別基于脈動陣列的處理單元)的計算資源，降低算術運算單元的功耗。

根據本公開的一個方面，提供用于處理單元的數據處理方法，包括：在第m個時鐘周期，確定作為在處理單元中執行的第一點積運算的結果的浮點數的第一指數值，m為大于或者等于1的正整數；在第m+1個時鐘周期，將兩個n維向量輸入到處理單元中以用于確定n個第二指數值，第二指數值是通過兩個n維向量中的一個n維向量中的一個浮點數的指數與另一n維向量中的相應浮點數的指數相加而獲得的，n為大于等于1的正整數；確定第一指數值和所確定的n個第二指數值中的最大值；確定n個第二指數值中是否存在目標第二指數值，目標第二指數值與最大值之間的差的絕對值大于或者等于第一閾值；以及響應于確定n個第二指數值中存在目標第二指數值，則在m+1時鐘周期期間，在處理單元中，不執行與目標第二指數值相對應的兩個浮點數的乘法運算。

根據本公開的二個方面，提供一種電子設備，該電子設備包括：處理器；以及與處理器耦合的存儲器，存儲器具有存儲于其中的指令，指令在被處理器執行時使電子設備執行動作，動作包括：在第m個時鐘周期，確定作為在處理單元中執行的第一點積運算的結果的浮點數的第一指數值，m為大于或者等于1的正整數；在第m+1個時鐘周期，將兩個n維向量輸入到處理單元中以用于確定n個第二指數值，第二指數值是通過兩個n維向量中的一個n維向量中的一個浮點數的指數與另一n維向量中的相應浮點數的指數相加而獲得的，n為大于等于1的正整數；確定第一指數值和所確定的n個第二指數值中的最大值；確定n個第二指數值中是否存在目標第二指數值，目標第二指數值與最大值之間的差的絕對值大于或者等于第一閾值；以及響應于確定n個第二指數值中存在目標第二指數值，則在m+1時鐘周期期間，在處理單元中，不執行與目標第二指數值相對應的兩個浮點數的乘法運算。

根據本公開的三個方面，提供一種計算機可讀存儲介質，其上存儲有計算機指令，所述計算機指令被機器執行時實現本公開第一方面的所述方法。

根據本公開的一個實施例，響應于確定n個第二指數值中不存在目標第二指數值，則在第m+1個時鐘周期期間，在處理單元中，可以執行針對兩個n維向量中的所有數據的乘法運算。

根據本公開的一個實施例，處理單元可以包括寄存器；以及第一閾值與存儲在寄存器中的浮點數的尾數的位數的差的絕對值可以小于第二閾值。