[發明專利]可擴展多精度數據流水線系統和方法

有效

• 申請號: 202110485500.9
• 申請日: 2021-04-30
• 公開（公告）號: CN113419779B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 汪一;齊崢;王輝;李政
• 申請（專利權）人: 黑芝麻智能科技（重慶）有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06N3/063
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 景懷宇

1.一種可擴展多精度數據流水線系統，包括：

本地緩存器，其以本地存儲格式存儲輸入本地數據集，其中所述本地存儲格式為32位定點、16位定點或8位定點；

耦接到所述本地緩存器的輸入張量整形器，其讀取所述輸入本地數據集，并將所述輸入本地數據集轉換為輸入張量數據集，所述輸入張量數據集具有向量寬度N乘以張量長度L的二維張量格式，其中N和L是整數；

耦接到所述輸入張量整形器的級聯流水線，其使所述輸入張量數據集路由通過至少一個函數級，從而得到輸出張量數據集；以及

所述至少一個函數級內的逐元素級，其沿著所述張量長度L在逐個元素的基礎上處理所述輸入張量數據集；

耦接到所述級聯流水線的輸出張量整形器，其將所述輸出張量數據集轉換為具有所述本地存儲格式的輸出本地數據集；并且

其中，所述輸出張量整形器將所述輸出本地數據集寫入所述本地緩存器。

2.根據權利要求1所述的可擴展多精度數據流水線系統，進一步包括耦接到所述級聯流水線的封裝器，其用于將多個函數級融合成融合運算。

3.根據權利要求1所述的可擴展多精度數據流水線系統，其中，所述級聯流水線允許以內聯方式計算多個運算，并節省存儲器帶寬。

4.根據權利要求1所述的可擴展多精度數據流水線系統，進一步包括所述至少一個函數級內的逐張量級，其處理所述輸入張量數據。

5.根據權利要求1所述的可擴展多精度數據流水線系統，進一步包括所述至少一個函數級內的量化調整器，其通過所述至少一個函數級動態地調整量化。

6.根據權利要求1所述的可擴展多精度數據流水線系統，其中，所述至少一個函數級保留中間步驟值的定點表示法，并定義局部優化的數據表示，以實現動態范圍。

7.根據權利要求6所述的可擴展多精度數據流水線系統，其中，所述中間步驟值包括輸入值、結果值和輸出值中的至少一個。

8.根據權利要求1所述的可擴展多精度數據流水線系統，進一步包括所述至少一個函數級內的歸一化器，所述歸一化器將相對較大范圍的所述輸入張量數據集標準化為較小的范圍。

9.根據權利要求7所述的可擴展多精度數據流水線系統，進一步包括所述至少一個函數級內的查找級，其將經標準化的輸入張量數據集映射到索引存儲器存儲，所述索引存儲器存儲輸出所述經標準化的輸入張量數據集與用于確定存儲器存儲中的查找位置的參考值之間的差。

10.一種可擴展多精度數據流水線方法，包括：

讀取以本地存儲格式存儲的輸入本地數據集，其中所述本地存儲格式為32位定點、16位定點或8位定點；

將所述輸入本地數據集轉換為輸入張量數據集，所述輸入張量數據集具有向量寬度N乘以張量長度L的二維張量格式，其中N和L是整數；

使所述輸入張量數據集路由通過至少一個函數級，從而得到輸出張量數據集；

在所述至少一個函數級中，沿著所述張量長度L在逐個元素的基礎上處理所述輸入張量數據集；將所述輸出張量數據集轉換為具有所述本地存儲格式的輸出本地數據集；以及

將所述輸出本地數據集寫入本地緩存器。

11.根據權利要求10所述的可擴展多精度數據流水線方法，進一步包括將多個函數級封裝成融合運算。

12.根據權利要求10所述的可擴展多精度數據流水線方法，進一步包括在所述至少一個函數級中處理所述輸入張量數據集。

13.根據權利要求10所述的可擴展多精度數據流水線方法，進一步包括通過所述至少一個函數級動態地調整量化。