[發(fā)明專利]可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110485500.9
• 申請(qǐng)日: 2021-04-30
• 公開(kāi)（公告）號(hào): CN113419779B
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 汪一;齊崢;王輝;李政
• 申請(qǐng)（專利權(quán)）人: 黑芝麻智能科技（重慶）有限公司
• 主分類號(hào): G06F9/38
• 分類號(hào): G06F9/38;G06N3/063
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 景懷宇

一種可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)，包括：本地緩存器，其以本地存儲(chǔ)格式存儲(chǔ)輸入本地?cái)?shù)據(jù)集；耦接到本地緩存器的輸入張量整形器，其讀取輸入本地?cái)?shù)據(jù)集，并將輸入本地?cái)?shù)據(jù)集轉(zhuǎn)換為具有向量寬度N乘以張量長(zhǎng)度L的張量格式的輸入張量數(shù)據(jù)集；耦接到輸入張量整形器的級(jí)聯(lián)流水線，其使輸入張量數(shù)據(jù)集路由通過(guò)至少一個(gè)函數(shù)級(jí)，從而得到輸出張量數(shù)據(jù)集；耦接到級(jí)聯(lián)流水線的輸出張量整形器，其將輸出張量數(shù)據(jù)集轉(zhuǎn)換為具有本地存儲(chǔ)格式的輸出本地?cái)?shù)據(jù)集，并且其中輸出張量整形器將輸出本地?cái)?shù)據(jù)集寫入本地緩存器。

技術(shù)領(lǐng)域

本公開(kāi)涉及人工神經(jīng)網(wǎng)絡(luò)，并且尤其涉及提供了用于計(jì)算人工神經(jīng)網(wǎng)絡(luò)中的非線性和算術(shù)函數(shù)的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)和方法。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)中利用了非線性函數(shù)。大多數(shù)當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)依賴于中央處理單元?(CPU)和/或圖形處理單元(GPU)架構(gòu)來(lái)執(zhí)行非線性函數(shù)，這降低了硬件利用率/效率，并且在大多數(shù)計(jì)算均由硬件專用集成電路(ASIC)進(jìn)行時(shí)，停止或暫停數(shù)據(jù)管道，使得中間計(jì)算可返回CPU/GPU以執(zhí)行非線性計(jì)算，然后使用CPU/GPU來(lái)計(jì)算最終結(jié)果或者將中間結(jié)果再次發(fā)送回硬件。缺少可提供通用解決方案以滿足不同人工神經(jīng)網(wǎng)絡(luò)架構(gòu)的各種需求的通用架構(gòu)。

發(fā)明內(nèi)容

一種示例可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)，包括以下中的至少之一：本地緩存器，其以本地存儲(chǔ)格式存儲(chǔ)輸入本地?cái)?shù)據(jù)集；耦接到所述本地緩存器的輸入張量整形器，其讀取所述輸入本地?cái)?shù)據(jù)集，并將所述輸入本地?cái)?shù)據(jù)集轉(zhuǎn)換為輸入張量數(shù)據(jù)集，所述輸入張量數(shù)據(jù)集具有向量寬度N乘以張量長(zhǎng)度L的張量格式；耦接到所述輸入張量整形器的級(jí)聯(lián)流水線，其使所述輸入張量數(shù)據(jù)集路由通過(guò)至少一個(gè)函數(shù)級(jí)，從而得到輸出張量數(shù)據(jù)集；耦接到所述級(jí)聯(lián)流水線的輸出張量整形器，其將所述輸出張量數(shù)據(jù)集轉(zhuǎn)換為具有所述本地存儲(chǔ)格式的輸出本地?cái)?shù)據(jù)集，并且其中所述輸出張量整形器將所述輸出本地?cái)?shù)據(jù)集寫入所述本地緩存器。

在其中一個(gè)實(shí)施例中，所述的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)進(jìn)一步包括耦接到所述級(jí)聯(lián)流水線的封裝器，其用于將多個(gè)函數(shù)級(jí)融合成融合運(yùn)算。

在其中一個(gè)實(shí)施例中，所述級(jí)聯(lián)流水線允許以內(nèi)聯(lián)方式計(jì)算多個(gè)運(yùn)算，并節(jié)省存儲(chǔ)器帶寬。

在其中一個(gè)實(shí)施例中，所述的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)進(jìn)一步包括所述至少一個(gè)函數(shù)級(jí)內(nèi)的逐元素級(jí)，其沿著所述張量長(zhǎng)度L在逐個(gè)元素的基礎(chǔ)上處理所述輸入張量數(shù)據(jù)集。

在其中一個(gè)實(shí)施例中，所述的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)進(jìn)一步包括所述至少一個(gè)函數(shù)級(jí)內(nèi)的逐張量級(jí)，其處理所述輸入張量數(shù)據(jù)。

在其中一個(gè)實(shí)施例中，所述的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)進(jìn)一步包括所述至少一個(gè)函數(shù)級(jí)內(nèi)的量化調(diào)整器，其通過(guò)所述至少一個(gè)函數(shù)級(jí)動(dòng)態(tài)地調(diào)整量化。

在其中一個(gè)實(shí)施例中，所述至少一個(gè)函數(shù)級(jí)保留中間步驟值的定點(diǎn)表示法，并定義局部?jī)?yōu)化的數(shù)據(jù)表示，以實(shí)現(xiàn)動(dòng)態(tài)范圍。

在其中一個(gè)實(shí)施例中，所述中間步驟值包括輸入值、結(jié)果值和輸出值中的至少一個(gè)。

在其中一個(gè)實(shí)施例中，所述的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)進(jìn)一步包括所述至少一個(gè)函數(shù)級(jí)內(nèi)的歸一化器，所述歸一化器將所述輸入張量數(shù)據(jù)集標(biāo)準(zhǔn)化為較小的范圍。

在其中一個(gè)實(shí)施例中，所述的可擴(kuò)展多精度數(shù)據(jù)流水線系統(tǒng)進(jìn)一步包括所述至少一個(gè)函數(shù)級(jí)內(nèi)的查找級(jí)，其將經(jīng)標(biāo)準(zhǔn)化的輸入張量數(shù)據(jù)集映射到索引存儲(chǔ)器存儲(chǔ)，所述索引存儲(chǔ)器存儲(chǔ)輸出所述經(jīng)標(biāo)準(zhǔn)化的輸入張量數(shù)據(jù)集與用于確定存儲(chǔ)器存儲(chǔ)中的查找位置的參考值之間的差。

一種示例可擴(kuò)展多精度數(shù)據(jù)流水線方法，包括以下中的至少之一：讀取以本地存儲(chǔ)格式存儲(chǔ)的輸入本地?cái)?shù)據(jù)集；將所述輸入本地?cái)?shù)據(jù)集轉(zhuǎn)換為輸入張量數(shù)據(jù)集，所述輸入張量數(shù)據(jù)集具有向量寬度N乘以張量長(zhǎng)度L的張量格式；使所述輸入張量數(shù)據(jù)集路由通過(guò)至少一個(gè)函數(shù)級(jí)，從而得到輸出張量數(shù)據(jù)集；將所述輸出張量數(shù)據(jù)集轉(zhuǎn)換為具有所述本地存儲(chǔ)格式的輸出本地?cái)?shù)據(jù)集，并將所述輸出本地?cái)?shù)據(jù)集寫入本地緩存器。