[發(fā)明專利]張量浮點數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011335691.2
• 申請日: 2020-11-25
• 公開（公告）號: CN112130807B
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 石恒
• 申請（專利權(quán)）人: 上海燧原科技有限公司
• 主分類號: G06F7/57
• 分類號: G06F7/57
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開了一種張量浮點數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)，根據(jù)張量中多個浮點數(shù)據(jù)的指數(shù)部和預(yù)設(shè)公共指數(shù)編碼長度確定公共指數(shù)編碼；依次遍歷多個浮點數(shù)據(jù)，根據(jù)目標浮點數(shù)據(jù)的目標指數(shù)部和公共指數(shù)編碼確定第一差值；根據(jù)目標浮點數(shù)據(jù)的目標指數(shù)部和預(yù)設(shè)公共指數(shù)編碼長度確定獨立指數(shù)編碼；根據(jù)第一差值對目標浮點數(shù)據(jù)的目標字長部進行右移，右移時目標字長部首部補入第一補位編碼，得到待裁剪的目標字長部；根據(jù)預(yù)設(shè)公共指數(shù)編碼長度和預(yù)設(shè)編碼長度確定目標字長部的目標字長長度；根據(jù)目標字長長度舍入待裁剪的目標字長部，得到字長編碼；根據(jù)獨立指數(shù)編碼、目標浮點數(shù)據(jù)的標志位和字長編碼確定目標浮點數(shù)據(jù)的目標編碼，提高計算效率。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種張量浮點數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著機器學(xué)習(xí)技術(shù)的發(fā)展，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用及其訓(xùn)練得到廣泛應(yīng)用。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)主要采用浮點數(shù)進行計算，浮點數(shù)例如IEEE754規(guī)定的FP16和FP32。

當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練對數(shù)值的動態(tài)范圍以及相對精度的要求不高時，使用FP16和FP32等浮點數(shù)格式存在較多的冗余數(shù)據(jù)，冗余數(shù)據(jù)導(dǎo)致輸入輸出帶寬增加，降低計算效率。此外，目前存在8比特的低精度浮點數(shù)，但在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，8比特浮點數(shù)由于其精度過低，導(dǎo)致很難擴展使用到大部分的神經(jīng)網(wǎng)絡(luò)訓(xùn)練場景中?？梢奆P16和FP32以及8比特浮點數(shù)存在各自的問題，如何在保證精度的同時降低帶寬，以提高計算效率，成為亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明提供一種張量浮點數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)，以實現(xiàn)在保證精度的同時降低帶寬，提高計算效率。

第一方面，本發(fā)明實施例提供了一種張量浮點數(shù)據(jù)處理方法，包括：

獲取張量數(shù)據(jù)，張量數(shù)據(jù)包括多個浮點數(shù)據(jù)；

根據(jù)多個浮點數(shù)據(jù)的指數(shù)部和預(yù)設(shè)公共指數(shù)編碼長度確定公共指數(shù)編碼，公共指數(shù)編碼為多個浮點數(shù)據(jù)的共同使用的指數(shù)部；

依次遍歷多個浮點數(shù)據(jù)，根據(jù)目標浮點數(shù)據(jù)的目標指數(shù)部和公共指數(shù)編碼確定第一差值，目標浮點數(shù)據(jù)為當(dāng)前遍歷的浮點數(shù)據(jù)；

根據(jù)目標浮點數(shù)據(jù)的目標指數(shù)部和預(yù)設(shè)公共指數(shù)編碼長度確定獨立指數(shù)編碼，獨立指數(shù)編碼為目標浮點數(shù)據(jù)自用的指數(shù)編碼；

根據(jù)第一差值對目標浮點數(shù)據(jù)的目標字長部進行右移，右移時目標字長部首部補入第一補位編碼，得到待裁剪的目標字長部；

根據(jù)預(yù)設(shè)公共指數(shù)編碼長度和預(yù)設(shè)編碼長度確定目標字長部的目標字長長度；

根據(jù)目標字長長度舍入待裁剪的目標字長部，得到字長編碼；

根據(jù)獨立指數(shù)編碼、目標浮點數(shù)據(jù)的標志位和字長編碼確定目標浮點數(shù)據(jù)的目標編碼，預(yù)設(shè)編碼長度為目標編碼的長度；

當(dāng)遍歷完畢時，根據(jù)公共指數(shù)編碼以及多個浮點數(shù)據(jù)對應(yīng)的多個目標編碼確定張量的編碼數(shù)據(jù)。

第二方面，本發(fā)明實施例還提供了一種張量浮點數(shù)據(jù)處理方法，包括：

獲取張量的編碼數(shù)據(jù)，編碼數(shù)據(jù)包括公共指數(shù)編碼和多個目標編碼，公共指數(shù)編碼為多個浮點數(shù)據(jù)的共同使用的指數(shù)部，每個目標編碼和公共指數(shù)編碼用于表示一個目標浮點數(shù)據(jù)；

遍歷多個目標編碼，獲取當(dāng)前遍歷的目標編碼的獨立指數(shù)編碼、標志位和字長編碼；

根據(jù)公共指數(shù)編碼和獨立指數(shù)編碼確定臨時指數(shù)部；

根據(jù)字長編碼首部的第一補位編碼確定第二差值；

根據(jù)第二差值和臨時指數(shù)部確定目標指數(shù)部；

根據(jù)第二差值左移字長編碼，并在字長編碼的尾部補充第二補位編碼，得到目標浮點數(shù)據(jù)的還原字長部；