[發明專利]一種半精度浮點矩陣乘累加誤差的優化方法

在審

• 申請號: 202110480219.6
• 申請日: 2021-04-30
• 公開（公告）號: CN114217765A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 劉沙;陳德訓;劉鑫;黃則強;彭超;高捷;王宜鵬
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F7/487
• 分類號: G06F7/487;G06F17/16
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種半精度浮點矩陣乘累加誤差的優化方法，針對半精度浮點矩陣乘的分塊運算，在進行分塊結果累加計算時，先進行各分塊內部累加，再進行分塊間累加，具體包括以下步驟：S1、兩個形狀為M*K和K*N的矩陣進行半精度矩陣乘法時，如果K大于64，則將矩陣數據按kernel(M*N*K為8*32*32)進行分塊；S2、每組分塊中，對矩陣乘法的結果進行內部累加；S3、將S2中獲得的每組分塊的結果進行塊間累加。本發明有效緩解了由于半精度類型數據表示范圍較小導致的計算結果誤差較大的問題。

技術領域

本發明涉及一種半精度浮點矩陣乘累加誤差的優化方法，屬于深度學習技術領域。

背景技術

使用半精度浮點類型不僅能夠大幅度降低數據傳輸和存儲成本，進一步使用運算核中的向量計算部件進行計算，還能有效提高計算算子的運算速度。

矩陣乘是深度學習中占比很大的計算操作，目前矩陣乘運算中的累加操作是通過逐一累加的方式進行的，由于FP16半精度數據格式中的尾數只有10位，這樣的精度不足會造成部分數據進行加法操作時的精度損失，從而導致舍入誤差的問題。

以fp16格式為例，數據結構格式表示如附圖1所示，半精度數據在內存中儲存時長度為16位， 尾數只有10位，這樣短的尾數會導致FP16因精度不足而帶來舍入誤差：當兩個浮點數進行加減運算時，首先要使兩個數的階碼相同，即小數點的位置對齊，這個過程稱為對階。在對階時，規定使小階向大階看齊，通過小階的尾數算術右移來改變階碼；對階過程中，由于FP16只有10位的尾數，當小階的尾數右移超過11位時，會導致該數變為0，即以FP16表示的數，如果當大數與小數的比率大于2^11時，加減法運算結果出現較大誤差。

在Nvidia的GPU中提供了Tensor Core支持，由硬件提供了混合精度（FP16矩陣相乘和FP32相加）的方式，可以通過擴展乘法結果到FP32的方式應對累加運算時精度損失的問題，而在國產眾核處理器上缺少類似的硬件支持，只支持單純的FP16乘法和加法。

通常矩陣乘計算過程中分塊數據的累加是以逐個累加的方式進行加法運算，當累加次數較多時，累加結果可能數值較大，此時容易出現無法累加較小數據的情況，導致計算結果誤差較大的問題。

發明內容

本發明的目的針對現有技術中存在的問題和傳統矩陣乘的計算特點，提出一種國產眾核處理器上半精度矩陣乘累加誤差優化策略，降低半精度矩陣乘結果誤差。

為達到上述目的，本發明采用的技術方案是：提供一種半精度浮點矩陣乘累加誤差的優化方法，針對半精度浮點矩陣乘的分塊運算，在進行分塊結果累加計算時，先進行各分塊內部累加，再進行分塊間累加，具體包括以下步驟：

S1、兩個形狀為M*K和K*N的矩陣進行半精度矩陣乘法時，如果K大于64，則將矩陣數據按kernel(M*N*K為8*32*32)進行分塊；

S2、每組分塊中，對矩陣乘法的結果進行內部累加；

S3、將S2中獲得的每組分塊的結果進行塊間累加。

由于上述技術方案的運用，本發明與現有技術相比具有下列優點：

本發明一種半精度浮點矩陣乘累加誤差的優化方法，針對半精度浮點矩陣乘的分塊運算，在進行分塊結果累加計算時，先進行各分塊內部累加，再進行分塊間累加，有效緩解了由于半精度類型數據表示范圍較小導致的計算結果誤差較大的問題。

附圖說明

附圖1為FP16 半精度浮點類型格式示意圖；

附圖2為兩個方陣進行矩陣乘的示意圖。

具體實施方式

實施例：本發明提供一種半精度浮點矩陣乘累加誤差的優化方法，針對半精度浮點矩陣乘的分塊運算，在進行分塊結果累加計算時，先進行各分塊內部累加，再進行分塊間累加，有效緩解由于半精度類型數據表示范圍較小導致的計算結果誤差較大的問題，具體包括以下步驟：