[發明專利]一種針對深度學習半精度算子數據訪存對界處理方法

在審

• 申請號: 202110479722.X
• 申請日: 2021-04-30
• 公開（公告）號: CN114218141A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 劉鑫;劉沙;陳德訓;彭超;黃則強;高捷;王宜鵬
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F13/28
• 分類號: G06F13/28
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種針對深度學習半精度算子數據訪存對界處理方法，針對深度學習中算子的計算特點和張量空間分布，對多維張量的特定維度做4B對界處理，將四維張量的輸入數據按照實際參與計算的維度分為不同的類，分別使用不同的半精度數據對界處理方法；具體為，根據輸入的算子類型和輸入數據的計算維度，選擇不同的對界方法。本發明解決了異構眾核平臺上半精度算子DMA訪存的不對界問題，且不僅能降低內存空間的占用，還能有效減少對界處理的時間，提升對界處理的性能。

技術領域

本發明涉及一種針對深度學習半精度算子數據訪存對界處理方法，屬于深度學習技術領域。

背景技術

半精度數據類型占用內存較少，計算時間較短，能夠有效地提升深度學習訓練模型的性能，因而使用半精度數據類型實現算子對加速深度學習模型訓練有重要作用。

異構眾核平臺的控制核與計算核之間的數據傳輸主要通過DMA請求實現，DMA僅支持4B粒度的對界，這意味著DMA請求需要保證主存地址、計算核局存地址、傳輸數據量、跨步大小和跨步向量塊大小等參數均需滿足4B粒度對界的要求，而半精度浮點類型數據的長度為2B，因此對半精度數據的DMA讀取可能存在不對界的問題。

深度學習模型訓練過程中的計算數據以多維張量的格式分布，通常情況下的不對界處理會對每一維度做對界處理，這種方法雖然簡單易用，但會增加內存占用和對界處理時間。

發明內容

本發明的目的是針對深度學習算子實現中常見的半精度數據類型，提供一種簡易通用的對界處理方法，解決異構眾核平臺上半精度算子DMA訪存的不對界問題。

為達到上述目的，本發明采用的技術方案是：提供一種針對深度學習半精度算子數據訪存對界處理方法，針對深度學習中算子的計算特點和張量空間分布，對多維張量的特定維度做4B對界處理，將四維張量的輸入數據按照實際參與計算的維度分為不同的類，分別使用不同的半精度數據對界處理方法；

具體為，根據輸入的算子類型和輸入數據的計算維度，選擇不同的對界方法：

S1、對于一維計算，計算總數據量len=N*C*H*W，若len為奇數，單個半精度浮點數為2B，不滿足對界要求，在len的最末尾添加一個0，使之滿足對界同時不影響計算結果；

S2、對于包括softmax、fc、pool、spatialBN的二維計算，實際計算是以二維的方式計算，對于一個N*M的二維張量，在二維張量增加一行0或增加一列0 ，使得M或N為偶數以滿足對界，分別為：

當需要增加一行0時，設M=C*H*W，則在N*C*H*W的末尾增加C*H*W個0；

二維張量增加一列0的對界方法在四維張量中對界策略分為以下三種：

1、對于fc和softmax算子，設M=C*H*W，在四維張量中，在每個C*H*W后末尾加一個0；

2、 對于spatialBN算子，在每個H*W*的末尾添加一個0，以滿足跨步大小對界；

3、對于pool算子，在每個W末尾添加一個0，以滿足W維度4B對界，；

S3、對于三維計算，實際計算是以三維張量參與實際計算，為N、C、H*W，其中，H*W維度的對界策略可歸為S2中的二維數組對界，C維度的對界策略為在每個C*H*W末尾增加H*W個0，使得C和H*W均為偶數以便滿足4B對界。

由于上述技術方案的運用，本發明與現有技術相比具有下列優點：

本發明一種針對深度學習半精度算子數據訪存對界處理方法，對深度學習算子的半精度類型張量的運算有較好的支持，四維以下的張量數據都可以在異構眾核平臺實現半精度類型的運算，解決了異構眾核平臺上半精度算子DMA訪存的不對界問題，且不僅能降低內存空間的占用，還能有效減少對界處理的時間，提升對界處理的性能。

附圖說明

附圖1為本發明對界處理方法的示意圖；

附圖2為本發明對界處理方法的示意圖；