[發明專利]一種防止數據溢出的方法、裝置和芯片

有效

• 申請號: 202010044318.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111258537B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F7/499
• 分類號: G06F7/499;G06N20/00
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本公開防止數據溢出的方法、裝置和芯片。其中該防止數據溢出的裝置可以包括在組合處理裝置中，該組合處理裝置還可以包括通用互聯接口和其他處理裝置。該防止數據溢出的裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。組合處理裝置還可以包括存儲裝置，該存儲裝置分別與防止數據溢出的裝置和其他處理裝置連接，用于防止數據溢出的裝置和其他處理裝置的數據服務。借助于本公開的內容，使得在CPU和機器學習單元交互的時候，數據從CPU拷到機器學習單元上時，數據在從float32浮點數格式數據轉換到float16浮點數格式數據的時候，不會出現float16浮點數格式數據因為狹窄的表示范圍造成的溢出問題。

技術領域

本公開涉及計算機領域，更具體地涉及一種防止數據溢出的方法、裝置和芯片。

背景技術

在現有技術使用的板卡上，由于在機器學習單元上的表示精度是float16浮點數格式，一個float16浮點數格式數據占據兩個字節，其中1位符號位，5位指數位，10位有效精度。數值計算公式為：(-1)^signbit*2^(e)*(1+significantbits)。一個float16浮點數格式數據最大值為：0 111101111111111＝(-1)^0*2^15*(1+1-2^-10)＝65504，最小值為：0000010000000000＝2^-14＝6.10*10^-5，即一個float16浮點數格式數據表示范圍是[6.10*10^-5,65504]。而在中央處理單元(CPU)上表示的精度是float32浮點數格式數據。

現有技術存在的缺陷在于，因為CPU和機器學習單元存在交互行為，數據從CPU拷貝到機器學習單元上，數據就從float32浮點數格式數據轉換到了float16浮點數格式數據。但是float16浮點數格式數據因為狹窄的表示范圍會帶來溢出問題。網絡的輸入、輸出或者權值表示的范圍超出了float16浮點數格式數據的表示范圍后，在機器學習單元上這個數值就會溢出(上溢或者下溢)。

發明內容

為了至少解決在上述背景技術部分所描述的問題，以避免數據的溢出，本公開提出了如下的技術方案。

根據本公開的第一方面，提供了一種防止數據溢出的方法，可以包括下面的步驟：

在數據上溢的情況下，將輸入數據先縮小n倍，然后在后續的輸出單元再放大相應的倍數；和/或

在數據下溢的情況下，將輸入數據先放大n倍，然后在后續的輸出單元再縮小相應的倍數。

根據本公開的第二方面，提供了一種用于防止數據溢出的裝置，可以包括：

處理器，其配置用于執行程序指令；以及

存儲器，其配置用于存儲程序指令，當程序指令由處理器加載并執行時，使得裝置執行根據上述的方法。

根據本公開的第三方面，提供了一種用于防止數據溢出的芯片，可以包括：

輸入端，其配置成用于接收輸入數據；

處理器，其配置成用于：

在數據上溢的情況下，將輸入數據先縮小n倍，然后在后續的輸出單元再放大相應的倍數；和/或

在數據下溢的情況下，將輸入數據先放大n倍，然后在后續的輸出單元再縮小相應的倍數。

借助于上述的技術方案，使得在CPU和機器學習單元交互的時候，數據從CPU拷到機器學習單元上，即數據在從float32浮點數格式數據轉換到float16浮點數格式數據的時候，不會出現float16浮點數格式數據因為狹窄的表示范圍造成的溢出問題。

附圖說明

圖1示意性示出了現有技術中CPU的批量歸一化層(bn層)的計算邏輯圖。

圖2示意性示出了根據本公開一個實施例的防止數據溢出的方法流程圖；