[發明專利]非暫態計算機可讀記錄介質、操作方法和操作設備

在審

• 申請號: 202210933289.7
• 申請日: 2022-08-04
• 公開（公告）號: CN116108915A
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 橋本鐵太郎
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06N3/084
• 分類號: G06N3/084;G06N3/082;G06N3/047;G06N3/048;G06N3/0464
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王偉楠;崔俊紅

公開了非暫態計算機可讀記錄介質、操作方法和操作設備。非暫態計算機可讀記錄介質存儲用于使計算機執行處理的操作程序，所述處理包括：在學習模型中包括的層中的每一層中利用高精度數據類型執行第一學習；在第一學習中執行量化的情況下，基于與第一量化誤差以及通過量化誤差的累積引起的衰減的程度相對應的閾值，計算在層中的每一層中要用于量化的位數；以及重復地執行第二學習，直到第二學習收斂，第二學習包括基于所計算的層中的每一層的位數的數據類型的量化。

技術領域

本文討論的實施方式涉及存儲操作程序的非暫態計算機可讀存儲介質、操作方法和計算器。

背景技術

通過增加深度神經網絡(DNN)的規模和深度，已經提高了DNN的識別率。然而，規模和深度的增加增加了DNN中的運算量，并且DNN的學習時間也與運算量的增加成比例地增加。

為了縮短DNN的學習時間，可以將浮點8位(FP8)或浮點16位(FP16)的低精度運算(LPO)用于DNN的學習(訓練)。例如，在使用FP8的運算時，由于與浮點32位(FP32)的運算相比單指令多數據(SIMD)運算的并行度可以增加四倍，因此運算時間可以縮短到1/4。與FP8或FP16的LPO相比，FP32的運算可以稱為全精度運算(FPO)。例如，通過減少數據的位數而將DNN的運算從FPO改變為LPO的情況(例如FP32被改變為FP8的情況)可以被稱為量化。FPO和LPO被混合的DNN的運算可以被稱為混合精度運算(MPO)。在使用MPO的DNN學習中(混合精度訓練：MPT)，由于針對識別率由于量化而降低的層執行FPO，因此執行LPO的層和執行FPO的層共存。

作為用于抑制由于量化而引起的識別率降低的方法，存在如下技術：該技術用于通過由FPO執行累加來在輸出時執行量化，同時通過對數據進行量化來增加SIMD運算的并行度。存在另一種用于通過用高精度信息表示加權因子來在運算時執行量化的技術。存在用于通過FPO來更新加權因子的技術。

日本公開特許公報第2020-113273號和美國專利申請公開第2020/0143282號作為相關技術被公開。

發明內容

技術問題

在由MPT執行學習的情況下，期望設置用于確定其中由FPO執行運算的層的標準。然而，由于使用FPO的層根據學習的階段而改變，因此難以預先確定使用FPO的層。

例如，在用于通過FPO執行累加的技術、用于使用加權因子在運算時執行量化的技術以及用于通過FPO更新加權因子的技術的所有技術中，執行量化的層被預先確定，并且難以根據學習階段確定執行FPO的層。

因此，考慮到上述情況做出了本公開內容，并且本公開內容的目的是提供縮短學習模型的學習時間同時提高識別率的存儲操作程序的計算機可讀記錄介質、操作方法和計算器。

問題解決方法

根據實施方式的一方面，提供了一種非暫態計算機可讀記錄介質，其存儲用于使計算機執行處理的操作程序，所述處理包括：在學習模型中包括的層中的每一層中利用高精度數據類型執行第一學習；在第一學習中執行量化的情況下，基于與第一量化誤差相對應的閾值以及通過量化誤差的累積引起的衰減的程度，計算在層中的每一層中要用于量化的位數；以及重復地執行第二學習，直到第二學習收斂，第二學習包括針對層中的每一層的基于所計算的位數的數據類型的量化。

發明的有益效果

根據本公開內容，可以在縮短DNN的學習時間的同時提高識別率。

附圖說明

圖1是示出DNN的配置的示例的圖；

圖2是用于描述由動態范圍引起的量化誤差的圖；

圖3是DNN學習裝置的框圖；

圖4是示出在ResNet-50的情況下與誤差的大小相對應的衰減的圖；