[發明專利]信息處理設備、計算機可讀存儲介質和神經網絡計算方法

在審

• 申請號: 202011343338.9
• 申請日: 2020-11-25
• 公開（公告）號: CN113111998A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 坂井靖文
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;崔俊紅

提供了信息處理設備、計算機可讀存儲介質和神經網絡計算方法。處理器根據第一定點數格式將從訓練獲得的多個第一中間數據量化為第一定點數的中間數據，獲得第一中間數據與第一定點數的中間數據之間的第一量化誤差，根據第二定點數格式將第一中間數據量化為第二定點數的中間數據，并且獲得第一中間數據與第二定點數的中間數據之間的第二量化誤差。處理器將第一量化誤差與第二量化誤差進行比較，并將具有量化誤差中的較低量化誤差的定點數格式確定為確定的定點數格式，并且利用通過根據確定的定點數格式量化多個第一中間數據而獲得的定點數的中間數據來執行訓練運算。

技術領域

本發明涉及信息處理設備、神經網絡計算程序和神經網絡計算方法。

背景技術

近年來，神經網絡在諸如圖像識別領域的領域中已經取得了顯著的進展。在這樣的領域中，通過使用深度神經網絡(下文中稱為“DNN”)，即較復雜配置的神經網絡(下文中稱為“NN”)，改善了圖像識別率。利用具有較復雜配置的NN或DNN(下文中統稱為“NN等”)，增加了計算機的運算次數和存儲使用量。

作為減少在執行針對NN等的運算的計算機中的運算次數和存儲使用量的方法，提出了將中間數據包括例如NN等中的權重等參數和輸入至神經元的激活數據量化(或轉換)成具有低位數的定點數。例如，在.Rastegari等人的“XNOR-Net ImageNet ClassificationUsing Binary Convolutional Neural Networks”，arxiv，2016，日本公開特許公報第2018-124681號和日本專利申請公開第2018-10618號中公開了這樣的方法。通過量化中間數據以減少位數，實現了減少中間數據的運算量和用于存儲中間數據的存儲量。即使通過量化可以表示的中間數據的準確度低，NN等的圖像識別率也不會顯著下降。另一項現有技術是A.Canziani等人的“An Analysis of Deep Neural Network Models for PracticalApplications”，arxiv，2016。

發明內容

已經提出了一種方法，在該方法中，當將中間數據量化為定點數時，基于中間數據中的作為無符號位(如果符號位為0，則無符號位意為“1”，或者如果符號位為1，則無符號位意為“0”)的最高有效位的位置的分布，來確定具有定點數的整數部分和小數部分的位寬的Q格式。日本專利申請公開第2018-124681號與此對應。

然而，盡管基于無符號最高有效位的位置的分布來確定Q格式使得能夠稍微適當地設置Q格式，但是這不一定確保檢測到最佳的Q格式。因此，在不期望的情況下，中間數據的有效位(或有效的位)(即為無符號位，當為正時為“1”，當為負時為“0”)的位置可能與Q格式的位范圍的位置顯著不同，從而導致由量化(或轉換)為定點數所引起的量化誤差的增加。在這種情況下，NN等的識別精度和準確率會顯著下降。

因此，本實施方式的第一方面的目的是提供減少量化誤差的信息處理設備、神經網絡計算程序和神經網絡計算方法。

根據實施方式的一方面，提供了一種執行神經網絡的訓練的信息處理設備，該信息處理設備包括：處理器和由該處理器訪問的存儲器，其中，該處理器：根據具有第一位長度的第一定點數格式和定點數的最低有效位的第一指數信息，將通過訓練的預定運算獲得的多個第一中間數據分別量化為多個第一定點數的中間數據；分別獲得多個第一中間數據與多個第一定點數的中間數據之間的第一量化誤差；根據具有第二位長度的第二定點數格式和定點數的最低有效位的第二指數信息，將多個第一中間數據分別量化為多個第二定點數的中間數據；分別獲得多個第一中間數據與多個第二定點數的中間數據之間的第二量化誤差；將第一量化誤差與第二量化誤差進行比較，并將具有第一量化誤差和第二量化誤差中的較低量化誤差的定點數格式確定為確定的定點數格式；并且利用通過根據確定的定點數格式量化多個第一中間數據而獲得的多個確定的定點數的中間數據來執行預定運算。

附圖說明

圖1是示出深度神經網絡(DNN)的配置的示例的圖。