[發明專利]神經網絡運算設備以及操作其的方法

在審

• 申請號: 202111105901.3
• 申請日: 2021-09-22
• 公開（公告）號: CN114861897A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 俞炯碩;金愈珍;樸性旭;樸炫宣;李世煥;張準祐;朱德賑
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 張川緒;史泉

公開了一種神經網絡運算設備以及操作其的方法。所述方法包括：接收用于神經網絡運算的數據；驗證在與第一運算裝置對應的第一數據遍歷路徑和與第二運算裝置對應的第二數據遍歷路徑之間是否發生競爭；使用驗證的結果和第一數據遍歷路徑與第二數據遍歷路徑之間的優先級，從所述數據之中確定第一操作數數據和第二操作數數據；將第一操作數數據發送到第一運算裝置，將第二操作數數據發送到第二運算裝置；以及通過第一運算裝置基于第一操作數數據執行神經網絡運算，并通過第二運算裝置基于第二操作數數據執行神經網絡運算。

本申請要求于2021年2月5日在韓國知識產權局提交的第10-2021-0016943號韓國專利申請和于2021年3月19日在韓國知識產權局提交的第10-2021-0036060號韓國專利申請的權益，所有的所述韓國專利申請的全部公開出于所有目的通過引用包含于此。

技術領域

下面的描述涉及神經網絡運算設備以及操作其的方法。

背景技術

神經網絡或人工神經網絡(ANN)可生成輸入模式與輸出模式之間的映射，并且可具有針對尚未用于訓練的輸入模式生成相對正確的輸出的能力。神經處理器被設計為加速神經網絡的運算。加速神經網絡運算可涉及通過最小化作為神經網絡運算的核的乘法運算的數量來減少獲得輸出的時間。

為了高效的神經網絡運算，已經使用了各種技術(諸如，修剪(pruning)和量化(quantization))。

修剪是一種涉及去除作為神經網絡的元素的節點、權重和連接的壓縮的方法。修剪意在在提高神經網絡的效率的同時保持神經網絡的準確性。

修剪和量化利用稀疏度來高效地執行神經網絡運算。然而，當稀疏度被利用時，在運算裝置之間可能發生負載不平衡。也就是說，由于應該從布置的運算集排除的元素集中在特定裝置上，所以不均勻的負載被施加到所有裝置，這可能導致性能的降低。

發明內容

提供本發明內容來以簡化的形式介紹在以下具體實施方式中進一步描述的構思的選擇。本發明內容不意在確認要求權利的主題的關鍵特征或必要特征，也不意在用于幫助確定要求權利的主題的范圍。

在一個總體方面，提供了一種操作神經網絡運算設備的方法，所述方法包括：接收用于神經網絡運算的數據；驗證在與第一運算裝置對應的第一數據遍歷路徑和與第二運算裝置對應的第二數據遍歷路徑之間是否發生競爭；使用驗證的結果和第一數據遍歷路徑與第二數據遍歷路徑之間的優先級，從所述數據之中確定第一操作數數據和第二操作數數據；將第一操作數數據發送到第一運算裝置并將第二操作數數據發送到第二運算裝置；以及通過第一運算裝置基于第一操作數數據執行神經網絡運算，并通過第二運算裝置基于第二操作數數據執行神經網絡運算。

在一個總體方面，提供了一種神經網絡運算設備，所述神經網絡運算設備包括：接收器，被配置為接收用于神經網絡運算的數據；以及處理器，被配置為：驗證在與第一運算裝置對應的第一數據遍歷路徑和與第二運算裝置對應的第二數據遍歷路徑之間是否發生競爭，使用驗證的結果和第一數據遍歷路徑與第二數據遍歷路徑之間的優先級從所述數據之中確定第一操作數數據和第二操作數數據，將第一操作數數據發送到第一運算裝置并將第二操作數數據發送到第二運算裝置，并且通過第一運算裝置基于第一操作數數據執行神經網絡運算，并通過第二運算裝置基于第二操作數數據執行神經網絡運算。

在一個總體方面，提供了一種操作神經網絡運算的方法，所述方法包括：接收用于神經網絡運算的數據；驗證在與第一運算裝置對應的第一數據遍歷路徑和與第二運算裝置對應的第二數據遍歷路徑之間是否發生競爭；使用驗證的結果和第一數據遍歷路徑與第二數據遍歷路徑之間的優先級從所述數據之中確定第一操作數數據和第二操作數數據；以及基于第一操作數數據和第二操作數數據執行神經網絡運算。

所述方法可包括：確定是否跳過針對所述數據之中的第一數據遍歷路徑和第二數據遍歷路徑上的數據的運算。