[發明專利]基于芯片的融合算子處理方法、裝置及相關產品

在審

• 申請號: 202210450175.7
• 申請日: 2022-04-27
• 公開（公告）號: CN114996648A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 安徽寒武紀信息科技有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 吳會英;臧建明

本申請提供一種的基于芯片的融合算子處理方法、裝置及相關產品，具體應用于數據處理技術領域。方案包括：從芯片的存儲裝置上按照順序依次將矩陣單元加載到芯片上的計算裝置上，矩陣單元是按照預設的矩陣單元維度對目標矩陣進行矩陣拆分獲得的；采用計算裝置迭代計算每一個矩陣單元的歸一化分母并求和，并確定每一個矩陣單元的TopK值并迭代處理，直至得到目標矩陣中全部矩陣單元的歸一化分母之和以及目標矩陣對應的TopK值；采用計算裝置根據目標矩陣對應的TopK值，計算每個TopK值的歸一化分子；采用計算裝置根據目標矩陣對應的歸一化分母之和及每個TopK值的歸一化分子，得到目標矩陣的融合算子的處理結果。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種基于芯片的融合算子處理方法、裝置及相關產品。

背景技術

隨著人工智能及數字電子技術的不斷發展，各種人工智能芯片的快速發展對于數據處理的要求越來越高。

目前在人工智能領域的自然語言人機交互技術中，快速編解碼(英文為：fast-transformer)網絡模型由于具有強大的語義表達能力，所以被廣泛使用。在fast-transformer網絡模型進行分類時，一般先采用全連接層將特征表示矩陣映射到樣本標記空間，然后采用softmax分類器進行分類，最終取出最優的TopK種分類結果。

而目前在采用芯片處理fast-transformer網絡模型分類運算時，由于特征表示矩陣的維度很大，而在芯片上的計算裝置的空間有限，所以需要從芯片的存儲裝置中進行大量的IO操作，并且目前采用芯片處理fast-transformer網絡模型分類運算時的處理過程會產生大量的冗余計算，進而導致對數據的處理效率較低。

發明內容

本申請提供一種基于芯片的融合算子處理方法、裝置及相關產品，用以解決現有技術中采用芯片處理fast-transformer網絡模型分類運算時，需要從芯片的存儲裝置中進行大量的IO操作，并且目前采用芯片處理fast-transformer網絡模型分類運算時的處理過程會產生大量的冗余計算，進而導致對數據的處理效率較低的技術問題。

第一方面，本申請提供一種基于芯片的融合算子處理方法，包括：

從芯片的存儲裝置上按照順序依次將矩陣單元加載到芯片上的計算裝置上；其中，所述矩陣單元是按照預設的矩陣單元維度對所述目標矩陣進行矩陣拆分獲得的；所述順序是將目標矩陣拆分成矩陣單元時獲得的；

采用所述芯片的計算裝置迭代計算每一個矩陣單元的歸一化分母并求和，并確定每一個矩陣單元的TopK值并迭代處理，直至得到所述目標矩陣中全部矩陣單元的歸一化分母之和以及所述目標矩陣對應的TopK值；

采用所述計算裝置根據所述目標矩陣對應的TopK值，計算每個TopK值的歸一化分子；

采用所述計算裝置根據所述目標矩陣對應的歸一化分母之和及所述每個TopK值的歸一化分子，得到所述目標矩陣的融合算子的處理結果。

第二方面，本申請提供一種基于芯片的融合算子處理裝置，包括：

加載單元，用于從芯片的存儲裝置上按照順序依次將矩陣單元加載到芯片上的計算裝置上；其中，所述矩陣單元是按照預設的矩陣單元維度對所述目標矩陣進行矩陣拆分獲得的；所述順序是將目標矩陣拆分成矩陣單元時獲得的；

迭代處理單元，用于采用所述芯片的計算裝置迭代計算每一個矩陣單元的歸一化分母并求和，并確定每一個矩陣單元的TopK值并迭代處理，直至得到所述目標矩陣中全部矩陣單元的歸一化分母之和以及所述目標矩陣對應的TopK值；

計算單元，用于采用所述計算裝置根據所述目標矩陣對應的TopK值，計算每個TopK值的歸一化分子；