[發明專利]基于芯片的融合算子處理方法、裝置及相關產品

在審

• 申請號: 202210450175.7
• 申請日: 2022-04-27
• 公開（公告）號: CN114996648A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 安徽寒武紀信息科技有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 吳會英;臧建明

1.一種基于芯片的融合算子處理方法，其特征在于，包括：

從芯片的存儲裝置上按照順序依次將矩陣單元加載到芯片上的計算裝置上；其中，所述矩陣單元是按照預設的矩陣單元維度對所述目標矩陣進行矩陣拆分獲得的；所述順序是將目標矩陣拆分成矩陣單元時獲得的；

采用所述芯片的計算裝置迭代計算每一個矩陣單元的歸一化分母并求和，并確定每一個矩陣單元的TopK值并迭代處理，直至得到所述目標矩陣中全部矩陣單元的歸一化分母之和以及所述目標矩陣對應的TopK值；

采用所述計算裝置根據所述目標矩陣對應的TopK值，計算每個TopK值的歸一化分子；

采用所述計算裝置根據所述目標矩陣對應的歸一化分母之和及所述每個TopK值的歸一化分子，得到所述目標矩陣的融合算子的處理結果。

2.根據權利要求1所述的方法，其特征在于，所述計算裝置包括存儲模塊和運算模塊；

采用計算裝置迭代計算每一個矩陣單元的歸一化分母并求和，直至得到所述目標矩陣中全部矩陣單元的歸一化分母之和，包括：

將當前次迭代的矩陣單元從存儲模塊移動到運算模塊，并采用所述運算模塊計算當前次迭代的矩陣單元的歸一化分母；

采用運算模塊將上一次迭代計算完成的歸一化分母之和與所述當前次迭代的矩陣單元的歸一化分母進行求和，以獲得當前次迭代后的歸一化分母之和，直至得到所述目標矩陣中全部矩陣單元的歸一化分母之和。

3.根據權利要求2所述的方法，其特征在于，所述將當前次迭代的矩陣單元從存儲模塊移動到運算模塊，并采用所述運算模塊計算當前次迭代的矩陣單元的歸一化分母，包括：

將當前次迭代的矩陣單元從存儲模塊移動到運算模塊，并采用所述運算模塊確定當前次迭代的矩陣單元中的初始最大值元素；

將上一次迭代時的矩陣單元的目標最大值元素從存儲模塊移動到運算模塊，并采用所述運算模塊確定所述上一次迭代時的矩陣單元的目標最大值元素與所述初始最大值元素中的最大值，并將該最大值確定為當前次迭代的矩陣單元對應的目標最大值元素；

采用所述運算模塊根據所述目標最大值元素計算當前次迭代的矩陣單元的歸一化分母。

4.根據權利要求3所述的方法，其特征在于，所述采用運算模塊將上一次迭代計算完成的歸一化分母之和與所述當前次迭代的矩陣單元的歸一化分母進行求和，以獲得當前次迭代后的歸一化分母之和之前，還包括：

采用運算模塊判斷上一次迭代時的矩陣單元的目標最大值元素是否小于當前次迭代的矩陣單元中的初始最大值元素；

若確定上一次迭代時的矩陣單元的目標最大值元素小于當前次迭代的矩陣單元中的初始最大值元素，則更新上一次迭代計算完成的歸一化分母之和；

所述采用運算模塊將上一次迭代計算完成的歸一化分母之和與所述當前次迭代的矩陣單元的歸一化分母進行求和，以獲得當前次迭代后的歸一化分母之和，包括：

采用運算模塊將更新后的上一次迭代計算完成的歸一化分母之和與所述當前次迭代的矩陣單元的歸一化分母進行求和，以獲得當前次迭代后的歸一化分母之和。

5.根據權利要求1-4任一項所述的方法，其特征在于，采用計算裝置確定每一個矩陣單元的TopK值并迭代處理，直至得到所述目標矩陣對應的TopK值，包括：

將當前次迭代的矩陣單元從存儲模塊移動到運算模塊，并采用所述運算模塊確定當前次迭代的矩陣單元中的TopK值；

將上一次迭代計算完成時確定出的TopK值從存儲模塊移動到運算模塊，并采用所述運算模塊從當前次迭代的矩陣單元的TopK值和所述上一次迭代計算完成時確定出的TopK值中篩選出當前次迭代計算完成時的TopK值，直至得到所述目標矩陣對應的TopK值。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述采用所述計算裝置根據所述目標矩陣對應的TopK值，計算每個TopK值的歸一化分子，包括：

采用運算模塊從所述存儲模塊獲取所述目標矩陣對應的TopK值，并確定所述目標矩陣對應的TopK值中的最大值；

采用所述運算模塊根據每個TopK值及所述目標矩陣對應的TopK值中的最大值計算每個TopK值的歸一化分子。