[發明專利]模型推理性能的分析方法、裝置及電子設備

在審

• 申請號: 202211195746.3
• 申請日: 2022-09-28
• 公開（公告）號: CN115562962A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 王寬;施恩;錢正宇;胡鳴人;袁正雄;李金麒;褚振方;黃悅;羅陽;王國彬;錢洋
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/36
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 尹倩

1.一種模型推理性能的分析方法，包括：

確定待分析模型；

接收第一輸入，并獲取所述第一輸入中的目標信息，所述目標信息包括插樁代碼的位置信息或針對預先嵌入的性能分析器的啟動指令；

基于所述目標信息執行對所述待分析模型的推理性能分析，并生成分析結果文件。

2.根據權利要求1所述的方法，其中，所述目標信息包括插樁代碼的位置信息，所述位置信息包括所述插樁代碼在所述待分析模型對應的模型代碼中插樁的起始行號和終止行號；

所述基于所述目標信息執行對所述待分析模型的推理性能分析，包括：

確定插樁代碼；

基于所述起始行號和所述終止行號，在所述模型代碼中的所述起始行號之前和所述終止行號之后分別插入所述插樁代碼；

在運行所述待分析模型的情況下，基于所述插樁代碼，對所述模型代碼中位于所述起始行號和所述終止行號之間的代碼進行推理性能分析。

3.根據權利要求2所述的方法，其中，在所述目標信息包括多個插樁代碼各自對應的位置信息的情況下，所述在所述模型代碼中的所述起始行號之前和所述終止行號之后分別插入插樁代碼，包括：

檢測所述多個插樁代碼各自對應的位置信息是否正確；

在所述多個插樁代碼各自對應的位置信息正確的情況下，在所述模型代碼中的目標位置處分別插入對應的插樁代碼，所述目標位置為所述多個插樁代碼各自對應的所述起始行號和所述終止行號。

4.根據權利要求3所述的方法，其中，所述檢測所述多個插樁代碼各自對應的位置信息是否正確，包括如下至少一項：

針對每個插樁代碼，檢測該插樁代碼對應的起始行號和終止行號是否位于所述模型代碼對應的行號范圍內，其中，在該插樁代碼對應的起始行號和終止行號位于所述模型代碼對應的行號范圍內的情況下，該插樁代碼對應的位置信息正確；

針對每個插樁代碼，檢測該插樁代碼對應的起始行號和終止行號所包括的代碼范圍是否與其他插樁代碼對應的起始行號和終止行號所包括的代碼范圍出現重疊，其中，在未出現重疊的情況下，該插樁代碼對應的位置信息正確。

5.根據權利要求2所述的方法，其中，所述生成分析結果文件，包括：

生成分析結果文件，并將所述分析結果文件中的代碼行號轉換為所述模型代碼未插入所述插樁代碼之前的行號。

6.根據權利要求1所述的方法，其中，所述目標信息包括插樁代碼的位置信息，所述位置信息基于所述待分析模型對應的模型代碼中的函數名確定；

所述基于所述目標信息執行對所述待分析模型的推理性能分析，包括：

在所述模型代碼中所述函數名對應的函數代碼前和所述函數代碼后分別插入插樁代碼；

在運行所述待分析模型的情況下，基于所述插樁代碼，對所述模型代碼中所述函數名對應的函數代碼進行推理性能分析。

7.根據權利要求1所述的方法，其中，所述目標信息包括針對預先嵌入的性能分析器的啟動指令；

所述基于所述目標信息執行對所述待分析模型的推理性能分析，包括：

確定預先寫入的所述性能分析器對應的目標代碼；

在獲取到針對所述性能分析器的啟動指令的情況下，基于所述啟動指令運行所述性能分析器對應的目標代碼，以執行對所述待分析模型的推理性能分析。

8.一種模型推理性能的分析裝置，包括：

確定模塊，用于確定待分析模型；

獲取模塊，用于接收第一輸入，并獲取所述第一輸入中的目標信息，所述目標信息包括插樁代碼的位置信息或針對預先嵌入的性能分析器的啟動指令；

分析模塊，用于基于所述目標信息執行對所述待分析模型的推理性能分析，并生成分析結果文件。