[發(fā)明專利]模型推理性能的分析方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202211195746.3
• 申請日: 2022-09-28
• 公開（公告）號: CN115562962A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設計）人: 王寬;施恩;錢正宇;胡鳴人;袁正雄;李金麒;褚振方;黃悅;羅陽;王國彬;錢洋
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/36
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 尹倩

本公開提供了一種模型推理性能的分析方法、裝置及電子設備，涉及人工智能技術領域，尤其涉及深度學習及模型推理等技術領域。具體實現方案為：確定待分析模型；接收第一輸入，并獲取所述第一輸入中的目標信息，所述目標信息包括插樁代碼的位置信息或針對預先嵌入的性能分析器的啟動指令；基于所述目標信息執(zhí)行對所述待分析模型的推理性能分析，并生成分析結果文件。

技術領域

本公開涉及人工智能技術領域，尤其涉及深度學習、模型推理等技術領域，具體涉及一種模型推理性能的分析方法、裝置及電子設備。

背景技術

目前，機器學習與深度學習的相關技術在自然語言處理、計算機視覺等眾多領域取得了巨大成功，也逐漸在各行各業(yè)中落地。性能剖析(Profiling)是指在程序的執(zhí)行過程中，收集能反映程序執(zhí)行狀態(tài)的數據，例如程序執(zhí)行所占用的內存、特定指令的使用情況或函數調用的頻率和持續(xù)時間等，幫助定位和優(yōu)化程序性能問題。

發(fā)明內容

本公開提供了一種模型推理性能的分析方法、裝置及電子設備。

根據本公開的第一方面，提供了一種模型推理性能的分析方法，包括：

確定待分析模型；

接收第一輸入，并獲取所述第一輸入中的目標信息，所述目標信息包括插樁代碼的位置信息或針對預先嵌入的性能分析器的啟動指令；

基于所述目標信息執(zhí)行對所述待分析模型的推理性能分析，并生成分析結果文件。

根據本公開的第二方面，提供了一種模型推理性能的分析裝置，包括：

確定模塊，用于確定待分析模型；

獲取模塊，用于接收第一輸入，并獲取所述第一輸入中的目標信息，所述目標信息包括插樁代碼的位置信息或針對預先嵌入的性能分析器的啟動指令；

分析模塊，用于基于所述目標信息執(zhí)行對所述待分析模型的推理性能分析，并生成分析結果文件。

根據本公開的第三方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行第一方面所述的方法。

根據本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執(zhí)行根據第一方面所述的方法。

根據本公開的第五方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現根據第一方面所述的方法。

本公開實施例中，在確定待分析模型后，獲取第一輸入中的目標信息，而所述目標信息包括插樁代碼的位置信息或針對預先嵌入的性能分析器的啟動指令，進而也就能夠基于所述插樁代碼的位置信息來確定待分析模型的模型代碼中需要插樁的位置，或者能夠基于所述啟動指令來對預先嵌入的性能分析器執(zhí)行啟動，從而能夠自動調用插樁代碼或自動啟動性能分析器來實現對待分析模型的推理性能分析，無需用戶針對每個待分析的模型逐個在模型代碼中寫入實現推理性能分析的代碼或相關性能分析工具，有效節(jié)省了用戶模型推理性能分析的操作時間，也提升了對模型推理性能分析的效率。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是本公開實施例提供的一種模型推理性能的分析方法的流程圖之一；