[發明專利]性能指標確定方法及裝置、系統、電子設備和存儲介質

在審

• 申請號: 202110420548.1
• 申請日: 2021-04-19
• 公開（公告）號: CN113095485A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 羅培超;姚超;張行程
• 申請（專利權）人: 上海商湯科技開發有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04;G06F11/36
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種性能指標確定方法及裝置、系統、電子設備和存儲介質，所述方法包括：對源神經網絡進行網絡轉換，得到適用于第二設備的目標框架的目標神經網絡；向所述第二設備發送所述目標神經網絡，并指示所述第二設備在所述目標框架中執行所述目標神經網絡；根據執行所述目標神經網絡得到的第一結果，確定所述目標神經網絡相對于所述源神經網絡的性能指標。本公開實施例可準確地得到目標神經網絡在目標框架中的性能指標。

技術領域

本公開涉及計算機技術領域，尤其涉及一種性能指標確定方法及裝置、系統、電子設備和存儲介質。

背景技術

在人工智能領域，神經網絡已經廣泛地應用到越來越多的場景中，在相關技術中，神經網絡的學習和預測往往是在軟件框架上進行的，而軟件框架通常有不止一種，而神經網絡在不同軟件框架之間應用的過程中，往往會對神經網絡進行轉換，以使得轉換后的神經網絡更好地適用于所應用的軟件框架。

例如，神經網絡的訓練通常是在訓練設備的訓練框架上進行的，而訓練后神經網絡往往會部署于預測設備的推理框架上，因此，在訓練設備上訓練完成后，會在訓練設備上對神經網絡進行轉換。

然而，相關技術中，無法準確地檢驗轉換后得到的神經網絡的性能。

發明內容

本公開提出了一種性能指標確定的技術方案，以解決相關技術中無法準確地檢驗轉換后得到的神經網絡性能的問題。

根據本公開的一方面，提供了一種性能指標確定方法，應用于第一設備，包括：對源神經網絡進行網絡轉換，得到適用于第二設備的目標框架的目標神經網絡；向所述第二設備發送所述目標神經網絡，并指示所述第二設備在所述目標框架中執行所述目標神經網絡；根據執行所述目標神經網絡得到的第一結果，確定所述目標神經網絡相對于所述源神經網絡的性能指標。

在一種可能的實現方式中，所述源神經網絡適用于源框架，所述方法還包括：在所述源框架中執行所述源神經網絡，得到第二結果；所述根據執行所述目標神經網絡得到的第一結果，確定所述目標神經網絡相對于所述源神經網絡的性能指標，包括：將所述第一結果與所述第二結果進行比對，確定所述目標神經網絡相對于所述源神經網絡的性能指標。

在一種可能的實現方式中，所述在所述源框架中執行所述源神經網絡，得到第二結果，包括：在所述源框架中，將輸入數據輸入所述源神經網絡中，得到第二結果；所述向第二設備發送所述目標神經網絡，并指示所述第二設備在所述目標框架中執行所述目標神經網絡，包括：向所述第二設備發送所述目標神經網絡以及所述輸入數據，并指示所述第二設備在所述目標框架中基于所述輸入數據執行所述目標神經網絡。

在一種可能的實現方式中，向第二設備發送所述目標神經網絡，并指示所述第二設備在所述目標框架中執行所述目標神經網絡，包括：將目標神經網絡和輸入數據封裝至預設格式的調用請求中；向所述第二設備發送所述調用請求，所述調用請求用于指示所述第二設備在所述目標框架中執行所述目標神經網絡；所述方法還包括：接收所述第二設備返回的預設格式的結果數據；對所述結果數據進行解析，得到所述第一結果。

在一種可能的實現方式中，所述性能指標包括下述至少一種：所述目標神經網絡相對于所述源神經網絡的精度；所述目標神經網絡相對于所述源神經網絡的運算效率。

在一種可能的實現方式中，所述源框架包括：神經網絡訓練場景中的軟件框架；所述目標框架包括：神經網絡應用場景中的軟件框架。

根據本公開的一方面，還提供了一種性能指標確定方法，應用于第二設備，包括：接收目標神經網絡，所述目標神經網絡是對源神經網絡進行轉換得到的；在目標框架中執行所述目標神經網絡，得到第一結果；將所述第一結果發送給第一設備，以便于所述第一設備根據所述第一結果確定所述目標神經網絡相對于所述源神經網絡的性能指標。