[發明專利]經由預測模型控制邊緣設備上部署的深度學習模型的性能

在審

• 申請號: 202010861510.3
• 申請日: 2020-08-25
• 公開（公告）號: CN112433733A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: L.圖格曼
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06N20/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邸萬奎

1.一種系統，包括處理器，所述處理器用于：

接收數據輸入和來自預測模型的、部署在資源受限的邊緣設備上的DL模型的預測性能；

基于所述數據輸入和所述預測性能來修改所述DL模型的控制輸入；以及

將所述控制輸入發送到部署的DL模型以修改所述DL模型的性能。

2.根據權利要求1所述的系統，其中，所述處理器基于性能估計和所述預測模型的輸出之間的預測誤差來訓練所述預測模型，其中，所述預測模型的輸出基于訓練輸入，并且所述性能估計基于所述訓練輸入和所述DL模型的輸出。

3.根據權利要求1所述的系統，其中，所述預測性能包括運行時性能、內存使用、電池消耗、準確度或其任意組合。

4.根據權利要求1所述的系統，其中，所述處理器響應于檢測到所述輸入數據的變化超過閾值，基于所述預測性能來修改所述控制輸入。

5.根據權利要求1所述的系統，其中，所述處理器響應于檢測到所述DL模型的故障，基于所述預測性能來修改所述控制輸入。

6.根據權利要求1所述的系統，其中，所述控制輸入被修改以在指定的時間范圍內優化預定義的性能標準。

7.根據權利要求1所述的系統，其中，所述處理器將在數據緩沖器、所部署的模型和所述預測模型之間切換所述控制輸入的接收。

8.一種計算機實施的方法，包括：

經由處理器監控輸入數據和來自預測模型的DL模型的預測性能；

基于所述輸入數據和所述DL模型的預測性能，經由所述處理器修改控制輸入；以及

經由所述處理器將修改后的控制輸入發送到所述DL模型。

9.根據權利要求8所述的計算機實施的方法，其中，響應于檢測到所述輸入數據的變化超過閾值變化，修改所述控制輸入。

10.根據權利要求8所述的計算機實施的方法，其中，響應于檢測到所述DL模型的預測性能的變化，修改所述控制輸入。

11.根據權利要求8所述的計算機實施的方法，其中，修改所述控制輸入包括修改所述DL模型的參數，以在指定的時間范圍內優化預定義的性能標準。

12.根據權利要求8所述的計算機實施的方法，包括響應于檢測到所述DL模型的預測性能的變化或所述DL模型的故障而生成警報。

13.根據權利要求8所述的計算機實施的方法，包括基于性能估計和所述預測模型的預測性能之間的預測誤差來訓練所述預測模型，其中，所述性能估計基于所部署的模型的訓練輸入和輸出性能特征，并且所述預測模型的預測性能基于所述訓練輸入和所述性能估計。

14.根據權利要求13所述的計算機實施的方法，其中，基于所述預測誤差來修改所述預測模型，直到所述預測誤差不超過閾值誤差。

15.一種用于控制部署的DL模型的計算機程序產品，所述計算機程序產品包括其中含有程序代碼的計算機可讀存儲介質，其中，所述計算機可讀存儲介質不是瞬時信號本身，所述程序代碼可由處理器執行以使所述處理器：

監控輸入數據和來自預測模型的DL模型的預測性能；

基于所述輸入數據和所述DL模型的預測性能來修改控制輸入；以及

將修改后的控制輸入發送到所述DL模型。

16.根據權利要求15所述的計算機程序產品，還包括用于響應于檢測到所述輸入數據的變化超過閾值而基于所述預測性能來修改所述控制輸入的可由處理器執行的程序代碼。