[發明專利]推理框架的執行方法、裝置及存儲介質

在審

• 申請號: 201911403785.6
• 申請日: 2019-12-30
• 公開（公告）號: CN111860844A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 鄒月富
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06F9/448
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊俊輝;劉芳

本發明提供一種推理框架的執行方法、裝置及存儲介質。其中，執行方法包括：第一終端響應于應用程序的啟動指令，向策略中心服務器發送策略請求，策略中心服務器根據策略請求和歷史運行數據，確定第一終端執行推理框架的策略，策略中心服務器向第一終端發送策略響應，該策略響應用于指示第一終端采用主進程或者獨立進程執行推理框架，終端根據策略響應執行推理框架。上述方法可動態配置第一終端的執行策略，確保第一終端執行推理框架的穩定性。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種推理框架的執行方法、裝置及存儲介質。

背景技術

隨著人工智能技術的不斷發展，人工智能在移動終端的應用越來越普遍。許多公司都推出了移動端的推理框架，例如TensorFlow lite、Core ML、Caffe、NCNN、MACE、MNN等，在該推理框架上建立不同應用類型的推理模型，用于圖像檢測、聲音識別等。

安卓終端的推理框架通過Java本地接口(Java Native Interface,JNI)調用native庫代碼執行推理過程，推理框架執行推理過程可以包括以下五個環節：初始化、前處理、執行推理、后處理、回收資源。上述任何一個環節出現崩潰，將導致安卓應用崩潰。目前的方案是通過獨立進程執行推理過程，實現主進程和獨立進程的隔離，從而防止用戶主進程崩潰。

然而，在上述方案中，執行推理過程時，涉及主進程和獨立進程之間的數據傳輸，且在數據傳輸前需要對數據進行序列化或者反序列化處理，如果待處理的數據量較大時，終端的執行時間較長，影響終端的處理性能。

發明內容

本發明提供一種推理框架的執行方法、裝置及存儲介質，實現動態調整終端推理框架的運行策略，提升終端執行推理框架的穩定性。

本發明的第一方面提供一種推理框架的執行方法，該方法應用于終端側，包括：響應于應用程序的啟動指令，向策略中心服務器發送策略請求；接收所述策略中心服務器返回的策略響應，所述策略響應用于指示所述第一終端執行所述推理框架的策略，所述策略包括主進程執行策略或者獨立進程執行策略；根據所處策略響應執行所述推理框架。

可選的，所述策略請求包括設備標識和/或機型標識。

在一種可能的實現方式中，所述根據所述策略響應執行所述推理框架之前，還包括：根據所述策略響應更新緩存策略，所述緩存策略是所述策略中心服務器最近一次指示的所述第一終端執行所述推理框架的策略。

在一種可能的實現方式中，若在預設時段內未接收到所述策略中心服務器返回的策略響應，所述方法還包括：確定本地是否存在所述緩存策略；若確定存在所述緩存策略，根據所述緩存策略執行所述推理框架；或者，若確定不存在所述緩存策略，根據所述第一終端默認的執行策略執行所述推理框架。

在一種可能的實現方式中，執行所述推理框架的過程中，還包括：向所述策略中心服務器上報運行數據，所述運行數據用于指示所述策略中心服務器所述第一終端執行所述推理框架的運行狀態。

可選的，所述運行數據包括設備標識、機型標識、操作類型以及所述操作類型的操作時間。

本發明的第二方面提供一種推理框架的執行方法，該方法應用于服務器側，包括：接收第一終端發送的策略請求；根據所述策略請求和歷史運行數據，確定所述第一終端執行所述推理框架的策略，所述策略包括主進程執行策略或者獨立進程執行策略；向所述第一終端發送策略響應，所述策略響應用于指示所述第一終端執行所述推理框架的策略。

可選的，所述歷史運行數據包括所述第一終端上報的歷史運行數據；或者，所述第一終端上報的歷史運行數據以及其他終端上報的歷史運行數據；其中，所述其他終端是與所述第一終端具有相同機型標識的終端。

可選的，所述策略請求包括設備標識和/或機型標識。