[發明專利]基于手機協同嵌入式設備的深度學習任務執行系統及方法

在審

• 申請號: 202310441519.2
• 申請日: 2023-04-23
• 公開（公告）號: CN116502678A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 羅怡桂;謝尹;佘海紅;向釗宏
• 申請（專利權）人: 同濟大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/082
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 廖程

1.一種基于手機協同嵌入式設備的深度學習任務執行系統，其特征在于，包括相互通信連接的嵌入式設備和智能手機，所述嵌入式設備用作任務主體，所述智能手機用作協作設備，所述嵌入式設備與智能手機之間基于預設的流水線協作方案，實現深度學習任務的并行協同處理。

2.根據權利要求1所述的一種基于手機協同嵌入式設備的深度學習任務執行系統，其特征在于，所述嵌入式設備和智能手機之間的通信連接方式包括但不限于局域網、藍牙、USB。

3.根據權利要求1～2任一所述的一種基于手機協同嵌入式設備的深度學習任務執行系統，其特征在于，所述預設的流水線協作方案包括第一方案～第四方案，所述第一方案具體為：嵌入式設備對輸入數據進行預處理、智能手機進行模型推理及后處理；

所述第二方案具體為：嵌入式設備對輸入數據進行預處理及模型推理、智能手機進行后處理；

所述第三方案具體為：嵌入式設備將輸入數據直接傳輸給智能手機進行預處理，再由嵌入式設備進行模型推理及后處理；

所述第四方案具體為：嵌入式設備將輸入數據直接傳輸給智能手機進行預處理及模型推理，再由嵌入式設備進行后處理。

4.一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，包括以下步驟：

S1、采用訓練集剪枝的方式，構建深度學習網絡模型；

S2、確定當前任務場景下的通信時間、嵌入式設備以及智能手機的數據處理時間，并結合設定的判斷條件，確定出流水線方案；

S3、按照確定的流水線方案，將深度學習網絡模型搭載于嵌入式設備或智能手機，由嵌入式設備接收輸入數據，并與智能手機協同執行深度學習任務。

5.根據權利要求4所述的一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，所述步驟S1具體包括以下步驟：

S11、訓練初始化模型，并使它達到基本收斂；

S12、將整個訓練集輸入給當前的模型，并計算每層神經元在訓練集下的激活值；

S13、基于設置的剪枝比例，計算模型中每層結構進行神經元剪枝的閾值，將激活值低于相應閾值的神經元刪除，并對應刪除上下層的權重；

S14、進一步訓練剪枝后的模型直至收斂。

6.根據權利要求5所述的一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，所述步驟S13具體是對模型中的全連接層結構和卷積層結構進行剪枝。

7.根據權利要求4所述的一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，所述步驟S2中當前任務場景下的通信時間包括預處理后數據的差傳輸時間t_p、模型輸出結果的傳輸時間t_output、原數據的發送時間t_img以及任務結果的接收時間t_rf。

8.根據權利要求7所述的一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，所述步驟S2中嵌入式設備的數據處理時間包括嵌入式設備的預處理時間t_ep，嵌入式設備的后處理時間t_ef，嵌入式設備的模型推理時間t_ec。

9.根據權利要求8所述的一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，所述步驟S2中智能手機的數據處理時間包括智能手機的預處理時間t_mp，智能手機的后處理時間t_mf，智能手機的模型推理時間t_mc。

10.根據權利要求9所述的一種基于手機協同嵌入式設備的深度學習任務執行方法，其特征在于，所述步驟S2中設定的判斷條件具體為：

若t_ep≥t_p+t_rf+t_mc+_mf，則確定流水線方案為第一方案，即嵌入式設備對輸入數據進行預處理、智能手機進行模型推理及后處理；

若t_ep+t_ec≥t_output+t_rf+_mf，則確定流水線方案為第二方案，即嵌入式設備對輸入數據進行預處理及模型推理、智能手機進行后處理；

若t_ec+t_ef≥t_img+t_p+_mp，則確定流水線方案為第三方案，即嵌入式設備將輸入數據直接傳輸給智能手機進行預處理，再由嵌入式設備進行模型推理及后處理；

若t_ef≥t_img+t_output+t_mp+_mc，則確定流水線方案為第四方案，即嵌入式設備將輸入數據直接傳輸給智能手機進行預處理及模型推理，再由嵌入式設備進行后處理。