[發明專利]基于手機協同嵌入式設備的深度學習任務執行系統及方法

在審

• 申請號: 202310441519.2
• 申請日: 2023-04-23
• 公開（公告）號: CN116502678A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 羅怡桂;謝尹;佘海紅;向釗宏
• 申請（專利權）人: 同濟大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/082
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 廖程

本發明涉及一種基于手機協同嵌入式設備的深度學習任務執行系統及方法，該系統包括相互通信連接的嵌入式設備(用作任務主體)和智能手機(用作協作設備)，二者之間基于預設的流水線協作方案，實現深度學習任務的并行協同處理。該方法包括：采用訓練集剪枝的方式，構建深度學習網絡模型；確定當前任務場景下的通信時間、嵌入式設備以及智能手機的數據處理時間，并結合設定的判斷條件，確定出流水線方案；按照該流水線方案，將深度學習網絡模型搭載于嵌入式設備或智能手機，由嵌入式設備接收輸入數據，并與智能手機協同執行深度學習任務。與現有技術相比，本發明適應多種深度學習任務場景，能夠加快任務執行速度、確保實時性、提高任務執行效果。

技術領域

本發明涉及深度學習任務調度技術領域，尤其是涉及一種基于手機協同嵌入式設備的深度學習任務執行系統及方法。

背景技術

隨著深度學習技術的不斷發展，其在實際生活中的應用場景越來越廣泛。但值得注意的是，由于硬件平臺的發展相對滯后，當面對昂貴的嵌入式平臺計算資源，使得深度學習任務在實際應用中受到了嚴重阻礙。目前，工程實踐中往往采用降低模型計算復雜度的方式，但卻容易導致深度學習任務無法獲得準確可靠的結果。

現如今，深度學習任務在嵌入式設備上已經得到了廣泛的運用，主流的嵌入式設備實現快速模型的推理主要有以下三個架構：1)設備端計算，其中模型在嵌入式設備中運行；2)基于邊緣服務器的架構，將嵌入式設備中的數據發送到一個或多個邊緣服務器中進行運算；3)嵌入式設備、邊緣服務器和云之間的聯合計算。三種架構如圖1a～1c所示。

在設備端計算的架構中，研究人員主要從算法和硬件兩個方向來實現模型在嵌入式設備上的部署以及減少推理時延。在算法方面，研究人員主要關注于如何對模型的參數進行壓縮存儲和減少模型參數量加速模型推理速度。在模型設計之初時，考慮到嵌入式應用場景，研究人員通常會將計算時間復雜度與模型精度作為兩個非常重要的標準。此類模型典型的包括MobileNets、SqueezeNet和YOLO等，并且此類輕量化模型仍然在不斷的研究當中。MobileNets是將卷積濾波器分解成兩個更簡單的操作，從而減少所需要計算的次數。YOLO是經典的一階段目標檢測模型，模型單次檢測就可以聯合預測出物體的位置和類別。SqueezeNet通過替換卷積核大小并減少卷積通道數實現參數量的減小。除人工設計輕量化神經網絡模型外研究人員也在探究如何將已有的網絡進行壓縮，從而實現在嵌入式設備上運行。根據神經網絡在不同方面的冗余，分別使用網絡的分支裁剪、減少網絡權重占用的比特數、對卷積核進行低秩分解、知識蒸餾等方法，對已有的網絡模型進行壓縮。這些方法可以模型降低對空間和計算能力的要求，實現在邊緣設備上的推理。

在硬件方面，有研究提出在嵌入式邊緣設備中集成用于神經處理的專用硬件加速器。作為專用處理單元的加速器為神經網絡模型應用程序提供更快、更節能的計算解決方案。在嵌入式設備中存在的典型的神經網絡加速器包括NVIDIA?Jetson?AGX?Xavier?GPU的張量核心、Intel?Myriad?X?VPU中的VLIW矢量處理器、Tesla?FSD芯片的乘法累加(MAC)單元和Google?Edge?TPU的收縮陣列。這些神經加速器的執行通常遵循主機-設備模型，其中主機CPU啟動應用程序的一系列神經計算內核，然后將其卸載到實現神經網絡優化數據路徑的設備加速器。也有研究人員探索研究了計算平臺內部的并行能力，將工作負載拆分成為流水線階段，使用多個處理單元使他們的執行重疊。例如Yang等人提出了一種流水線執行方法，以增加使用多個GPU的計算機視覺應用程序的系統吞吐量。PipeDream嘗試在HPC環境中使用多個GPU來利用內層切片和網絡流水線方法進行神經網絡訓練。但是，這個多GPU方案在資源有限的嵌入式設備中作為神經網絡模型的加速方案能起到的作用有限。