[發明專利]一種邊緣環境下DNN應用計算卸載自適應中間件構建方法

有效

• 申請號: 202110726143.0
• 申請日: 2021-06-29
• 公開（公告）號: CN113435580B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 陳星;李鳴
• 申請（專利權）人: 福州大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06;G06K9/62;G06F8/72
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種邊緣環境下DNN應用計算卸載自適應中間件構建方法，包括以下步驟：步驟S1：構建卸載機制，所述卸載機制的輸入為DNN源碼，輸出為可卸載的DNN目標代碼；步驟S2：構建評估模型，所述評估模型的輸入為環境配置和應用源碼，輸出為最優卸載方案。本發明通過實現支撐設計模式及評估模型的DNN應用自適應計算卸載中間件，它能夠支持上述卸載設計模式，并利用代價評估模型決定應用程序的最優卸載方案以進行計算卸載。

技術領域

本發明涉及人工智能領域，特別是一種邊緣環境下DNN應用計算卸載自適應中間件構建方法。

背景技術

人工智能領域的興起促進移動設備的革新，智能個人助理(IntelligentPersonal Assistant，IPA)受可穿戴產品和智能家居的牽引而被廣泛應用，例如，蘋果的″Siri″助手等。這些智能移動應用程序的主要界面是使用語音或圖像的方式通過設備與用戶進行交互的。受該交互模式的影響，傳統的基于文本的輸入方式預計將被取代，因此IPA將發展為日后移動設備不可或缺的交互模式，改善IPA的性能從而提升用戶體驗感成為一種新興的趨勢。而為IPA應用程序處理語音和圖像輸入，需要高度復雜且計算精確的機器學習技術，其中最常見的類型為深度神經網絡(″Deep Neural Network，DNN″)。由于深度神經網絡能夠實現語音辨識、圖像歸類、自動駕駛汽車和自然語言處理等高精度的任務，故它作為核心的機器學習技術備受智能應用的歡迎。當前許多主流公司，包括谷歌、微軟和百度在內，都在其生產系統的許多應用中使用DNN作為機器學習組件。

DNN模型在推理和訓練時需部署在設備或機器上，在大多數上述場景中，經過訓練的深度學習模型通常部署于移動設備上，也稱為純移動設備技術。然而，受限于移動設備上的計算和存儲資源，基于DNN的應用程序進一步利用云服務器來提高計算和存儲性能，從而全面部署高級深度模型，即純云技術。因此，在這種被稱為純云的方法中，模型的輸入應從本地設備發送到云中心，并將輸出發送回設備，這樣與DNN應用推理過程相關的計算可以利用云服務器進行擴展，從而被高效地執行。但是，在緩解計算壓力的同時，純云技術要求移動設備通過無線網絡傳輸大量數據，如圖像、音頻和視頻，這可能導致移動設備的延遲和能耗。不僅如此，在移動設備同時向云發送大量數據的情況下，在云中執行的所有計算均可能因為擁塞而影響響應時延，用戶體驗無法得到保證。

為解決上述問題，近期部分研究工作提出了一種在移動設備和云之間劃分深度推理網絡的思想，這是一種純移動設備和純云方法之間的折衷技術。他們的工作表明，推理網絡的深層，即神經元間均存在連接的全連接層，往往有較大的計算量，這類計算密集型DNN層最好能在計算能力強的節點上執行以提升計算效率；而推理網絡的淺層，即提取特征的卷積層則相反，往往有較大的數據傳輸量，因而更適合在移動設備上執行，避免傳輸至云服務器時帶來的開銷。為說明不同層類型的不同特點，圖1展示了一個典型的深度神經網絡模型AlexNet的結構，該模型作為圖像識別應用的技術核心，已成為各類智能應用的基礎并得到了廣泛的應用。該圖描述了模型在移動設備上運行時，各層的執行延時和傳輸數據量的情況，橫軸表示層的命名，縱軸表示延時和數據大小，方塊為各層延時，斜線為層間輸出。由圖可得，全連接層，即命名為fc開頭的DNN層，層延時較大，說明計算量影響了層的執行，若該類DNN層在計算能力強的節點上執行，則可避免執行時延造成的總體響應瓶頸；同時，層間輸出的數據大小也存在較大的差異。例如，在conv1-1和relu1-2之間傳輸的數據量非常大，而它們的層延時較小，因此最好在同一計算節點上執行這兩個層。且通過經驗可得，在這種模型中，深層DNN具有更小的數據傳輸量。因此，與直接將模型的輸入發送到云端計算相比，這類方法可以減少不必要的傳輸延遲，且可根據計算延時決定是否通過云端擴展。綜上所述，基于DNN的應用程序通過計算分區不但可以減少云上的擁塞，從而增加其吞吐量，而且可以權衡計算延時和傳輸延時，從而提升總體響應性能以改善用戶體驗。