[發明專利]基于深度強化學習實現人臉識別端邊卸載計算方法及裝置

在審

• 申請號: 202010789192.4
• 申請日: 2020-08-07
• 公開（公告）號: CN112069903A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 楊濤;高豐;梁松濤;崔廣章;汪明軍;郁善金;王曉江;施佩琦
• 申請（專利權）人: 之江實驗室
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 應孔月

本發明公開了一種基于深度強化學習實現人臉識別端邊卸載計算方法及裝置，包括：獲取真實的人臉圖片，根據邊端人臉識別模型訓練得到分類數據，其中，分類數據包括圖片名稱、id、圖片提取出的128維特征向量、終端預測置信度、終端預測值、邊緣預測值；將深度學習與強化學習進行結合，定義馬爾科夫決策過程的狀態空間、動作集、獎勵函數和智能體；根據定義好的馬爾科夫決策過程，構建Actor神經網絡和Critic神經網絡，使用分類數據對構建好的Actor神經網絡和Critic神經網絡進行訓練，獲得智能卸載決策模型；對智能卸載決策模型的性能與基準查詢策略進行對比評估；根據對比評估的結果，將智能卸載決策模型部署到智能終端設備中，進行人臉識別的任務卸載決策。

技術領域

本發明涉及計算機邊緣智能技術領域，尤其涉及一種基于深度強化學習(DeepReinforcement Learning，DRL)實現人臉識別端邊卸載計算方法及裝置。

背景技術

近年來，隨著萬物互聯時代的到來和5G網絡的普及，網絡邊緣的設備數量和其產生的數據量都急劇增長。另外，智能終端設備已成為人們生活的一部分，人們對服務質量的要求有了進一步提升。在這種情況下，以云計算為代表的集中式處理模式將無法高效地處理邊緣設備產生的數據，無法滿足人們對服務質量的需求。這時，邊緣計算的出現正好解決了這一系列問題，邊緣計算設備處理了部分產生的臨時數據，不再需要將全部數據上傳至云端，只需要傳輸有價值的數據，這極大地減輕了網絡帶寬的壓力，且減少了對計算存儲資源的需求。尤其是當下人工智能領域的快速發展，智能終端設備的計算能力已經無法滿足我們的需求。這個時候就需要將計算任務在終端設備與邊緣服務器上進行智能調度。而目前我們對于視頻人臉識別的端邊協同還沒有一個性能完善的智能調度方法，無法及時合理的將終端設備上的人臉識別任務卸載到邊緣服務器上進行計算，從而導致任務識別的精確性較低，并且對于計算資源的分配不合理。

發明內容

本發明實施例的目的是提供一種基于深度強化學習實現人臉識別端邊協同卸載計算方法及裝置，以解決現有存在的無法及時合理的將終端設備上的人臉識別任務卸載到邊緣服務器上進行計算，從而導致任務識別的精確性較低，并且對于計算資源的分配不合理問題。

為了達到上述目的，本發明實施例所采用的技術方案如下：

第一方面，本發明實施例提供一種基于深度強化學習實現人臉識別端邊卸載計算方法，包括：

獲取真實的人臉圖片，根據邊端人臉識別模型訓練得到分類數據，其中，所述分類數據包括圖片名稱、id、圖片提取出的128維特征向量、終端預測置信度、終端預測值、邊緣預測值；

將深度學習與強化學習進行結合，定義馬爾科夫決策過程的狀態空間、動作集、獎勵函數和智能體；

根據定義好的馬爾科夫決策過程，構建Actor神經網絡和Critic神經網絡，使用所述分類數據對構建好的Actor神經網絡和Critic神經網絡利用A2C算法進行訓練，獲得智能卸載決策模型；

對所述智能卸載決策模型的性能與基準查詢策略進行對比評估；

根據對比評估的結果，將智能卸載決策模型部署到智能終端設備中，進行人臉識別的任務卸載決策。

進一步地，所述狀態空間包括當前與上一時間步的人臉特征的歐式距離偏差、上一個時間步終端的人臉識別的預測值、上一個時間步終端人臉識別的置信度、上一個時間步邊緣側的人臉識別的預測值、當前時間、上一個時間步終端的人臉識別預測集、剩余的查詢步數、終端的查詢決策、邊緣側的查詢決策。

進一步地，所述動作集包括查詢終端緩存、查詢邊緣緩存、查詢終端當前預測、查詢邊緣當前預測四個動作。

進一步地，根據定義好的馬爾科夫決策過程，構建Actor神經網絡和Critic神經網絡，使用所述分類數據對構建好的Actor神經網絡和Critic神經網絡進行訓練，獲得智能卸載決策模型，包括：