[發明專利]基于強化學習的無人機任務卸載策略的確定方法和裝置

有效

• 申請號: 202110135702.0
• 申請日: 2021-02-01
• 公開（公告）號: CN112835715B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 羅晶晶;李慧;鄭福春;高林;張欽宇
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 北京金宏來專利代理事務所(特殊普通合伙) 11641
• 代理人: 李東梅

本申請提供基于強化學習的無人機任務卸載策略的確定方法和裝置，所述方法包括：S1:將無人機的計算任務建模為DAG模型，計算任務由多個不可再拆分且有序執行的子計算任務組成；S2:確定無人機產生的每個計算任務的任務卸載策略以最小化無人機工作期間內所有計算任務的平均計算代價，所述任務卸載策略用于確定計算任務的所有子計算任務中需要卸載到邊緣服務器計算處理的子計算任務和在無人機本地計算處理的子計算任務。本申請所提出的基于強化學習的無人機用戶自適應任務卸載策略，能夠有效地降低無人機用戶在時變通信信道條件下任務卸載的計算代價。

技術領域

本申請涉及無人機與邊緣計算技術領域，具體而言，涉及基于強化學習的無人機任務卸載策略的確定方法和裝置。

背景技術

近年來，無人機由于高移動性、易于部署、低成本和獨特的空中視角特性被廣泛地應用在生活中的各個領域，例如公共安全監控、石油與天然氣領域等。在這些領域中無人機可以替代人類做一些繁冗或危險的服務應用任務，例如對一片區域內的物體或場景進行探測、分類和識別。在這些應用中，無人機通過高分辨率攝像頭對作業區域實時地采集圖片，并立即執行圖像特征識別算法對采集到的圖片中的特征進行檢測、分類和識別。這類計算任務是計算密集型的，需要專用的、功能強大的處理器。盡管近幾年無人機的計算能力和本地車載電池能量技術有所提高，但是無人機本地的車載能量和計算能力依舊是十分有限的，在無人機本地執行計算密度大的計算任務會導致任務的響應時間和無人機的電池使用壽命大大受損。

為了解決上述問題，研究者們考慮將無人機用戶計算密集的任務卸載到云服務器處理，然而由于云服務器距離用戶端較遠且近幾年移動用戶設備呈爆炸式增長，將無人機計算任務卸載到云服務器可能會導致服務延時比較大。移動邊緣計算的出現解決了云服務器距離用戶端較遠的問題，邊緣計算將云服務器的計算資源下降到用戶端附近，用戶通過邊緣接入網絡即可利用到額外的計算資源輔助計算，這樣可以大大降低用戶的服務延時。

然而，由于移動邊緣網絡的動態性和復雜性，無人機用戶和邊緣網絡接入點的無線通信信道受干擾、路徑損耗、陰影和衰落現象的影響，通信信道狀態通常是時變的，時變的通信信道給無人機用戶的任務卸載帶來一定的挑戰性。當信道狀態較好時，無人機將計算任務直接卸載到邊緣服務器所需要的傳輸能量較少，可能是一種比較好的卸載策略；但當信道狀態較差時，將計算任務直接卸載到邊緣服務器處理會導致無人機傳輸能量損耗和任務服務延時會很大。

因此，在時變通信信道環境下，如何確定任務卸載策略以減小無人機傳輸能量損耗和任務服務延時具有重要意義。

發明內容

有鑒于此，本申請提供基于強化學習的無人機任務卸載策略的確定方法和裝置，以克服現有技術的缺陷。

為實現上述目的，本申請采用的技術方案如下：

第一方面，本申請提供基于強化學習的無人機任務卸載策略的確定方法，所述方法應用于移動邊緣網絡系統，所述移動邊緣網絡系統包括基站，以及在移動邊緣網絡區域執行應用服務并生成計算任務的無人機，所述基站配置了用于為無人機提供邊緣計算服務的邊緣服務器，所述任務卸載策略包括任務卸載決策和本地資源分配決策，所述方法包括：

S1:將無人機的計算任務建模為DAG模型，計算任務由多個不可再拆分且有序執行的子計算任務組成；

S2:確定無人機產生的每個計算任務的任務卸載策略以最小化無人機工作期間內所有計算任務的平均計算代價，所述任務卸載策略用于確定計算任務的所有子計算任務中需要卸載到邊緣服務器計算處理的子計算任務和在無人機本地計算處理的子計算任務。

可選的，所述步驟S2中確定無人機產生的每個計算任務的任務卸載策略之前還包括為無人機產生的每個計算任務搭建任務卸載模型，具體為：