[發明專利]一種基于深度強化學習的多設備邊緣視頻分析系統

有效

• 申請號: 202210116789.1
• 申請日: 2022-02-08
• 公開（公告）號: CN114170560B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王朔遙;畢宿志;楊俊彥
• 申請（專利權）人: 深圳大學
• 主分類號: H04L67/60
• 分類號: H04L67/60;G06V20/40;G06F9/50;G06N3/04
• 代理公司: 深圳尚業知識產權代理事務所(普通合伙) 44503
• 代理人: 楊勇

本發明涉及計算機技術領域，具體涉及一種基于深度強化學習的多設備邊緣視頻分析系統。該系統包括邊緣服務器以及與所述邊緣服務器通信連接的多移動設備；所述邊緣服務器上部署有用于視頻分析的深度學習模型，用于支持多分辨率輸入的檢測任務，所有移動設備共享一個無線上行鏈路用于向所述邊緣服務器發送視頻幀，所述邊緣服務器上部署的深度學習模型用于對接收的視頻幀進行視頻分析，生成視頻分析任務結果，所述移動設備用于通過無線下行鏈路下載所述視頻分析任務結果。本發明具備在線聯合退化自適應和通信資源分配，在邊緣視頻分析任務中缺少實時GT時使用模型輸出的置信度近似表示視頻分析準確度，同時采用n?step獎勵保證訓練的穩定性。

技術領域

本發明涉及計算機技術領域，具體涉及一種基于深度強化學習的多設備邊緣視頻分析系統。

背景技術

近年來，公共安全和交通基礎設施設備的數量迅速增加。自動送貨車和無人機之類的智能設備，在實時分析拍攝的視頻來捕獲暴力檢測、交通監控、自動駕駛等方面有著廣泛的應用。由于計算資源和電池容量的限制，這些資源受限的移動設備(Mobile Device,MD)需要將視頻發送到遠程服務器，以運行繁重的深度學習推理模型。在云端進行大規模的數據傳輸和處理會導致極高的端到端延遲，制約了實時邊緣視頻分析的應用。

隨著移動邊緣計算(Mobile Edge Computing, MEC)技術的發展，為高延遲視頻分析系統提出了全新的解決方案。通過卸載深度學習推理任務到邊緣服務器(EdgeServer)上，可以顯著降低MD的硬件需求，并緩解視頻數據上傳到云端的傳輸延遲。但是，由于MD與邊緣服務器之間的帶寬有限且高動態，這導致視頻在上傳到邊緣服務器進行分析處理時，依然面臨不可忽略且高動態的傳輸延遲。因此，國內外的許多研究努力致力于通過有效的計算卸載來實現準確性和延遲之間的權衡。

近年來，有學者研究了聯合分辨率退化自適應和計算資源分配問題，以在精度和延遲約束下最大限度地支持MD的數量；有學者研究如何實現大規模系統，并提出了一種通過結合自適應視頻退化和無線電資源分配來實現能源效率最大化的視頻分析系統。然而，聯合退化自適應和計算資源分配問題涉及到求解混合整數非線性規劃(Mixed IntegerNon-LinearProgramming，MINLP)的問題。解決這類問題通常需要極高的計算復雜度。此外，這些方法都依賴于統計模型或離線訓練。當系統參數發生變化時（如內容變化的檢測精度等），MINLP通常需要重新制定和求解。因此，在一個高度動態的視頻分析系統中實現基于統計模型或離線訓練的優化算法成本過高。

另一方面，隨著強化學習算法的快速發展，為高度動態的視頻分析系統提供了新的可能。具體地，聯合退化自適應和計算資源分配問題可以描述為一個馬爾科夫決策問題(Markov Decision Process, MDP)，并且可以通過強化學習實現退化自適應和計算資源分配端到端的聯合優化。

本發明通過預實驗分析了一般的視頻分析任務和邊緣視頻分析任務的三個明顯的區別：1）時間相關性：在一個時間段內序列幀的推理精度是強相關的；2）時間差異性：隨著視頻時間的推移，視頻分析的精準度會根據時間的推移產生變化；3）內容退化敏感性：在整個視頻中，視頻幀的分析精度對于視頻壓縮的敏感程度有所區別，因此對不敏感的視頻幀，可以在不影響視頻分析精度的情況下，對視頻幀進退化，然后分流到邊緣進行視頻分析任務以減少通信和計算延遲。

因此，面向高動態網絡的實時視頻分析算法，當前計算卸載或基于離線訓練的視頻分析算法的相關工作面臨以下挑戰：

1）缺少對視頻退化率與分析精度之間的時變性的考慮；

2）實時真實值(Ground Truth, GT)的缺失；

3）在邊緣視頻分析中，由于退化決策通常是非線性的，這導致的二進制取值的計算分流算法對于樣本有效率較低。

發明內容

為解決上述技術問題，本發明提供了一種基于深度強化學習的多設備邊緣視頻分析系統。