[發明專利]基于智能協作推理的分布式實時智能監控系統的建立方法

在審

• 申請號: 202210576950.3
• 申請日: 2022-05-25
• 公開（公告）號: CN114815755A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 胡清華;王卓航;王曉飛;趙云鳳;劉志成;仇超
• 申請（專利權）人: 天津大學
• 主分類號: G05B19/418
• 分類號: G05B19/418
• 代理公司: 深圳眾邦專利代理有限公司 44545
• 代理人: 丁曹凱

本發明公開了一種基于智能協作推理的分布式實時智能監控系統的建立方法，包括：利用橫向分割和縱向分割算法建立基于深度神經網絡的橫向和縱向分割模型；將橫向分割點決策、橫向執行節點決策、縱向執行節點決策構建為馬爾科夫決策過程；基站利用DDQN算法以最小化任務處理時間差為目標構建分割點執行設備決策模型；各監控終端將視頻流輸入決策模型，并將視頻流上傳到橫向執行節點，橫向執行節點利用橫向分割模型進行橫向分割和執行，并將執行后的網絡參數發送縱向執行節點；縱向執行節點根據利用垂直分割算法對縱向執行網絡進行縱向分割和執行；云接收來自各縱向執行節點的執行結果，并利用軌跡匹配算法完成跨相機軌跡匹配。本發明提高了系統算力的有效利用率。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于智能協作推理的分布式實時智能監控系統的建立方法。

背景技術

智能監控系統(Intelligent Surveillance System,ISS)是深度學習(DeepLearning,DL)和物聯網(Internet of Things，IoT)技術相結合的重要應用，而多目標多跟蹤(Multiple Targets Multiple Camera Tracking,MTMCT)作為一種有前景的智能監控系統解決方案已被廣泛認可。然而，目前的終端設備內存低、功耗低、計算能力有限，因此部署在這些資源受限的設備上的人工智能(Artificial Intelligence,AI)模型需要保證推理延遲和準確性。為了充分利用系統的計算能力，最大限度地減少系統計算延遲，近年來基于邊緣計算的實時視頻分析系統成為新的研究熱點。然而現有系統架構缺乏對深度學習模型的細粒度的討論，且在模型拆分中忽略了相機集群間的協同問題。

MTMCT成功的關鍵原因是深度學習技術和物聯網的蓬勃發展，如圖像識別、目標檢測和目標跟蹤。利用動態計算卸載和資源分配，可以實現基于物聯網的實時視頻分析。基于邊緣計算的實時視頻流分析架構驗證了邊緣計算在視覺領域的可能性。然而，廣泛的應用場景導致了邊緣云集群中的不同的架構，并且對細粒度的深度神經網絡(Deep NeuralNetwork,DNN)模型缺乏討論。在DNN模型劃分領域中，考慮多層集群之間的合作仍然是一個有待解決的問題。因此，邊緣實時視頻分析系統仍然存在三個挑戰：1.將復雜的DNN模型卸載到有限的邊緣設備上；2.在層或節點之間的卸載端邊緣云異構集群；3.緩解云的計算壓力，充分利用系統的計算能力，并在多個視頻流的場景中最小化計算延遲。具體來說：

一、MTMCT中的數據需要一個巨大的計算能力來完全釋放其潛力，云計算是解決方案之一。然而，隨著監控攝像頭數量的激增，僅通過云計算來處理如此龐大的數據具有挑戰性，云計算面臨著巨大的傳輸壓力、高延遲、成本昂貴和低安全性的問題。

二、基于邊緣計算的實時視頻分析系統成為研究熱點。常見系統設計專注于利用協同學習策略解決多目標多攝像機跟蹤任務，然而，深度神經網絡仍然在云中運行，導致系統性能限制。已有系統實現自適應地平衡智能相機之間的工作負載，并將工作負載劃分到相機和邊緣集群之間，以實現優化的系統性能。然而，DNN的性質尚未被考慮，而部署在這些資源受限的設備上的人工智能模型需要保持較低的參數數量，同時容忍高推理延遲和低準確性。因此，將DNN分區與跨攝像機視頻處理結合起來是很有意義的。

三、在上述趨勢的推動下，有許多類型的研究都很重視DNN的拆分，以減少延遲和節約資源，有兩種基本類別劃分策略：水平分割和垂直分割。對于前者，DNN的水平分割利用DNN的特點設計了一種粗粒度的層級計算劃分策略。通過將DNN視為一個有向無環圖(Directed Acyclic Graph,DAG)，將最小化延遲的問題轉移到一個等價的最小分割問題上。然而，水平分割的DNN不能實現模型網絡的并行執行，并且增加了設備之間中間參數的通信代價。對于垂直分割，基于單個節點的計算能力對特征投影進行卷積層劃分，然后將主機中所有節點的輸出進行合并。垂直分割應用了一種可擴展的卷積層的融合區域劃分(Fused Tile Partitioning,FTP)策略，以最小化內存占用和減少節點之間的傳輸。垂直分割雖然能夠實現卷積層之間并向執行，然而對于存在殘差結構和注意力機制的模型需要更細致的討論。