[發明專利]基于目標追蹤加速的邊云協同深度學習目標檢測方法

在審

• 申請號: 202110091011.5
• 申請日: 2021-01-22
• 公開（公告）號: CN112817755A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 楊樹森;趙鵬;郭思言;高遠方;王歸秦;趙聰;賈根龍
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06K9/00;G06K9/20;G06K9/32;G06K9/62;G06N3/063;G06N3/08;G06T7/246
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明提供的一種基于目標追蹤加速的邊云協同深度學習目標檢測方法，解決了目標檢測問題實時性不能得到保障的問題。通過三階段的處理，第一階段，在邊緣節點上，使用自適應關鍵幀算法提供關鍵幀的選擇方法，并且做到在同一深度學習模型中選擇關鍵幀只需極小的計算資源代價。第二階段，在云端，利用邊緣篩選的數據，使用高精度的分類模型，進行高精度的目標檢測。第三階段，在邊緣端，利用孿生網絡，通過關鍵幀的分類和標框結果進行快速追蹤，該方法在利用自適應關鍵幀算法實現針對視頻目標檢測的數據篩選，同時實現模型精度和時延消耗的折中，給解決邊云協同深度學習模型視頻目標檢測問題提供了可靠的方案。

技術領域

本發明屬于人工智能領域，具體涉及一種快速的在線視頻對象檢測方法，它以協作的方式利用云上的精確對象檢測器和系統邊緣資源有限的設備上的輕量級對象跟蹤器。

背景技術

視頻對象檢測在越來越多需要智能視頻分析的智能城市應用中發揮著重要作用。然而，占主導地位的方法要么受到端到端視頻對象檢測響應時間長的影響，要么受到其離線特性的影響，使得它們不適用于對延遲敏感的視頻流分析。傳統集中式云計算常用于訓練高精度深度學習模型，例如深層神經網絡，然而，數據上云的時延造成云上檢測速度慢。使用分布式邊緣計算范式，邊緣服務器從附近的終端節點獲取圖像、視頻等原始數據，在沒有大規模原始數據上傳的情況下進行本地學習，選擇數據上云，以減少邊緣和云端之間的時延消耗，因此，基于邊緣服務器上的本地學習和云上的協作是必要的，同時需要實現在時延消耗和模型精度之間進行權衡的方案。

發明內容

本發明的目的在于克服上述現有技術的缺點，為了解決這個問題本發明提出了ECC-Detect，一種快速的在線視頻對象檢測方法，它以協作的方式利用云上的精確對象檢測器和系統邊緣資源有限的設備上的輕量級對象跟蹤器。本發明提出了一種新的分支深層網絡架構，通過目標檢測器和目標跟蹤器共享同一個特征提取器，大大降低了協同目標檢測的計算和通信成本。使用大規模視頻數據集在真實原型上進行的大量實驗結果表明，與僅云部署和僅邊緣部署以及最先進的方法相比，ECC-Detect能夠實現高達21倍的在線視頻對象檢測速度，134倍的較低邊緣云帶寬消耗，并且精度損失最多不超過15％。

為達到上述目的，本發明采用如下技術方案來實現的：

1.基于邊云協同深度網絡的視頻實時目標檢測，其特征在于，用于分類模型訓練的數據先在邊緣節點中進行特征圖提取，通過對比相似度，確定特征圖是進行目標檢測或追蹤，包括選擇器，檢測器，追蹤器三個階段：

階段一：

1)利用邊緣節點上的終端數據，使用深度學習中的卷積網絡，提取特征圖，通過使用自適應的關鍵幀選取算法實現選擇器功能；

2)在稀疏處理視頻時，有多種啟發式方法來選擇關鍵幀。由于更關心幀中的時間語義信息變化，所以只在當前幀和最后一個關鍵幀之間的內容有重大差異時才選擇關鍵幀，即自適應的關鍵幀選取算法；

3)將選中的關鍵幀，經過邊云間的通信網絡，由邊緣端上傳到云端，在云端進行處理，為第二階段進行準備；將非關鍵幀繼續留在邊緣設備，為第三階段進行準備；

階段二：

4)云端匯聚邊緣端的數據，由檢測網絡的剩余部分對其進行處理，這里使用了高精度的檢測算法進行目標檢測；

5)檢測算法作為目標檢測的部分，主要關注特定的物體目標，要求同時獲得這一目標的類別信息和位置信息，即需要從背景中分離出感興趣的目標，并確定這一目標的描述(類別和位置)，因而，檢測模型的輸出是一個列表，列表的每一項使用一個數據組給出檢出目標的類別和位置(常用矩形檢測框的坐標表示)；

6)從云返回檢測結果，包括當前幀邊界框和類別預測。在第二階段的最后，更新關鍵幀和目標的位置，經過邊云間的通信網絡，由云端上傳到邊緣端，這將是第三階段所需要的；

階段三：