[發明專利]一種結合邊緣計算與深度學習的智能終端視頻分析算法

在審

• 申請號: 202010315164.9
• 申請日: 2020-04-21
• 公開（公告）號: CN111462167A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 李雪;李銳;金長新
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：在邊緣端設備搭載運動目標檢測模型，實時處理原始視頻數據，分析視頻中的運動目標，從而有效降低網絡的延遲問題；同時通過保留關鍵幀信息，包括背景和運動目標，達到視頻壓縮的目的，從而節省大量的存儲空間和定位異常行為的查找時間。

2.基于權利要求1所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于，包括以下步驟：

第一步，采集樣本，并在正常圖像中生成缺陷樣本和正樣本；

第二步，利用將標記的正樣本數據集和缺陷樣本數據集進行模型訓練；

第三步，模型剪枝

對卷積核進行排序，用最小堆排序方法，設閾值為N，去掉N個排名最低的參數；

第四步，參數微調和迭代

訓練和學習所有參數，重復模型訓練和模型剪枝，直到模型精度達到要求；

第五步，保存模型，將其部署到邊緣端設備，完成目標檢測任務。

3.根據權利要求2所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：所述第一步中，利用半監督學習的方式擴充正樣本數據集和缺陷樣本數據集。

4.根據權利要求3所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：所述第一步中，在正常圖像中人工生成缺陷樣本，手工標記PASCAL VOC格式的正樣本數據集。

5.根據權利要求2項所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：所述第二步中，選用適用于移動視覺識別技術的輕量級網絡MobileNet訓練目標檢測模型。

6.根據權利要求2所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：所述第三步中，選用剪枝的方式對模型進行壓縮，通過排序神經網絡中神經元的貢獻度，去除對輸出貢獻較小的參數來達到壓縮模型的目的。

7.根據權利要求2所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：所述第五步中，利用提取運動目標及時序信息的方式保存關鍵幀和背景信息，從而減小存儲壓力和傳輸壓力。

8.根據權利要求2～7任意一項所述的結合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于，具體流程如下：

首先，參考PASCAL VOC數據集的標注格式，標記數據，制作訓練集參與訓練；

其次，選用MobileNet網絡訓練和學習數據，然后對訓練后的模型進行剪枝處理，從而加快模型的運行速度，并降低模型大小，使模型精度達到要求；

最后，將訓練后的模型部署到邊緣端設備，使邊緣端設備具備實時處理視頻流的能力，從而避免網絡故障造成的延遲。