[發(fā)明專利]一種結(jié)合邊緣計算與深度學習的智能終端視頻分析算法

在審

• 申請?zhí)枺?/td>: 202010315164.9
• 申請日: 2020-04-21
• 公開（公告）號: CN111462167A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 李雪;李銳;金長新
• 申請（專利權(quán)）人: 濟南浪潮高新科技投資發(fā)展有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 郗艷榮

本發(fā)明特別涉及一種結(jié)合邊緣計算與深度學習的智能終端視頻分析算法。該結(jié)合邊緣計算與深度學習的智能終端視頻分析算法，在邊緣端設(shè)備搭載運動目標檢測模型，實時處理原始視頻數(shù)據(jù)，分析視頻中的運動目標，從而有效降低網(wǎng)絡(luò)的延遲問題；同時通過保留關(guān)鍵幀信息，包括背景和運動目標，達到視頻壓縮的目的，從而節(jié)省大量的存儲空間和定位異常行為的查找時間。該結(jié)合邊緣計算與深度學習的智能終端視頻分析算法，替代傳統(tǒng)流程中在后端處理器中完成視頻分析的過程，將利用深度學習得到的訓練模型搭載到攝像頭中，這樣每臺攝像機就是一臺微型處理器，具備實時處理視頻流的能力，極大的減少了存儲壓力和網(wǎng)絡(luò)傳輸壓力。

技術(shù)領(lǐng)域

本發(fā)明涉及邊緣計算、深度學習與視頻分析技術(shù)領(lǐng)域，特別涉及一種結(jié)合邊緣計算與深度學習的智能終端視頻分析算法。

背景技術(shù)

得益于處理器性能的提高和深度學習等算法的革新，視頻分析可以對未經(jīng)編輯的海量原始視頻進行針對性的分析和處理。基于視頻分析技術(shù)的發(fā)展，提供客戶需求的特定性信息，人臉識別、運動目標檢測、行人重識別等視頻分析應(yīng)用應(yīng)運而生。視頻分析充分利用攝像頭提供的海量視頻及后端處理器，實時展現(xiàn)監(jiān)測結(jié)果和自動警報。

現(xiàn)今較為流行的視頻分析方法多為前端攝像頭采集視頻，通過網(wǎng)絡(luò)傳輸?shù)胶蠖颂幚砥鬟M行分析和檢測。該視頻分析方法需要占用大量的存儲空間，對存儲空間和網(wǎng)絡(luò)傳輸速度要求較高，實時性難以保證，且成本較高。因此，結(jié)合深度學習技術(shù)，為網(wǎng)絡(luò)攝像機或其他智能終端增添識別、檢測等功能的發(fā)展趨勢可謂日益顯著。

目前，檢測效果理想的應(yīng)用多建立在深度學習的基礎(chǔ)上，其關(guān)鍵在于對海量數(shù)據(jù)的學習和反復(fù)的迭代訓練，因而對處理器的存儲、配置、速度等要求較高。

當前，邊緣計算逐漸成為一種新的發(fā)展趨勢。邊緣計算指在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力的開放平臺，就近提供邊緣智能服務(wù)，滿足行業(yè)數(shù)字化在敏捷連接、實時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護等方面的關(guān)鍵需求。

邊緣端的視頻分析可以將訓練后的模型直接部署到智能終端，對實時視頻進行處理、分析和保存，可以滿足多樣化的定制需求，擴展到多種應(yīng)用場景。但是由于數(shù)據(jù)量龐大，訓練次數(shù)過多會導(dǎo)致模型過大的問題，因此，考慮如何壓縮模型大小成為亟待解決的一個關(guān)鍵問題。

基于以上情況，本發(fā)明提出了一種結(jié)合邊緣計算與深度學習的智能終端視頻分析算法。

發(fā)明內(nèi)容

本發(fā)明為了彌補現(xiàn)有技術(shù)的缺陷，提供了一種簡單高效的結(jié)合邊緣計算與深度學習的智能終端視頻分析算法。

本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

一種結(jié)合邊緣計算與深度學習的智能終端視頻分析算法，其特征在于：在邊緣端設(shè)備搭載運動目標檢測模型，實時處理原始視頻數(shù)據(jù)，分析視頻中的運動目標，從而有效降低網(wǎng)絡(luò)的延遲問題；同時通過保留關(guān)鍵幀信息(背景和運動目標)達到視頻壓縮的目的，從而節(jié)省大量的存儲空間和定位異常行為的查找時間。

本發(fā)明結(jié)合邊緣計算與深度學習的智能終端視頻分析算法，包括以下步驟：

第一步，采集樣本，并在正常圖像中生成缺陷樣本和正樣本；

第二步，利用將標記的正樣本數(shù)據(jù)集和缺陷樣本數(shù)據(jù)集進行模型訓練；

第三步，模型剪枝

對卷積核進行排序，用最小堆排序方法，設(shè)閾值為N，去掉N個排名最低的參數(shù)；

第四步，參數(shù)微調(diào)和迭代

訓練和學習所有參數(shù)，重復(fù)模型訓練和模型剪枝，直到模型精度達到要求；

第五步，保存模型，將其部署到邊緣端設(shè)備，完成目標檢測任務(wù)。

所述第一步中，利用半監(jiān)督學習的方式擴充正樣本數(shù)據(jù)集和缺陷樣本數(shù)據(jù)集。