[發(fā)明專利]基于邊緣計算和機器學習的視頻質(zhì)量異常檢測系統(tǒng)及其檢測方法

有效

• 申請?zhí)枺?/td>: 201910165037.2
• 申請日: 2019-03-05
• 公開（公告）號: CN109902640B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設計）人: 肖志勇;高超宏;尹達恒;姜海鵬;宋嶸榕
• 申請（專利權）人: 江南大學;無錫本希奧智能技術有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V20/40;G06V20/52;G06V10/94;G06V10/96;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 顏盈靜

本發(fā)明公開了一種基于邊緣計算和機器學習的視頻質(zhì)量異常檢測系統(tǒng)及其檢測方法，系統(tǒng)分為感知層、網(wǎng)絡層和應用層三個層次。在感知層，利用Python腳本，實現(xiàn)對單個樹莓派連接的所有攝像頭所采集的視頻數(shù)據(jù)的異常檢測。在網(wǎng)絡層，樹莓派通過網(wǎng)線與路由器進行有線連接，路由器與云端服務器通過路由器進行無線網(wǎng)絡連接。在應用層，主要實現(xiàn)視頻異常檢測、異常數(shù)據(jù)數(shù)據(jù)處理和故障預測。該系統(tǒng)在感知層進行邊緣計算，提高了視頻異常檢測的實時性和資源利用率；在應用層以機器學習作為工具訓練預測模型，提高了視頻監(jiān)控系統(tǒng)的維護效率，一定程度上預防了因維修不及時所導致的損失。

技術領域

本發(fā)明涉及視頻質(zhì)量異常檢測領域，尤其涉及一種基于邊緣計算和機器學習的視頻質(zhì)量異常檢測系統(tǒng)及其檢測方法。

背景技術

目前，隨著網(wǎng)絡通信、視頻圖像處理、計算機圖形學等學科領域的逐漸成熟和機器學習、深度學習等智能算法領域的快速發(fā)展，以早期拓撲網(wǎng)絡視頻監(jiān)控系統(tǒng)為根基并且結合目前發(fā)展較為成熟的視頻圖像處理與分析技術而產(chǎn)生的智能視頻監(jiān)控系統(tǒng)正以較快的速度發(fā)展，其普及程度越來越高，應用領域越來越廣泛。智能視頻監(jiān)控系統(tǒng)在城市智慧交通、樓宇智能安防、環(huán)境智能監(jiān)測、行人狀態(tài)監(jiān)測與跟蹤等物聯(lián)網(wǎng)視覺領域有較為成熟的發(fā)展，其突出技術領域包括視頻圖像采集技術、視頻圖像處理技術、視頻圖像分析技術、短距離通信技術、異構拓撲網(wǎng)絡技術、機器學習和深度學習等。

目前，智能視頻監(jiān)控系統(tǒng)已經(jīng)有比較成熟的發(fā)展，系統(tǒng)的精確度也比較高，隨之而來的一個新型技術問題是視頻質(zhì)量的異常分析和故障診斷。隨著視頻監(jiān)控系統(tǒng)的普及，視頻質(zhì)量異常檢測技術成為一個完善與發(fā)展智能視頻監(jiān)控系統(tǒng)的主要部分。前期科研工作者在處理視頻質(zhì)量異常情況時，在不影響系統(tǒng)整體性能的前提下，一般直接跳過異常幀以保證視頻質(zhì)量的流暢性。此外，較為成熟和有效的方法是以異常幀作為檢測樣本，以圖像分析技術進行異常幀的故障診斷，通常可以檢測出雪花、色偏、抖動、遮擋、黑屏等異常類型。但是，由于圖像處理技術的局限性，無法準確定位和識別出出現(xiàn)異常的攝像頭的位置信息和故障類型。所以，傳統(tǒng)形式下以圖像分析技術作為主要異常檢測和故障診斷途徑的視頻異常檢測方法在攝像頭故障檢測和地理定位上存在一定的提高空間。在現(xiàn)存的視頻質(zhì)量異常檢測和攝像頭故障診斷的基礎上，基于異常數(shù)據(jù)和故障信息對視頻質(zhì)量異常的類型和攝像頭故障信息作出預測估計，并且利用異常數(shù)據(jù)和故障信息訓練預測模型。

目前，現(xiàn)有攝像機存在計算能力以及上傳數(shù)據(jù)的時延和帶寬不足，造成目標信息檢測漏檢較大和檢測效率低效等問題，邊緣計算是從數(shù)據(jù)源到云計算中心數(shù)據(jù)路徑之間的任意計算資源和網(wǎng)絡資源，實現(xiàn)數(shù)據(jù)的就近處理方式。邊緣計算是將計算任務在接近本地數(shù)據(jù)源的計算資源上運行，邊緣計算可以實現(xiàn)對視頻數(shù)據(jù)傳輸流過程中的本地化處理，為視頻監(jiān)控系統(tǒng)帶來低時延和高效資源利用性等優(yōu)點，滿足數(shù)據(jù)處理的實時性和完整性需求。視頻異常檢測系統(tǒng)結合邊緣計算可以實現(xiàn)視頻異常的本地檢測，傳輸?shù)皆贫说男畔⒅挥泄收闲畔⒑蛿z像機的地理位置信息，極大的提高了實時性和資源利用率。

發(fā)明內(nèi)容

為了對視頻監(jiān)控系統(tǒng)所導出的實時視頻進行視頻質(zhì)量異常檢測，診斷視頻故障信息和攝像頭的地理位置信息，提高異常類型檢測準確度、實時性和資源利用率，現(xiàn)提出一種基于邊緣計算和機器學習的視頻質(zhì)量異常檢測系統(tǒng)及其方法。

本發(fā)明所采用的技術方案是：一種基于邊緣計算和機器學習的視頻質(zhì)量異常檢測系統(tǒng)，包括感知層、網(wǎng)絡層和應用層；

所述感知層，包括用于實時獲取視頻流的視頻傳感器和進行處理多個視頻傳感器傳輸?shù)囊曨l數(shù)據(jù)的視頻微處理器；所述視頻微處理器包括嵌有Python腳本的樹莓派，在收到來自應用層的視頻異常檢測請求時，所述樹莓派將視頻數(shù)據(jù)導入Python腳本中進行視頻異常檢測；感知層通過樹莓派采集視頻傳感器信息，所述視頻傳感器信息包括與樹莓派連接的視頻傳感器的產(chǎn)品信息和運行狀態(tài)；

所述網(wǎng)絡層，用于對感知層的視頻數(shù)據(jù)和視頻傳感器信息轉發(fā)至云端服務器；

所述應用層，接收用戶業(yè)務請求，根據(jù)用戶業(yè)務請求調(diào)用感知層的視頻數(shù)據(jù)、傳感器信息進行視頻異常檢測、異常數(shù)據(jù)處理和故障預測。