[發(fā)明專利]一種面向大規(guī)模視頻分析的快速過濾系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810092371.5
• 申請日: 2018-01-30
• 公開（公告）號: CN108304802B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計）人: 曹強(qiáng);張宸
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 李智;曹葆青

1.一種面向大規(guī)模視頻分析的快速過濾系統(tǒng)，其特征在于，包括：

多級過濾器，用于過濾視頻流中的背景幀、沒有目標(biāo)對象的幀，以及目標(biāo)對象數(shù)量小于數(shù)量閾值NumberofObject的幀，得到視頻流中的被檢測幀；

全特征網(wǎng)絡(luò)模型，用于對被檢測幀進(jìn)行檢測和分析；

全局反饋隊列模塊，用于協(xié)調(diào)多級過濾器中各個過濾器的處理速度；

所述多級過濾器中的前后兩個連續(xù)的過濾器中間增加一個隊列，使多級過濾器以流水線的方式異步并行執(zhí)行；

所述多級過濾器包括M個SDD、M個SNM和一個T-YOLO，其中，M≥1，M表示視頻流的總數(shù)，一個視頻流對應(yīng)一個SDD和一個SNM，每個視頻流和每個SDD之間具有一個SDD隊列，每個SDD與每個SNM之間具有一個SNM隊列，每個SNM與T-YOLO之間具有一個T-YOLO隊列；

所述SDD隊列，用于保存視頻流；

所述SDD，用于從SDD隊列中獲取視頻流，過濾視頻流中的背景幀，得到第一視頻幀；

所述SNM隊列，用于保存第一視頻幀；

所述SNM，用于從SNM隊列中獲取第一視頻幀，過濾第一視頻幀中沒有目標(biāo)對象的幀，得到第二視頻幀；

所述T-YOLO隊列，用于保存第二視頻幀；

所述T-YOLO，用于從T-YOLO隊列中獲取第二視頻幀，過濾第二視頻幀中目標(biāo)對象數(shù)量小于閾值NumberofObject的幀，得到視頻流中的被檢測幀；

所述SDD的處理速度＞SNM的處理速度＞T-YOLO的處理速度，保證多級過濾器的高效運(yùn)行；

所述全局反饋隊列模塊的具體執(zhí)行方式為：

在離線情況下，利用檢測多級過濾器中后端過濾器的處理速度，控制前端過濾器的處理速度，通過維持每個過濾器隊列深度在其閾值上限和多線程并行，來獲得最高的吞吐量；在在線情況下，當(dāng)T-YOLO隊列深度低于其閾值上限一段時間，說明系統(tǒng)有富余的計算能力，一個新的視頻流可以被加載到當(dāng)前系統(tǒng)中，當(dāng)T-YOLO隊列深度高于其閾值上限一段時間，說明系統(tǒng)的計算能力不足以支持當(dāng)前系統(tǒng)中所有視頻流的實(shí)時檢測，此時到達(dá)T-YOLO的最低幀率的視頻流將被轉(zhuǎn)發(fā)到另一個有富余計算能力的系統(tǒng)中，另外，全局隊列反饋模塊還用于根據(jù)視頻流內(nèi)容的變化，調(diào)整T-YOLO每個周期從相應(yīng)的T-YOLO隊列中取出視頻幀的數(shù)量，維持視頻流間的負(fù)載均衡。

2.如權(quán)利要求1所述的一種面向大規(guī)模視頻分析的快速過濾系統(tǒng)，其特征在于，所述SDD的具體執(zhí)行方式為：

將多張樣本背景幀的平均值作為參考圖像，根據(jù)參考圖像和視頻流中的某一幀的距離，判斷兩張圖像內(nèi)容是否相同；如果距離的均方誤差大于第一閾值δ_diff，說明兩張圖像內(nèi)容不相同，將該幀保存至SNM隊列，否則，兩張圖像內(nèi)容相同，該幀被視為一個背景幀，直接被過濾掉。

3.如權(quán)利要求2所述的一種面向大規(guī)模視頻分析的快速過濾系統(tǒng)，其特征在于，所述SNM的具體執(zhí)行方式為：

對于第一視頻幀中的每一幀進(jìn)行預(yù)測，得到每一幀中含有目標(biāo)對象的概率c，當(dāng)c＜t_pre時，對應(yīng)的幀被直接過濾；當(dāng)c≥t_pre時，對應(yīng)的幀放入T-YOLO隊列，繼續(xù)執(zhí)行后續(xù)的檢測，其中，t_pre為第二閾值。

4.如權(quán)利要求1所述的一種面向大規(guī)模視頻分析的快速過濾系統(tǒng)，其特征在于，所述T-YOLO的具體執(zhí)行方式為：

T-YOLO依次遍歷所有的T-YOLO隊列，從T-YOLO隊列中提取不超過num_t-yolo幀進(jìn)行檢測，輸出每一幀中目標(biāo)對象的數(shù)量信息，如果目標(biāo)對象的數(shù)量小于用戶設(shè)定的異常事件的數(shù)量閾值NumberofObject，說明當(dāng)前場景不屬于用戶關(guān)心的范圍，直接過濾掉該幀，否則，說明當(dāng)前場景很可能發(fā)生了意外或異常事件，該幀需要使用全特征網(wǎng)絡(luò)模型進(jìn)行高精度的內(nèi)容分析。