[發(fā)明專利]一種基于視頻特征學(xué)習(xí)的多要素可疑人員識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911032396.7
• 申請(qǐng)日: 2019-10-28
• 公開（公告）號(hào): CN110852203B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 桂小林;滕曉宇;戴慧珺;徐盼;姜林;李德福;廖東;程錦東;汪振星;桂若偉
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V20/52;G06V40/20
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 姚詠華

1.一種基于視頻特征學(xué)習(xí)的多要素可疑人員識(shí)別方法，其特征在于，包括以下步驟：

S1、通過動(dòng)靜態(tài)監(jiān)控設(shè)備分別采集靜態(tài)監(jiān)控視頻S與動(dòng)態(tài)監(jiān)控視頻Q，形成監(jiān)控視頻集合T；對(duì)監(jiān)控視頻集合T進(jìn)行數(shù)據(jù)處理，獲得關(guān)鍵幀集合S_key；

S2、根據(jù)篩選所得的關(guān)鍵幀集合S_key提取包含行為主體的前景數(shù)據(jù)T_pre；

S3、使用慢特征分析法分析前景數(shù)據(jù)T_pre中靜態(tài)監(jiān)控視頻部分，得到局部特征中頭部姿勢(shì)變換特征數(shù)據(jù)D_head與手部姿勢(shì)變換特征數(shù)據(jù)D_hand；并提取前景數(shù)據(jù)T_pre中靜態(tài)監(jiān)控視頻部分中全局特征中行走異常特征數(shù)據(jù)D_walk與衣著異常特征數(shù)據(jù)D_clothes；

S4、根據(jù)特征數(shù)據(jù)：頭部姿勢(shì)變換特征數(shù)據(jù)D_head、手部姿勢(shì)變換特征數(shù)據(jù)D_hand、行走異常特征數(shù)據(jù)D_walk、衣著異常特征數(shù)據(jù)D_clothes，從監(jiān)控視頻集合T中獲取可疑目標(biāo)集合A；

S5、計(jì)算包含行為主體的前景數(shù)據(jù)T_pre中靜態(tài)監(jiān)控視頻部分中可疑目標(biāo)集合A的路徑重復(fù)度D_re、人群密集點(diǎn)出現(xiàn)的概率D_p以及監(jiān)控環(huán)境中標(biāo)志點(diǎn)平均停留時(shí)間D_τ；

S6、根據(jù)路徑重復(fù)度D_re、人群密集點(diǎn)出現(xiàn)的概率D_p以及監(jiān)控環(huán)境中標(biāo)志點(diǎn)平均停留時(shí)間D_τ對(duì)可疑目標(biāo)集合A中人員進(jìn)行異常評(píng)判，確定其身份可信指數(shù)Auth，最后根據(jù)可信因子Ω確定可疑人員，完成可疑人員判定并輸出；

步驟S1中對(duì)監(jiān)控視頻集合T進(jìn)行數(shù)據(jù)處理，具體包括：

S1.1、監(jiān)控視頻T分幀為T＝{T₁，T₂，…，T_n}，灰度化處理后得幀集合B＝{B₁，B₂，…，B_n}；

S1.2、根據(jù)P-Hash最佳變換像素32×32塊，對(duì)幀集合B的每幀圖像進(jìn)行分塊，并橫向編號(hào)，不足以0填充，即幀B_i＝{B_i1，B_i2，…，B_ij}，得到相應(yīng)的塊數(shù)據(jù)B_ij；

S1.3、根據(jù)分塊后的塊數(shù)據(jù)B_ij進(jìn)行DCT變換，并只保留塊數(shù)據(jù)B_ij變換后矩陣B′_ij左上角8×8的數(shù)據(jù)矩陣D_ij，其中i表示視頻序列第i幀，j表示視頻幀內(nèi)第j塊；

S1.4、計(jì)算矩陣D_ij的平均值當(dāng)D_ij的值大于用1替換D_ij的值，當(dāng)D_ij的值小于則用0替換，從而獲得塊哈希值；

S1.5、以監(jiān)控視頻T的第一幀數(shù)據(jù)為基準(zhǔn)，并根據(jù)需求選擇τ時(shí)間段，分別計(jì)算τ時(shí)間段內(nèi)，與第一幀數(shù)據(jù)對(duì)應(yīng)塊哈希值之間的漢明相似度，直到計(jì)算完所有對(duì)應(yīng)塊之間的相似度得到相似度集合S_a，k＝{S_a，1，S_a，2，…，S_a，k}，其中a表示τ時(shí)間段中的第a幀，k表示第a幀的第k塊；

S1.6、根據(jù)步驟S5的相似度集合S_a，k，計(jì)算幀間相似度S_q，動(dòng)態(tài)確定關(guān)鍵幀篩選閾值ρ；

S1.7、綜合步驟S1.6中相似度S_q與關(guān)鍵幀篩選閾值ρ，對(duì)監(jiān)控視頻集合T進(jìn)行篩選，采用模糊聚類方法聚合得到高相似度塊，從高相似度塊任意一幀作為關(guān)鍵幀，聚合所有高相似度塊的關(guān)鍵幀集合，得到關(guān)鍵幀集合S_key；

步驟S6具體包括：

用D_P，walk表示可疑人員出現(xiàn)在密集點(diǎn)概率，在基于可信計(jì)算的可疑人員身份判定中身份可信指數(shù)Auth計(jì)算方法如下：

根據(jù)可信指數(shù)Auth確定可信因子Ω的值，其計(jì)算方法如下：

其中N_key為步驟S1中關(guān)鍵幀篩選所得的集合S_key的幀數(shù)目，N_T為監(jiān)控視頻T中幀總數(shù)；令{Z}的初始為對(duì)于集合{A}中每一個(gè)元素A_i計(jì)算可信指數(shù)Auth，若Auth≥Ω，則有：

{z}＝{Z}∪A_i

其中，Z為監(jiān)控區(qū)域內(nèi)標(biāo)志點(diǎn)集合；集合{A}為輸出的二次篩選所得的可疑人員集合，D_{Z，τ，average}表示出入監(jiān)控環(huán)境的平均時(shí)間，D_{Z，re，average}為平均重復(fù)路徑，D_{Z，p，average}為出現(xiàn)在人群密集點(diǎn)的平均概率，D_τ，walk為可疑人員在監(jiān)控環(huán)境中停留時(shí)間，D_re，walk為可疑人員路徑重復(fù)度。