[發(fā)明專利]一種視頻人群計數(shù)系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010555547.3
• 申請日: 2020-06-17
• 公開（公告）號: CN111860162A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 吳祺堯;張重陽
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 劉翠

1.一種視頻人群計數(shù)系統(tǒng)，其特征在于，包括：

前端編碼器，所述前端編碼器對給定視頻序列中的一幀圖像進(jìn)行特征提取，其中，所提取的特征包括淺層結(jié)構(gòu)特征和深層語義特征；

共同監(jiān)督模塊，所述共同監(jiān)督模塊利用視頻序列中前續(xù)幀與待測幀之間的相關(guān)特征抑制場景中固定背景的干擾，得到視頻序列幀間相關(guān)特征，其中所述視視頻序列幀間相關(guān)特征包括幀間時間相關(guān)特征以及幀間空間相關(guān)特征；

空間注意力模塊，所述空間注意力模塊利用淺層結(jié)構(gòu)特征，選擇注意力區(qū)域，引導(dǎo)系統(tǒng)區(qū)分前景人群和背景干擾，得到單幀空間特征；

多尺度自我監(jiān)督模塊，所述多尺度自我監(jiān)督模塊利用深層語義特征，通過多分支結(jié)構(gòu)提取圖像中人群的不同尺度特征，并通過自注意力機制對上下文特征信息進(jìn)行自適應(yīng)整合，自主選取最合適的尺度分支特征，得到單幀尺度特征；

后端解碼器，所述后端解碼器將共同監(jiān)督模塊、空間注意力模塊和多尺度自我監(jiān)督模塊提取的視頻序列幀間相關(guān)特征、單幀空間特征和單幀尺度特征融合并輸出預(yù)測人群密度圖，進(jìn)而計算出待測視頻幀中所含人數(shù)。

2.根據(jù)權(quán)利要求1所述的視頻人群計數(shù)系統(tǒng)，其特征在于，所述前端編碼器，包括兩路特征提取網(wǎng)絡(luò)，分別用于提取視頻序列中當(dāng)前待測幀及前續(xù)幀的視覺特征；其中每一路特征提取網(wǎng)絡(luò)均包括一個深度卷積神經(jīng)網(wǎng)絡(luò)DCNN，所述深度卷積神經(jīng)網(wǎng)絡(luò)DCNN包括五個卷積塊以及與卷積塊級聯(lián)的四組空洞率為2的二維卷積層，兩個深度卷積神經(jīng)網(wǎng)絡(luò)DCNN之間參數(shù)共享；輸入圖像通過深度卷積神經(jīng)網(wǎng)絡(luò)DCNN的前三個卷積塊所得到的特征定義為淺層結(jié)構(gòu)特征，經(jīng)過完整的深度卷積神經(jīng)網(wǎng)絡(luò)DCNN所提取到的特征定義為深層語義特征。

3.根據(jù)權(quán)利要求1所述的視頻人群計數(shù)系統(tǒng)，其特征在于，所述共同監(jiān)督模塊利用共同監(jiān)督機制中的對稱監(jiān)督機制計算前續(xù)幀與待測幀之間的相關(guān)特征，并利用當(dāng)前測試幀作為全局基礎(chǔ)進(jìn)行特征提取與融合，得到視頻序列幀間相關(guān)特征；利用門函數(shù)機制，通過加權(quán)層調(diào)節(jié)輸出共同監(jiān)督后的特征來抑制特征提取單元所提取特征中潛在的幀間差異、遮擋以及噪聲干擾；其中：

所述對稱監(jiān)督機制包括：

通過前端編碼器得到前續(xù)幀與待測幀各自的深層語義特征來計算關(guān)聯(lián)矩陣A：

W＝P^-1DP

其中，F(xiàn)_a為目標(biāo)幀的圖像特征，F(xiàn)_b為查詢幀的圖像特征，其中目標(biāo)幀定義為當(dāng)前待測圖片，查詢幀則為視頻序列基于當(dāng)前待測幀的前續(xù)幀；為權(quán)重矩陣；將F_a與F_b轉(zhuǎn)換為二維矩陣表示形式，維度大小為C×(WH)，P為可逆矩陣，D為對角矩陣；

限制權(quán)重矩陣W為對稱矩陣，則投影矩陣為正交矩陣，滿足P^TP＝I，其中I為單位矩陣，維度大小為(C，C)；對稱共同監(jiān)督由公式導(dǎo)出：

其中，將特征F_a與F_b投影至正交空間并且保證F_a與F_b在新空間中的范數(shù)保持不變，進(jìn)而消除不同通道之間的相關(guān)性，改善系統(tǒng)的普適性；

所述門函數(shù)用于生成置信度矩陣；其中，門函數(shù)f_g如下所示：

f_g(F_a)＝σ(w_fF_a+b_f)∈[0，1]^WH，f_g(F_b)＝σ(w_fF_b+b_f)∈[0，1]^WH，

其中，σ為logistic sigmoid激活函數(shù)，C_a和C_b分別為經(jīng)過樸素共同監(jiān)督或者對稱共同監(jiān)督輸出的目標(biāo)幀特征和查詢幀特征；

所述門函數(shù)使用全連接層來實現(xiàn)，w_f為門函數(shù)的權(quán)重值，b_f為偏差值；通過已經(jīng)計算的關(guān)聯(lián)矩陣A，C_a與C_b使用下述公式得到，其中A^c＝softmax(A)：

將門函數(shù)的輸出f_g與之前得到的輸出的特征C做哈達(dá)瑪乘積，即得到共同監(jiān)督后的特征C′：

C_a′＝C_a⊙f_g(F_a)，C_b′＝C_b⊙f_g(F_b)。