[發明專利]一種基于智慧體育場館監控視頻的客流量統計方法

有效

• 申請號: 202310356877.3
• 申請日: 2023-04-06
• 公開（公告）號: CN116071710B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 劉星;司馬軍輝;劉長遠;李強
• 申請（專利權）人: 南京運享通信息科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/62;G06V10/762;G06V10/764;G06V10/82;G06T7/277
• 代理公司: 南京創略知識產權代理事務所(普通合伙) 32358
• 代理人: 劉文艷

1.一種基于智慧體育場館監控視頻的客流量統計方法，其特征在于：包括以下步驟，

步驟(A)，將智慧體育場館監控視頻輸入至目標檢測網絡，得到目標檢測結果，其中目標檢測網絡采用1個3×3卷積和11個連續Bneck結構組成，目標檢測網絡的具體檢測步驟如下，

步驟(A1)，將監控視頻輸入3×3卷積，得到初步處理結果，其中3×3卷積采用h-swish為激活函數；

步驟(A2)，將初步處理結果輸入11個連續Bneck結構，得到第二特征圖，其中Bneck結構具體處理步驟如下，

步驟(A21)，采用1×1卷積進行升維，再進行3×3深度可分離卷積，得到第一特征圖；

步驟(A22)，對得到的第一特征圖加入SE模塊，再經過1×1卷積得到第二特征圖；

步驟(A3)，將第二特征圖送入FPN+PAN結構中進行卷積和采樣操作，得到不同尺度特征信息，其中FPN結構采用自頂向下式的上采樣，而PAN結構采用自底向上式的下采樣；

步驟(B)，根據獲得的目標檢測結果構建YOLOv5損失函數，并對構建好的YOLOv5損失函數進行優化，獲得目標所在位置檢測框，具體步驟如下，

步驟(B1)，根據獲得的目標檢測結果構建YOLOv5損失函數，具體步驟如下，

步驟(B11)，選擇CioU?Loss作為邊界框時的損失函數，如公式(1)和公式(2)所示，

Loss_CIoU＝1-CIoU????(1)

其中，IoU表示預測框和真實框相交的面積與預測框和真實框合并的面積之比，ρ²(b,b^gt)表示預測框與真實框中心點的歐式距離，c表示能夠同時包含預測框和真實框的最小閉包區域的對角線距離，α表示權重參數，v表示衡量長寬比的相似性；

步驟(B12)，α和v的計算公式分別如公式(3)和公式(4)所示，

其中，w和h、w^gt和h^gt分別代表預測框的高寬和真實框的高寬；

步驟(B13)，CIoU?Loss如公式(5)所示，

步驟(B14)，每個視頻樣本單獨計算邊界框損失、置信度損失和分類損失，并求取所有樣本的平均值，再將三個損失相加就得到了YOLOv5的損失函數，如公式(6)所示，

Loss＝L_CIoU+L_conf+L_class????(6)

其中，L_conf為樣本的置信度損失，L_class為樣本的分類損失；

步驟(B2)，對構建好的YOLOv5損失函數進行優化，其中優化的是重新生成更適合數據集的先驗框，采用DIoU代替IoU計算k-means算法的距離度量，如公式(7)和公式(8)所示，

d＝1-DIoU????(7)

其中，d為k-means算法的距離度量；

步驟(C)，對獲得的目標所在位置檢測框進行過濾，再通過行人重識別網絡提取檢測框中的目標深度外觀特征，具體步驟如下，

步驟(C1)，對獲得的目標所在位置檢測框進行過濾，其中過濾是采用基于DIoU的Soft-NMS算法，基于DIoU的Soft-NMS算法的分數重置函數如公式(9)所示，

其中，M為檢測框，b_i為待檢測框，s_i為待檢測框的分數，N_t為閾值；

步驟(C2)，通過行人重識別網絡提取檢測框中的目標深度外觀特征，其中行人重識別網絡采用的是基于ReID網絡結構的多尺度模塊MReID網絡，具體提取步驟如下，

步驟(C21)，對檢測框進行多尺度模塊處理，再通過兩個卷積層提取圖像特征至池化層，其中多尺度模塊包括四條支路，具體處理步驟如下，

步驟(C211)，每條支路均先經過一個1×1卷積，且除第一條支路外，其余每條支路均分別經過卷積大小為3×3、5×5和7×7的卷積，再將不同尺寸的卷積層信息進行融合；

步驟(C212)，將四條支路分別經過rate為1、3、5和7的空洞卷積進行融合特征，再完成對目標特征的提?。?/p>

步驟(C213)，將rate為1和3的卷積層輸出進行融合，并將rate為5和7卷積層輸出進行融合，再將不同rate特征融合，接著將融合后的特征經1×1卷積的輸出與Shortcut的輸出相加后進行激活操作，得到最終的結果；

步驟(C22)，將池化層輸出的圖像特征經過六個殘差塊，輸出所提取到的外觀特征，并在Dense層輸出維度為128的特征向量；

步驟(C23)，將特征向量通過歸一化層投影到單位超球面上，并計算目標間的相似性，再與余弦度量兼容；

步驟(D)，基于獲得的目標深度外觀特征，利用卡爾曼算法對目標軌跡進行預測，得到預測好的目標軌跡，其中卡爾曼算法是預測目標出現在下一幀中的位置和大小，具體步驟如下，

步驟(D1)，將當前目標框的狀態定義為其中(x,y)為坐標框的中心點位置，r為坐標框的縱橫比，h為坐標框的高度，為當前目標框對應變量的對應速度信息；

步驟(D2)，定義當前目標框的觀測變量為z＝[x,y,r,h]，得到狀態預測公式和協方差公式如公式(10)和公式(11)所示，

X_k＝F_kX_k-1+B_ku_k(10)

P_k＝F_kP_k-1F_k^T+Q_k(11)

其中，X_k為最新狀態估計值，X_k-1為上一時間點的狀態估計值，u_k為狀態控制向量，B_k為控制矩陣，Q_k為外部環境噪音，F_k為狀態轉移矩陣，P_k為當前狀態與上一狀態之間的協方差矩陣，P_k-1為上一狀態與上上狀態之間的協方差矩陣；

步驟(D3)，由公式(10)和公式(11)所求得的狀態量能得到最優估計，如公式(12)和公式(13)所示，

X_k′＝X_k+K′(z_k-H_kX_k)????(12)

K′＝P_kH_k^T(H_kP_kH_k^T+R_k)^-1????(13)

其中，X′為當前狀態的最優估計，K′為卡爾曼增益矩陣，z_k為觀測值，R_k為觀測噪聲的協方差矩陣，H_k是觀測矩陣；

步驟(D4)，重新計算當前的協方差并進行更新，且更新后所得到的協方差矩陣如公式(14)所示，再根據更新后的向量X_k′能得到預測目標的軌跡，

P_k′＝P_k-K′H_kP_k????(14)；

步驟(E)，將目標檢測結果與預測好的目標軌跡之間進行級聯匹配，若級聯匹配失敗，使用兩個目標框之間的IOU作為匹配度量，并對剩余的物體進行配對，其中對輸入的視頻幀進行判斷，若為第一幀，則對所有檢測目標進行初始化，否則開始匹配流程；

步驟(E1)，將目標框檢測結果與預測好的目標軌跡之間進行級聯匹配，其中級聯匹配度量是馬氏距離和余弦相似度線性結合，如公式(15)所示，且當C_d(i,j)同時小于馬氏距離度量和余弦相似度度量所設閾值時，目標框級聯匹配成功；

C_d(i,j)＝λd_md(i,j)+(1-λ)d_cos(i,j)????(15)

d_md(i,j)＝(d_j-t_i)^TS_i^-1(d_j-t_i)????(16)

其中，C_d為級聯匹配度量，d_md為馬氏距離度量，d_cos為余弦相似度度量，S_i為跟蹤物體更新后的卡爾曼協方差矩陣，t_i為第i個跟蹤物體更新后得到的卡爾曼狀態，d_j是第j個目標檢測物體的狀態，r_i^(k)為第i個跟蹤物體其第k幀歷史特征，R_i＝{r_i^(k)|k∈[1,100]}為對于每個跟蹤物體保留其100幀的歷史特征，r_j為第j個檢測物體的特征，λ為調節兩種度量方式對關聯影響的超參數；

步驟(E2)，若級聯匹配失敗，使用兩個目標框之間的IOU作為匹配度量，并對剩余的物體進行配對，其具體是將卡爾曼濾波器算法得到的預測后的位置信息[x′,y′,r′,h′]轉換為目標框坐標X_p＝[x_p¹,y_p¹,x_p²,y_p²]，如公式(18)所示，這樣通過計算兩組目標框坐標的IOU距離作為兩個目標框之間的重合度，若兩個目標框之間的重合度大于所設定閾值時，則兩個物體能進行匹配；

其中，x_p¹和y_p¹為邊框左上角坐標，x_p²和y_p²為邊框右下角坐標；

步驟(F)，基于級聯匹配和IOU匹配的結果，通過數據關聯為每個目標分配不同的跟蹤ID，完成客流量統計作業。

2.根據權利要求1所述的一種基于智慧體育場館監控視頻的客流量統計方法，其特征在于：步驟(F)，基于級聯匹配和IOU匹配的結果，通過數據關聯為每個目標分配不同的跟蹤ID，完成客流量統計作業，其中若依次進行級聯匹配和IOU匹配后還剩余未匹配物體，則認為該物體為新出現的物體，并分配該物體新的ID，初始化其跟蹤狀態。