[發(fā)明專利]一種基于金字塔特征融合的人群密度估計方法

有效

• 申請?zhí)枺?/td>: 202210676833.4
• 申請日: 2022-06-16
• 公開（公告）號: CN114758306B
• 公開（公告）日: 2022-08-23
• 發(fā)明（設計）人: 劉寒松;王國強;王永;翟貴乾;劉瑞;焦安健
• 申請（專利權）人: 松立控股集團股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/70;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 青島高曉專利事務所(普通合伙) 37104
• 代理人: 黃曉敏

1.一種基于金字塔特征融合的人群密度估計方法，其特征在于，具體過程為：

（1）數(shù)據(jù)集生成：對人群公開數(shù)據(jù)集的標注信息進行處理，使用高斯核模糊標注信息中的標注點，以形成訓練所需的真實密度圖，并采用裁剪和翻轉的方式將數(shù)據(jù)集進行增廣，以獲取更多的訓練數(shù)據(jù)圖像；

（2）主干網(wǎng)絡特征提取：將步驟（1）得到的圖像輸入到主干網(wǎng)絡中進行卷積特征提取，獲得初步特征；

（3）金字塔特征融合：根據(jù)步驟（2）得到的初步特征，使用金字塔特征融合模塊進一步提取并輸出多尺度特征；其中金字塔特征融合模塊在不同分支間引入跨分支的信息傳遞路徑，靈活地聚合不同分支的多尺度特征，同時引入注意力分支，獲取空間注意力信息，增強對人群區(qū)域的關注，具體包括如下步驟：

（31）給定輸入特征圖F，為獲取不同感受野下的多尺度特征，金字塔特征融合模塊使用空洞率分別為1、2、3、4的3×3空洞卷積處理輸入特征，經不同空洞率空洞卷積提取的多尺度特征分別表示為F₁、F₂、F₃、F₄；

（32）將空洞卷積提取的多尺度特征自下而上跨分支融合，先將F₁與F₂經concat操作串聯(lián)在一起，使用3×3卷積操作將串聯(lián)特征融合，并引入ReLU激活函數(shù)，將融合后特征圖中的負值置為0，同時將正值進行線性變換，融合后的特征表示為P₂；后續(xù)采用相同的融合策略，依次將P₂與F₃融合得到P₃，將P₃與F₄融合得到P₄，則聚合了其他分支特征信息的多尺度特征P₁、P₂、P₃、P₄具體表示為：

，

式中R為ReLU激活函數(shù)， C_3×3代表3×3普通卷積，代表串聯(lián)操作；

（33）將特征P₁、P₂、P₃、P₄進行自上而下的跨分支融合，使用多尺度空洞卷積，引入ReLU激活函數(shù)處理多尺度特征，得到輸出特征M₁、M₂、M₃、M₄，具體表示為：

，

式中DC_i為空洞率為i的3×3空洞卷積，然后將四個分支的輸出特征串聯(lián)，引入3×3卷積聚合不同分支特征，得到多尺度特征M；

（34）在金字塔特征融合模塊引入注意力分支，利用全局平均池化操作獲取逐通道的注意力信息A，其中為A的第c個通道的元素，具體表示為：

式中F_c為輸入特征F第c個通道的特征信息，H和W分別為特征圖的高和寬；A經一個3×3卷積和一個像素級卷積操作處理后形成注意力信息，將與輸出的多尺度特征逐像素相乘，得到輸出特征，具體表示為：

；

（4）密度圖回歸：采用密度圖回歸器將步驟（3）輸出的多尺度特征解碼為人群密度圖，實現(xiàn)人群密度的估計。