[發(fā)明專利]基于多分支擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的人群計(jì)數(shù)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110354656.3
• 申請日: 2021-03-30
• 公開（公告）號: CN113052827B
• 公開（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 張友梅;張瑜;劉偉龍
• 申請（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 祖之強(qiáng)

1.基于多分支擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的人群計(jì)數(shù)方法，其特征在于，包括：

獲取包含人群的場景圖像并據(jù)此分別生成人群密度圖標(biāo)簽和人頭位置二值圖標(biāo)簽；

根據(jù)訓(xùn)練樣本，構(gòu)建訓(xùn)練集；其中，每幅圖像及其所對應(yīng)的人群密度圖標(biāo)簽和人頭位置二值圖標(biāo)簽作為一個(gè)訓(xùn)練樣本；

基于訓(xùn)練集，訓(xùn)練多分支擴(kuò)張卷積人群計(jì)數(shù)網(wǎng)絡(luò)模型，得到網(wǎng)絡(luò)最優(yōu)參數(shù)，以此生成訓(xùn)練好的多分支擴(kuò)張卷積人群計(jì)數(shù)網(wǎng)絡(luò)模型；

將待測圖像輸入訓(xùn)練好的多分支擴(kuò)張卷積人群計(jì)數(shù)網(wǎng)絡(luò)模型，輸出人群密度圖；

將人群密度圖中像素值加和，得到人群計(jì)數(shù)結(jié)果；

所述多分支擴(kuò)張卷積人群計(jì)數(shù)網(wǎng)絡(luò)模型，包括：多分支卷積模塊、特征融合模塊、二值圖估計(jì)模塊和密度圖估計(jì)模塊；

所述多分支卷積模塊包括：三個(gè)共享網(wǎng)絡(luò)參數(shù)、具有不同擴(kuò)張率的擴(kuò)張卷積分支，用于對人群圖像進(jìn)行多尺度的特征提??；

所述二值圖估計(jì)模塊，用于采用交叉熵?fù)p失函數(shù)有監(jiān)督地實(shí)現(xiàn)二值圖的估計(jì)；

所述密度圖估計(jì)模塊，接收二值圖估計(jì)模塊的輸出，并將此輸出與特征融合模塊所生成的特征圖求哈達(dá)瑪積，然后利用三層卷積操作，以交叉熵?fù)p失函數(shù)有監(jiān)督地實(shí)現(xiàn)人群密度圖的估計(jì)；

特征融合模塊，用于將三個(gè)擴(kuò)張卷積分支的特征進(jìn)行特征融合，再對融合后的特征進(jìn)行特征提取，生成特征圖；特征融合后又將分為兩路，分別輸入到人頭位置二值圖生成模塊和人群密度估計(jì)模塊；其中，人頭位置二值圖生成模塊基于融合后的特征進(jìn)一步進(jìn)行特征提取，以人頭位置二值圖標(biāo)簽為監(jiān)督預(yù)測人頭所在位置，人頭位置二值圖生成模塊經(jīng)有監(jiān)督訓(xùn)練后所輸出的人頭位置二值圖將與特征融合模塊所得的特征求哈達(dá)瑪積作為人群密度圖估計(jì)模塊的輸入；

所述生成人頭位置二值圖標(biāo)簽為：

其中，B()為二值化函數(shù)，l表示圖像中所有人頭的位置集合，l_i表示第i個(gè)目標(biāo)人頭位置中心的坐標(biāo)，δ()為脈沖函數(shù)，G()為高斯核，σ_i表示高斯和的方差。

2.根據(jù)權(quán)利要求1所述的基于多分支擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的人群計(jì)數(shù)方法，其特征在于，所述獲取包含人群的場景圖像并據(jù)此分別生成人群密度圖標(biāo)簽和人頭位置二值圖標(biāo)簽，包括：

獲取包含人群的場景圖像，標(biāo)注每幅圖像中人頭的位置；

根據(jù)標(biāo)注的人頭位置，生成人群密度圖標(biāo)簽；

根據(jù)人群密度圖標(biāo)簽，利用二值化函數(shù)，生成人頭位置二值圖標(biāo)簽。

3.根據(jù)權(quán)利要求1所述的基于多分支擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的人群計(jì)數(shù)方法，其特征在于，所述根據(jù)訓(xùn)練樣本，構(gòu)建訓(xùn)練集，包括：

對每個(gè)訓(xùn)練樣本采用隨機(jī)剪裁、鏡像、旋轉(zhuǎn)的方式進(jìn)行數(shù)據(jù)擴(kuò)充。