[發明專利]一種基于生成式對抗網絡模型的人數估計方法

有效

• 申請號: 201811415565.0
• 申請日: 2018-11-26
• 公開（公告）號: CN109522857B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 元輝;賀黎恒
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

本發明涉及一種基于生成式對抗網絡模型的人數估計方法，涉及深度學習中的特征自動提取技術和多元回歸模型，充分利用了生成對抗式網絡模型(GANs,Generative Adversarial Nets)特征表示能力，并且把指示局部人群密度的密度圖充當第二監督信號，把圖像中人的數量充當第一監督信號，用反向傳播算法訓練網絡，然后用得到的網絡參數初始化網絡，就可以預測未知圖像中人的數量，該方法不斷降低了預測的誤差，而且減少了訓練階段的時間消耗。

技術領域

本發明涉及一種基于生成式對抗網絡模型的人數估計方法，屬于圖像處理技術領域。

背景技術

由于受到光照變化、透視失真和嘈雜環境干擾(如背景是樹林，或者反光很強的墻面)等因素的影響，一直以來，直接從圖像中估計出人的數量是相當具有挑戰性的。然而，近些年深度學習技術的覺醒使研究者和工程師們的項目大范圍地利用和開發深度網絡模型。雖然這些基于深度網絡模型的人數自動估計方法，在自然場景下取得了相當好的成績。

Zhang[1]等人提出了多列卷積網絡,如圖1所示。該方案提出了一種基于多列卷積神經網絡的單張圖像人群計數算法，其中的多列卷積神經網絡有三個子網絡，每個子網絡的結構不同，并且每個子網絡用到卷積核的大小不同，每個子網絡的輸入為同一張圖像，在經過四次卷積和兩次池化后，三個子網絡輸出的特征圖在“通道”維度上鏈接在一起，再用一個1×1的核卷積得到人群的密度圖。但是，該方案只在網絡的高層鏈接在一起，在網絡淺層的多尺度特征沒有被充分融合，造成了幾何特征丟失，影響了人數估計的精度；該方案在訓練整個網絡之前，需要先訓練三個子網絡，且每個子網絡的訓練時間不小于十個小時。

Daniel[2]等人提出了一種基于多尺度塊的多分支卷積網絡，如圖2所示。該方案由三個不同的子網組成，雖然輸入塊有不同的尺度。但是，該方案的三個子網絡的結構是一樣的，并且這三個子網絡只在網絡的高層鏈接在一起，在網絡淺層的多尺度特征沒有被充分融合，造成了幾何特征丟失，影響了人數估計的精度；該方案在訓練整個網絡之前，需要先訓練三個子網絡，且每個子網絡的訓練時間不小于十個小時。

Han[3]等人提出了基于殘差網絡(ResNet)和全連接網絡相結合的方法，如圖3所示。該方案首先從每張圖像中有重疊地采樣出若干個塊，然后用殘差網絡計算出每個塊的預測值，然后把這些塊的預測值送到條件隨機場計算圖像中人數的預測值。但是，該方案必須先用殘差網絡計算出每個塊的預測值，然后才能利用條件隨機場預測出圖像中的人數；也就是說，該方案是分步執行的，并且這兩個步驟不能合并成一個步驟。

但是，通過實驗發現，在訓練這些網絡的時候會花費很長的時間，隨著網絡結構的不斷加深，訓練時長也在不停地增加。像Han[3]等人這樣的深層次的網絡，網絡結構很深，需要學習的參數數量很多，不僅訓練花費的時間長而且有過擬合的危險；像Zhang[1]等人和Daniel[2]等人提出的方案，雖然沒有Han[3]等人提出的方案網絡結構深，但是增加了網絡的寬度，并且每個子網絡都需要事先預訓練。

發明內容

針對現有基于深度網絡模型的人數自動估計技術的不足，本發明提出了一種基于生成式對抗網絡模型的人數估計方法；

為了減少網絡參數，本發明提出的方案的卷積核尺寸大小至多不超過3；為了減少網絡寬度，本發明只使用單列的網絡結構；為了保證本發明提出的方案的性能，本發明給回歸網絡的輸入賦予不同的權重以區分不同特征的重要程度。

本發明涉及深度學習中的特征自動提取技術和多元回歸模型，充分利用了生成對抗式網絡模型(GANs,Generative Adversarial Nets)的特征表示能力，并且把指示局部人群密度的密度圖充當第二監督信號，把圖像中人的數量充當第一監督信號，用反向傳播算法訓練網絡，然后用得到的網絡參數初始化網絡，就可以預測未知圖像中人的數量，該方法不斷降低了預測的誤差，而且減少了訓練階段的時間消耗。

術語解釋：