[發明專利]人群計數及密度估計方法、裝置、存儲介質及終端

有效

• 申請號: 202010162552.8
• 申請日: 2020-03-10
• 公開（公告）號: CN111428587B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 李莉;趙震;林國義
• 申請（專利權）人: 同濟大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

1.一種人群計數及密度估計方法，其特征在于，包括：

從具有標簽數量限制的無標簽人群圖像數據集中隨機選取多個圖像進行標注，生成相應的人群密度標簽，并加入到有標簽人群圖像數據集中；

基于所述有標簽人群圖像數據集，訓練人群計數及密度估計模型，直至該模型收斂；

基于所述模型，使用概率加權選擇策略從剩余的無標簽人群圖像數據集中選取多個圖像，生成相應的人群密度標簽，并加入到有標簽人群圖像數據集中；包括：使用所述模型對剩余的無標簽人群圖像數據集進行預測，得到各無標簽人群圖像數據的密度預測圖和計數預測值；利用自然斷點法對計數預測值集合進行區域劃分，并將有標簽人群圖像和無標簽人群圖像按照上述得到的區域進行劃分；計算每個區域中有標簽人群圖像數據集和無標簽人群圖像數據集的基于網格劃分的相似度度量值；分別將每個區域內每張無標簽人群圖像數據的相似度度量值通過歸一化轉化為概率值；按照上述概率值在每個區域內對無標簽人群圖像數據進行不放回抽樣，并對抽取的無標簽人群圖像數據進行人頭標注并生成人群密度標簽，并加入到有標簽人群圖像數據集中；

不斷迭代優化，直至模型達到性能要求；

在達到性能要求的模型中加入基于特征混合和梯度反轉的對抗學習分支，并使用有標簽人群圖像和無標簽人群圖像對模型進行訓練；

利用上述使用有標簽人群圖像和無標簽人群圖像訓練的模型對待預測人群圖像進行人群計數及密度估計。

2.根據權利要求1所述的方法，其特征在于，所述人群密度標簽的獲取方法包括通過圖像的人頭標注與高斯核或自適應高斯核卷積獲得。

3.根據權利要求1所述的方法，其特征在于，所述基于所述有標簽人群圖像數據集，訓練人群計數及密度估計模型的方法包括密度圖回歸方法。

4.根據權利要求3所述的方法，其特征在于，所述密度圖回歸方法能夠采用的函數包括均方差損失函數。

5.根據權利要求1所述的方法，其特征在于，所述對抗學習分支包括特征混合層、梯度反轉層以及后續的二分類模塊。

6.根據權利要求1所述的方法，其特征在于，所述對抗學習分支能夠采用的函數包括二分類交叉熵損失函數。

7.一種人群計數及密度估計裝置，其特征在于，包括：

標注模塊，從具有標簽數量限制的無標簽人群圖像數據集中隨機選取多個圖像進行標注，生成相應的人群密度標簽，并加入到有標簽人群圖像數據集中；

訓練模塊，基于所述有標簽人群圖像數據集，訓練人群計數及密度估計模型，直至該模型收斂；

篩選模塊，基于所述模型，使用概率加權選擇策略從剩余的無標簽人群圖像數據集中選取多個圖像，生成相應的人群密度標簽，并加入到有標簽人群圖像數據集中；包括：使用所述模型對剩余的無標簽人群圖像數據集進行預測，得到各無標簽人群圖像數據的密度預測圖和計數預測值；利用自然斷點法對計數預測值集合進行區域劃分，并將有標簽人群圖像和無標簽人群圖像按照上述得到的區域進行劃分；計算每個區域中有標簽人群圖像數據集和無標簽人群圖像數據集的基于網格劃分的相似度度量值；分別將每個區域內每張無標簽人群圖像數據的相似度度量值通過歸一化轉化為概率值；按照上述概率值在每個區域內對無標簽人群圖像數據進行不放回抽樣，并對抽取的無標簽人群圖像數據進行人頭標注并生成人群密度標簽，并加入到有標簽人群圖像數據集中；

循環模塊，不斷迭代優化，直至模型達到性能要求；

特征混合模塊，在達到性能要求的模型中加入基于特征混合和梯度反轉的對抗學習分支，并使用有標簽人群圖像和無標簽人群圖像對模型進行訓練；

計數模塊，利用上述使用有標簽人群圖像和無標簽人群圖像訓練的模型對待預測人群圖像進行人群計數及密度估計。

8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至6中任一項所述的人群計數及密度估計方法。

9.一種電子終端，其特征在于，包括：處理器及存儲器；

所述存儲器用于存儲計算機程序，所述處理器用于執行所述存儲器存儲的計算機程序，以使所述終端執行如權利要求1至6中任一項所述的人群計數及密度估計方法。