[發明專利]一種基于偽標簽的半監督人群計數方法及裝置

在審

• 申請號: 202210019308.5
• 申請日: 2022-01-06
• 公開（公告）號: CN114463694A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李冠彬;伍正濤;劉凌波;林倞;毛明志
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 鐘文瀚

本發明公開了一種基于偽標簽的半監督人群計數方法及裝置，包括：獲取并輸入人群圖片訓練集；分別得到每幅人群圖片所對應的人群密度等級概率分布向量、預測密度圖、密度圖偽標簽和人群密度等級聚合分數向量；依次對所有的人群圖片進行損失函數計算，并監督迭代訓練，以使在每一次迭代訓練中，根據人群密度等級概率分布向量和人群密度等級聚合分數向量的交叉熵損失，以及，預測密度圖的L2損失，來進行監督迭代訓練，直至所有的人群圖片都進行監督迭代訓練，從而完成了對人群計數模型的訓練；將待計數的人群圖片輸入已完成訓練的人群計數模型，從而得到預測人群數量。本發明解決了現有技術中依賴大量有標記數據的局限性問題。

技術領域

本發明涉及人群計數領域，尤其涉及一種基于偽標簽的半監督人群計數方法及裝置。

背景技術

隨著城市人口的不斷增長，各公共場所如商場、地鐵站、旅游景點等面臨著巨大的人群壓力，監控場景中的人群密度并做出合理的管理決策，是城市規劃與商業規劃的重要一環。特別地，隨著新型冠狀病毒疫情防控的常態化，對人員密集型場所進行人群密度監控的重要性日益突顯。人群計數的目的是準確估計圖像中的人群數量，作為一項重要的計算機視覺任務，人群計數在人群分析、人群流量監控、公共安全、城市規劃等領域都有著廣泛的應用價值。

人群計數任務充滿了各種挑戰，如極端的尺度變化、嚴重遮擋、視角扭曲、光照變化、背景雜亂、人群分布不均勻等。因此，人群計數是一項困難的任務。近年來，隨著深度學習的快速發展，基于卷積神經網絡的人群計數方法取得了重大進展，已成為目前最主流和最有效的方法。目前人群計數的常用方法是，把人群計數視為一種端到端的逐像素回歸的任務，即把一張人群圖片輸入到模型中，輸出人群密度圖，把人群密度圖中的每個像素值求和即可得到該圖片的人群數量。

但是現有的人群計數方法都是基于完全監督范式，嚴重依賴于大量的有標記數據。一般地，在人群計數的數據集里，需要對人群圖片中每一個人頭中心點進行標記。因此，標記數據為各個人頭中心點在圖片中的二維坐標。通過標準化的高斯核與圖片中每一個人頭中心點做卷積，就可以得到真值人群密度圖。在一張人群圖片中，人群數量可達數百人甚至數千人，標記這種數據費時費力，使得標記數據的獲取較為困難，不利于人群計數的進行。

發明內容

本發明提供了一種基于偽標簽的半監督人群計數方法及裝置，以解決現有技術中依賴大量有標記數據的局限性，減少人群數據標注的工作量。

為了解決上述技術問題，本發明實施例提供了一種基于偽標簽的半監督人群計數方法，包括：

獲取并輸入人群圖片訓練集；其中，所述人群圖片訓練集包括有標記人群圖片和無標記人群圖片；

對所述人群圖片訓練集中所有的人群圖片分別進行密度等級分類、密度圖預測、偽標簽標記和密度等級聚合，分別得到每幅人群圖片所對應的人群密度等級概率分布向量、預測密度圖、密度圖偽標簽和人群密度等級聚合分數向量；

依次對所有的人群圖片進行損失函數計算，并監督迭代訓練，以使在每一次迭代訓練中，根據真值密度等級或偽密度等級分別對人群密度等級概率分布向量和人群密度等級聚合分數向量的交叉熵損失，以及，真值密度圖或密度圖偽標簽對預測密度圖的L2損失，來進行監督迭代訓練，直至人群圖片訓練集中所有的人群圖片都進行監督迭代訓練，從而完成了對人群計數模型的訓練；其中，所述真值密度等級和所述真值密度圖由所述有標記人群圖片的真值標注處理得到，所述偽密度等級由所述無標記人群圖片處理得到；

將待計數的人群圖片輸入已完成訓練的人群計數模型，得到待計數的人群圖片的預測密度圖，從而得到預測人群數量。

進一步地，在所述對所述人群圖片訓練集中所有的人群圖片分別進行密度等級分類、密度圖預測、偽標簽標記和密度等級聚合之前，還包括：

將所有的人群圖片輸入骨干網絡，分別得到每幅人群圖片所對應的骨干網絡特征圖。