[發明專利]一種基于偽標簽的半監督人群計數方法及裝置

在審

• 申請號: 202210019308.5
• 申請日: 2022-01-06
• 公開（公告）號: CN114463694A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李冠彬;伍正濤;劉凌波;林倞;毛明志
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 鐘文瀚

1.一種基于偽標簽的半監督人群計數方法，其特征在于，包括：

獲取并輸入人群圖片訓練集；其中，所述人群圖片訓練集包括有標記人群圖片和無標記人群圖片；

對所述人群圖片訓練集中所有的人群圖片分別進行密度等級分類、密度圖預測、偽標簽標記和密度等級聚合，分別得到每幅人群圖片所對應的人群密度等級概率分布向量、預測密度圖、密度圖偽標簽和人群密度等級聚合分數向量；

依次對所有的人群圖片進行損失函數計算，并監督迭代訓練，以使在每一次迭代訓練中，根據真值密度等級或偽密度等級分別對人群密度等級概率分布向量和人群密度等級聚合分數向量的交叉熵損失，以及，真值密度圖或密度圖偽標簽對預測密度圖的L2損失，來進行監督迭代訓練，直至人群圖片訓練集中所有的人群圖片都進行監督迭代訓練，從而完成了對人群計數模型的訓練；其中，所述真值密度等級和所述真值密度圖由所述有標記人群圖片的真值標注處理得到，所述偽密度等級由所述無標記人群圖片處理得到；

將待計數的人群圖片輸入已完成訓練的人群計數模型，得到待計數的人群圖片的預測密度圖，從而得到預測人群數量。

2.如權利要求1所述的一種基于偽標簽的半監督人群計數方法，其特征在于，在所述對所述人群圖片訓練集中所有的人群圖片分別進行密度等級分類、密度圖預測、偽標簽標記和密度等級聚合之前，還包括：

將所有的人群圖片輸入骨干網絡，分別得到每幅人群圖片所對應的骨干網絡特征圖。

3.如權利要求2所述的一種基于偽標簽的半監督人群計數方法，其特征在于，對所述人群圖片訓練集中所有的人群圖片分別進行密度等級分類、密度圖預測、偽標簽標記和密度等級聚合，分別得到每幅人群圖片所對應的人群密度等級概率分布向量、預測密度圖、密度圖偽標簽和人群密度等級聚合分數向量，具體為：

對每幅骨干網絡特征圖進行第一特征過渡，分別得到每幅骨干網絡特征圖對應的密度等級特征圖，并對每幅所述密度等級特征圖進行自適應平均池化和展平，分別得到每幅所述密度等級特征圖所對應的人群密度等級概率分布向量；

對每幅骨干網絡特征圖進行第二特征過渡，分別得到每幅骨干網絡特征圖對應的密度特征圖；

對每幅骨干網絡特征圖進行第三特征過渡，分別得到每幅骨干網絡特征圖對應的密度等級激活特征圖；

對每幅骨干網絡特征圖所對應的密度等級特征圖、密度特征圖和密度等級激活特征圖進行拼接與特征融合，得到每幅骨干網絡特征圖所對應的預測密度圖；

對每幅所述密度等級激活特征圖進行密度等級激活，分別得到每幅密度等級激活特征圖所對應的預設通道數的特征圖，對每幅預設通道數的特征圖進行對數求和指數處理，得到每幅預設通道數的特征圖所對應的人群密度等級聚合分數向量；

對每幅預設通道數的特征圖進行計算，得到每幅預設通道數的特征圖所對應的等級加權密度圖，對每幅等級加權密度圖和每幅預測密度圖一一對應進行密度融合，得到每幅等級加權密度圖對應的密度圖偽標簽。

4.如權利要求1所述的一種基于偽標簽的半監督人群計數方法，其特征在于，所述根據真值密度等級或偽密度等級分別對人群密度等級概率分布向量和密度等級聚合分數向量的交叉熵損失，以及，真值密度圖或密度圖偽標簽對預測密度圖的L2損失，來進行監督迭代訓練，具體為：

若當前監督迭代訓練的人群圖片為有標記人群圖片，則根據真值密度等級分別對人群密度等級概率分布向量和人群密度等級聚合分數向量的交叉熵損失，以及，真值密度圖對預測密度圖的L2損失，來進行監督迭代訓練；

若當前監督迭代訓練的人群圖片為無標記人群圖片，則根據偽密度等級分別對人群密度等級概率分布向量和人群密度等級聚合分數向量的交叉熵損失，以及，密度圖偽標簽對預測密度圖的L2損失，來進行監督迭代訓練。

5.如權利要求4所述的一種基于偽標簽的半監督人群計數方法，其特征在于，所述依次對所有的人群圖片進行損失函數計算，并監督迭代訓練，具體為：

對所述有標記人群圖片進行損失函數計算，并監督迭代訓練，直至所述人群計數模型收斂后，從所述有標記人群圖片和所述無標記人群圖片中隨機交替選擇一幅人群圖片，用于進行損失函數計算，并監督迭代訓練。