[發明專利]一種基于排序網絡的弱監督物體數目估計方法

在審

• 申請號: 202010845336.3
• 申請日: 2020-08-20
• 公開（公告）號: CN112101122A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 李國榮;楊一帆;黃慶明;蘇荔
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及計算機視覺的技術領域，特別是涉及一種基于排序網絡的弱監督物體數目估計方法，其不需要依賴物體位置標注信息來訓練模型，節省人力資源，提高模型的通用性；包括：使用深度神經網絡提取圖像特征，使用自適應池化層來獲取金字塔特征向量；使用全連接層來回歸物體的數目；使用多分支排序網絡來訓練模型，利用Sinkhorn層將排序結果轉變為排序矩陣,使用軟標簽傳輸矩陣作為真實值來計算損失。

技術領域

本發明涉及計算機視覺的技術領域，特別是涉及一種基于排序網絡的弱監督物體數目估計方法。

背景技術

公共場合中通過攝像機實現人數、車輛等關鍵物體的計數具有重要的研究價值。比如:候車大廳中人群計數的結果、交通路口中的車輛數目估計，可優化公共交通的調度；某區域中人數的急劇變化既可能會導致意外事件的發生，又可能是意外事件發生的結果。因此圖像視頻中的物體數目估計在智能安防領域具有重要價值，是計算機視覺和智能視頻監控領域的重要研究內容。

目前，物體數目估計方法大致可以分為三種:1)物體檢測:這種方法比較直接，在物體較稀疏的場景中，通過檢測圖像中的物體，進而得到物體數目，這種方法在物體擁擠情況下不大奏效。2)視覺特征軌跡聚類：對于視頻監控，一般用KLT跟蹤器和聚類的方法，通過軌跡聚類得到的數目來物體數目。3)基于特征的回歸:建立圖像特征和圖像物體數目的回歸模型，通過測量圖像特征從而估計場景中的物體數目。由于擁擠情況下采用直接法容易受到遮擋等難點問題的影響，而間接法從物體群體的整體特征出發，具有大規模物體計數的能力。

現有的基于特征回歸的算法存在著以下缺點。首先，物體位置的標注通常很昂貴?，F有的物體數目估計數據集提供了每個物體的位置來訓練數目回歸網絡，而在評估階段，卻沒有考慮這些位置標簽，僅僅評估估計的物體數目的準確性。實際上，在不需要位置的情況下，可以僅標注圖像中物體的數目，利用更有效的弱監督方法來訓練物體數目估計模型。

發明內容

為解決上述技術問題，本發明提供一種不需要物體位置標注信息、節省人力資源、提高物體數目估計準確性的基于排序網絡的弱監督物體數目估計方法。

本發明的一種基于排序網絡的弱監督物體數目估計方法，包括以下步驟：

S1、使用預訓練好的深度神經網絡如VGG-16提取圖像特征，然后利用卷積操作回歸密度圖；利用自適應池化層從密度圖中提取多尺度特征來捕獲圖像中的全局和局部信息，輸入到全連接層回歸物體數目。其中自適應池化層包括全局子簇層和局部子簇層兩種類型。

S2、使用圖像物體數目排序網絡對多尺度特征進行學習，使得多尺度特征對物體數目敏感。這里的排序網絡為多分支網絡，其輸入為多張圖像的多尺度特征，輸出為依據圖像中物體的數目進行排序的結果。

S3、排序網絡中使用Sinkhorn層將排序特征變為序數矩陣，利用圖像中物體的真實數目構造軟標簽傳輸矩陣，使用交叉熵損失來訓練排序網絡,得到對物體數目敏感的特征；然后訓練回歸網絡，最終得到物體數目回歸模型；

本發明的的一種基于排序網絡的弱監督物體數目估計方法，所述步驟S1的具體操作為：利用在圖像分析任務上預訓練好的深度網絡模型提取圖像特征，回歸一個偽概率密度圖；然后使用步幅較大的池化層構造全局子簇層，從密度圖中提取全局特征；利用步幅較小的池化層構造局部子簇層，從密度圖中提取局部特征。

本發明的一種基于排序網絡的弱監督物體數目估計方法，，所述步驟S2的具體操作為：使用多分支排序網絡來微調特征提取模型，獲取對圖像中物體數目全局、局部特征

本發明的一種基于排序網絡的弱監督物體數目估計方法，所述步驟S3的具體操作為：使用可微分的Sinkhorn層將排序特征變為序數矩陣；構造更有效的軟標簽運輸矩陣來訓練排序網絡；使用交叉熵損失來訓練排序網絡，使用均方誤差來訓練回歸網絡。