[發(fā)明專利]一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法

在審

• 申請?zhí)枺?/td>: 202010845336.3
• 申請日: 2020-08-20
• 公開（公告）號: CN112101122A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計）人: 李國榮;楊一帆;黃慶明;蘇荔
• 申請（專利權(quán)）人: 中國科學(xué)院大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及計算機視覺的技術(shù)領(lǐng)域，特別是涉及一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法，其不需要依賴物體位置標(biāo)注信息來訓(xùn)練模型，節(jié)省人力資源，提高模型的通用性；包括：使用深度神經(jīng)網(wǎng)絡(luò)提取圖像特征，使用自適應(yīng)池化層來獲取金字塔特征向量；使用全連接層來回歸物體的數(shù)目；使用多分支排序網(wǎng)絡(luò)來訓(xùn)練模型，利用Sinkhorn層將排序結(jié)果轉(zhuǎn)變?yōu)榕判蚓仃?使用軟標(biāo)簽傳輸矩陣作為真實值來計算損失。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺的技術(shù)領(lǐng)域，特別是涉及一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法。

背景技術(shù)

公共場合中通過攝像機實現(xiàn)人數(shù)、車輛等關(guān)鍵物體的計數(shù)具有重要的研究價值。比如:候車大廳中人群計數(shù)的結(jié)果、交通路口中的車輛數(shù)目估計，可優(yōu)化公共交通的調(diào)度；某區(qū)域中人數(shù)的急劇變化既可能會導(dǎo)致意外事件的發(fā)生，又可能是意外事件發(fā)生的結(jié)果。因此圖像視頻中的物體數(shù)目估計在智能安防領(lǐng)域具有重要價值，是計算機視覺和智能視頻監(jiān)控領(lǐng)域的重要研究內(nèi)容。

目前，物體數(shù)目估計方法大致可以分為三種:1)物體檢測:這種方法比較直接，在物體較稀疏的場景中，通過檢測圖像中的物體，進(jìn)而得到物體數(shù)目，這種方法在物體擁擠情況下不大奏效。2)視覺特征軌跡聚類：對于視頻監(jiān)控，一般用KLT跟蹤器和聚類的方法，通過軌跡聚類得到的數(shù)目來物體數(shù)目。3)基于特征的回歸:建立圖像特征和圖像物體數(shù)目的回歸模型，通過測量圖像特征從而估計場景中的物體數(shù)目。由于擁擠情況下采用直接法容易受到遮擋等難點問題的影響，而間接法從物體群體的整體特征出發(fā)，具有大規(guī)模物體計數(shù)的能力。

現(xiàn)有的基于特征回歸的算法存在著以下缺點。首先，物體位置的標(biāo)注通常很昂貴。現(xiàn)有的物體數(shù)目估計數(shù)據(jù)集提供了每個物體的位置來訓(xùn)練數(shù)目回歸網(wǎng)絡(luò)，而在評估階段，卻沒有考慮這些位置標(biāo)簽，僅僅評估估計的物體數(shù)目的準(zhǔn)確性。實際上，在不需要位置的情況下，可以僅標(biāo)注圖像中物體的數(shù)目，利用更有效的弱監(jiān)督方法來訓(xùn)練物體數(shù)目估計模型。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供一種不需要物體位置標(biāo)注信息、節(jié)省人力資源、提高物體數(shù)目估計準(zhǔn)確性的基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法。

本發(fā)明的一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法，包括以下步驟：

S1、使用預(yù)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)如VGG-16提取圖像特征，然后利用卷積操作回歸密度圖；利用自適應(yīng)池化層從密度圖中提取多尺度特征來捕獲圖像中的全局和局部信息，輸入到全連接層回歸物體數(shù)目。其中自適應(yīng)池化層包括全局子簇層和局部子簇層兩種類型。

S2、使用圖像物體數(shù)目排序網(wǎng)絡(luò)對多尺度特征進(jìn)行學(xué)習(xí)，使得多尺度特征對物體數(shù)目敏感。這里的排序網(wǎng)絡(luò)為多分支網(wǎng)絡(luò)，其輸入為多張圖像的多尺度特征，輸出為依據(jù)圖像中物體的數(shù)目進(jìn)行排序的結(jié)果。

S3、排序網(wǎng)絡(luò)中使用Sinkhorn層將排序特征變?yōu)樾驍?shù)矩陣，利用圖像中物體的真實數(shù)目構(gòu)造軟標(biāo)簽傳輸矩陣，使用交叉熵?fù)p失來訓(xùn)練排序網(wǎng)絡(luò),得到對物體數(shù)目敏感的特征；然后訓(xùn)練回歸網(wǎng)絡(luò)，最終得到物體數(shù)目回歸模型；

本發(fā)明的的一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法，所述步驟S1的具體操作為：利用在圖像分析任務(wù)上預(yù)訓(xùn)練好的深度網(wǎng)絡(luò)模型提取圖像特征，回歸一個偽概率密度圖；然后使用步幅較大的池化層構(gòu)造全局子簇層，從密度圖中提取全局特征；利用步幅較小的池化層構(gòu)造局部子簇層，從密度圖中提取局部特征。

本發(fā)明的一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法，，所述步驟S2的具體操作為：使用多分支排序網(wǎng)絡(luò)來微調(diào)特征提取模型，獲取對圖像中物體數(shù)目全局、局部特征

本發(fā)明的一種基于排序網(wǎng)絡(luò)的弱監(jiān)督物體數(shù)目估計方法，所述步驟S3的具體操作為：使用可微分的Sinkhorn層將排序特征變?yōu)樾驍?shù)矩陣；構(gòu)造更有效的軟標(biāo)簽運輸矩陣來訓(xùn)練排序網(wǎng)絡(luò)；使用交叉熵?fù)p失來訓(xùn)練排序網(wǎng)絡(luò)，使用均方誤差來訓(xùn)練回歸網(wǎng)絡(luò)。