[發明專利]一種基于排序網絡的弱監督物體數目估計方法

在審

• 申請號: 202010845336.3
• 申請日: 2020-08-20
• 公開（公告）號: CN112101122A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 李國榮;楊一帆;黃慶明;蘇荔
• 申請（專利權）人: 中國科學院大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于排序網絡的弱監督物體數目估計方法，其特征在于，包括：

S1、使用預訓練好的深度神經網絡如VGG-16提取圖像特征，然后利用卷積操作回歸密度圖；利用自適應池化層從密度圖中提取多尺度特征來捕獲圖像中的全局和局部信息，輸入到全連接層回歸物體數目。其中自適應池化層包括全局子簇層和局部子簇層兩種類型；

S2、使用圖像物體數目排序網絡對多尺度特征進行學習，使得多尺度特征對物體數目敏感。這里的排序網絡為多分支網絡，其輸入為多張圖像的多尺度特征，輸出為依據圖像中物體的數目進行排序的結果；

S3、排序網絡中使用Sinkhorn層將排序特征變為序數矩陣，利用圖像中物體的真實數目構造軟標簽傳輸矩陣，使用交叉熵損失來訓練排序網絡,得到對物體數目敏感的特征；然后訓練回歸網絡，最終得到物體數目回歸模型。

2.如權利要求1所述的一種基于排序網絡的弱監督物體數目估計方法，其特征在于，所述步驟S1的具體操作為：利用在圖像分析任務上預訓練好的深度網絡模型提取圖像特征，回歸一個偽概率密度圖；然后使用步幅較大的池化層構造全局子簇層，從密度圖中提取全局特征；利用步幅較小的池化層構造局部子簇層，從密度圖中提取局部特征。

3.如權利要求1所述的一種基于排序網絡的弱監督物體數目估計方法，其特征在于，所述步驟S2的具體操作為：使用多分支排序網絡來微調特征提取模型，獲取對圖像中物體數目全局、局部特征。

4.如權利要求1所述的一種基于排序網絡的弱監督物體數目估計方法，其特征在于，所述步驟S3的具體操作為：使用可微分的Sinkhorn層將排序特征變為序數矩陣；構造更有效的軟標簽運輸矩陣，使用交叉熵損失來訓練排序網絡；使用均方誤差來訓練回歸網絡。