[發明專利]圖像的多標簽類別預測方法及裝置、電子設備和存儲介質

有效

• 申請號: 201810763572.3
• 申請日: 2018-07-12
• 公開（公告）號: CN109034219B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 劉永成;邵婧;閆俊杰;王曉剛
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種圖像的多標簽類別預測方法，其特征在于，所述方法應用于分類模型，所述方法包括：

根據蒸餾特征對待預測圖像進行特征提取，得到所述待預測圖像的蒸餾特征信息，所述蒸餾特征包括從弱監督檢測模型進行知識蒸餾后得到的特征，所述弱監督檢測模型用于對圖像進行類別檢測；

根據蒸餾類別預測結果對所述蒸餾特征信息進行類別預測處理，得到所述待預測圖像的類別預測置信度，所述蒸餾類別預測結果包括從所述弱監督檢測模型進行知識蒸餾后得到的類別預測結果；

根據所述待預測圖像的類別預測置信度確定所述待預測圖像的類別預測結果。

2.根據權利要求1所述的方法，其特征在于，所述分類模型的訓練方法包括：

根據所述弱監督檢測模型對所述分類模型進行訓練。

3.根據權利要求2所述的方法，其特征在于，所述分類模型的訓練方法，包括：

將第一樣本圖像輸入所述分類模型進行第一特征提取，得到所述第一樣本圖像的第一特征信息；

將所述第一樣本圖像輸入所述弱監督檢測模型進行第二特征提取，得到所述第一樣本圖像的第二特征信息；

根據所述第一特征信息和所述第二特征信息確定所述分類模型的特征損失函數；

根據所述特征損失函數，對所述分類模型進行反向傳播。

4.根據權利要求3所述的方法，其特征在于，所述分類模型的訓練方法，包括：

在所述分類模型中，將所述第一特征信息進行類別預測處理，得到所述第一樣本圖像的第一類別預測置信度；

在所述弱監督檢測模型中，將所述第二特征信息進行類別預測處理，得到所述第一樣本圖像的第二類別預測置信度；

根據所述第一類別預測置信度和所述第二類別預測置信度，確定所述分類模型的類別預測損失函數；

根據所述類別預測損失函數對所述分類模型進行反向傳播。

5.根據權利要求4所述的方法，其特征在于，根據所述第一類別預測置信度和所述第二類別預測置信度，確定所述分類模型的類別預測損失函數，包括：

根據所述第一類別預測置信度、所述第二類別預測置信度和所述第一樣本圖像的實際標注類別，確定所述分類模型的類別預測損失函數。

6.根據權利要求5所述的方法，其特征在于，根據所述第一類別預測置信度、所述第二類別預測置信度和所述樣本圖像的實際標注類別，確定所述分類模型的類別預測損失函數，包括：

將所述第一類別預測置信度進行軟化處理，得到所述第一類別預測置信度軟化結果；

將所述第二類別預測置信度進行軟化處理，得到所述第二類別預測置信度軟化結果；

根據所述第一類別預測置信度、所述第一樣本圖像的實際標注類別、所述第一類別預測置信度軟化結果和所述第二類別預測置信度軟化結果，確定所述分類模型的類別預測損失函數。

7.根據權利要求6所述的方法，其特征在于，

所述軟化處理，包括：根據類別進行的軟化處理；

所述軟化結果，包括：根據類別進行軟化處理得到的結果。

8.根據權利要求1所述的方法，其特征在于，所述弱監督檢測模型的訓練方法，包括：

在所述弱監督檢測模型中，將第二樣本圖像進行區域框提取處理，得到所述第二樣本圖像的區域候選框；

將所述第二樣本圖像進行第三特征提取，得到所述第二樣本圖像的第三特征信息；

根據所述區域候選框和所述第三特征信息，得到合并信息；

將所述合并信息進行類別預測處理，得到所述第二樣本圖像的第三類別預測置信度；

根據所述第三類別預測置信度和所述第二樣本圖像的實際標注類別，確定弱監督檢測損失函數；

根據所述弱監督檢測損失函數對所述弱監督檢測模型進行反向傳播。