[發(fā)明專利]圖像處理方法和裝置、存儲介質(zhì)和電子設備

有效

• 申請?zhí)枺?/td>: 202010664687.4
• 申請日: 2020-07-10
• 公開（公告）號: CN111797266B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設計）人: 蘇凱;王長虎
• 申請（專利權）人: 北京字節(jié)跳動網(wǎng)絡技術有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/532;G06F16/55
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權代理事務所(普通合伙) 11447
• 代理人: 王曉霞

1.一種圖像處理方法，其特征在于，所述方法包括：

將待處理圖像輸入圖像處理模型；

獲取圖像處理模型輸出的檢索標簽和入庫標簽，其中，所述檢索標簽用于表征待處理圖像中物體的類別，所述入庫標簽用于表征是否將所述待處理圖像加入檢索庫中；

其中，所述圖像處理模型包括用于輸出檢索標簽的檢索分支，和用于輸出入庫標簽的入庫分支，

所述檢索分支，用于從所述待處理圖像中提取第一檢索特征，將所述第一檢索特征和第二檢索特征融合，得到最終檢索特征，并基于所述最終檢索特征輸出所述檢索標簽；

所述入庫分支，用于從所述待處理圖像中提取第一入庫特征，將所述第一入庫特征和第二入庫特征融合，得到最終入庫特征，并基于所述最終入庫特征輸出所述入庫標簽；

其中，所述第二檢索特征是由所述第一入庫特征轉換得到的，所述第二入庫特征是由所述第一檢索特征轉換得到的。

2.根據(jù)權利要求1所述的方法，其特征在于，通過卷積函數(shù)和激活函數(shù)將所述第一入庫特征轉換為所述第二檢索特征，并將所述第一檢索特征轉換為所述第二入庫特征，其中，所述第二檢索特征的維度比所述第一入庫特征的維度低，所述第二入庫特征的維度比所述第一檢索特征的維度低。

3.根據(jù)權利要求1所述的圖像處理方法，其特征在于，所述方法還包括：

基于所述檢索標簽，判斷是否從所述檢索庫中查詢與所述待處理圖像特征匹配的目標圖像和/或目標視頻，和/或

基于所述入庫標簽，判斷是否將所述待處理圖像加入所述檢索庫中，并在確定將所述待處理圖像加入檢索庫中的情況下，將所述待處理圖像和/或提取到所述待處理圖像的視頻加入所述檢索庫中。

4.根據(jù)權利要求1所述的方法，其特征在于，所述圖像處理模型是通過以下方式訓練得到的：

將已標注檢索標簽和入庫標簽的樣本圖像集輸入待訓練的圖像處理模型；

重復執(zhí)行基于所述圖像處理模型輸出的檢索標簽和入庫標簽，以及樣本圖像的實際檢索標簽和實際入庫標簽，以及預設的損失函數(shù)，調(diào)整所述圖像處理模型的所述檢索分支和/或所述入庫分支的參數(shù)的步驟，直至滿足訓練停止條件；

其中，所述預設的損失函數(shù)包括用于生成所述檢索標簽的損失值的第一損失函數(shù)，和用于生成所述入庫標簽的損失值的第二損失函數(shù)。

5.根據(jù)權利要求4所述的方法，其特征在于，所述檢索標簽包括表征物體為可檢索的類別的第一類標簽，所述入庫標簽包括表征圖片為不可入庫圖片的第二類標簽，

所述預設的損失函數(shù)還包括：

用于在所述檢索分支輸出的標簽為所述第一類標簽，且所述入庫分支針對同一圖片輸出的標簽為所述第二類標簽時產(chǎn)生損失值的第三損失函數(shù)。

6.根據(jù)權利要求5所述的方法，其特征在于，所述基于所述圖像處理模型輸出的檢索標簽和入庫標簽，以及樣本圖像的實際檢索標簽和實際入庫標簽，以及預設的損失函數(shù)，調(diào)整所述圖像處理模型的所述檢索分支和/或所述入庫分支的參數(shù)，包括：

通過第一損失函數(shù)，基于所述圖像處理模型輸出的檢索標簽和實際檢索標簽生成第一損失值；

通過第二損失函數(shù)，基于所述圖像處理模型輸出的入庫標簽和實際入庫標簽生成第二損失值；

通過第三損失函數(shù)，基于所述圖像處理模型輸出的檢索標簽和入庫標簽生成第三損失值；

基于所述第一損失值、第二損失值和第三損失值，生成最終損失值，并基于所述最終損失值調(diào)整所述圖像處理模型的所述檢索分支和/或所述入庫分支的參數(shù)。

7.根據(jù)權利要求6所述的方法，其特征在于，所述基于所述第一損失值、第二損失值和第三損失值，生成最終損失值，包括：

通過下述方式生成最終損失值：

loss＝L₁×loss₁+L₂×loss₂+loss₃

其中，loss為所述最終損失值，loss₁為所述第一損失值，loss₂為所述第二損失值，loss₃為所述第三損失值。