[發(fā)明專利]圖像處理方法和裝置、存儲介質(zhì)和電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202010664687.4
• 申請日: 2020-07-10
• 公開（公告）號: CN111797266B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計）人: 蘇凱;王長虎
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/532;G06F16/55
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 王曉霞

1.一種圖像處理方法，其特征在于，所述方法包括：

將待處理圖像輸入圖像處理模型；

獲取圖像處理模型輸出的檢索標(biāo)簽和入庫標(biāo)簽，其中，所述檢索標(biāo)簽用于表征待處理圖像中物體的類別，所述入庫標(biāo)簽用于表征是否將所述待處理圖像加入檢索庫中；

其中，所述圖像處理模型包括用于輸出檢索標(biāo)簽的檢索分支，和用于輸出入庫標(biāo)簽的入庫分支，

所述檢索分支，用于從所述待處理圖像中提取第一檢索特征，將所述第一檢索特征和第二檢索特征融合，得到最終檢索特征，并基于所述最終檢索特征輸出所述檢索標(biāo)簽；

所述入庫分支，用于從所述待處理圖像中提取第一入庫特征，將所述第一入庫特征和第二入庫特征融合，得到最終入庫特征，并基于所述最終入庫特征輸出所述入庫標(biāo)簽；

其中，所述第二檢索特征是由所述第一入庫特征轉(zhuǎn)換得到的，所述第二入庫特征是由所述第一檢索特征轉(zhuǎn)換得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過卷積函數(shù)和激活函數(shù)將所述第一入庫特征轉(zhuǎn)換為所述第二檢索特征，并將所述第一檢索特征轉(zhuǎn)換為所述第二入庫特征，其中，所述第二檢索特征的維度比所述第一入庫特征的維度低，所述第二入庫特征的維度比所述第一檢索特征的維度低。

3.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述方法還包括：

基于所述檢索標(biāo)簽，判斷是否從所述檢索庫中查詢與所述待處理圖像特征匹配的目標(biāo)圖像和/或目標(biāo)視頻，和/或

基于所述入庫標(biāo)簽，判斷是否將所述待處理圖像加入所述檢索庫中，并在確定將所述待處理圖像加入檢索庫中的情況下，將所述待處理圖像和/或提取到所述待處理圖像的視頻加入所述檢索庫中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像處理模型是通過以下方式訓(xùn)練得到的：

將已標(biāo)注檢索標(biāo)簽和入庫標(biāo)簽的樣本圖像集輸入待訓(xùn)練的圖像處理模型；

重復(fù)執(zhí)行基于所述圖像處理模型輸出的檢索標(biāo)簽和入庫標(biāo)簽，以及樣本圖像的實(shí)際檢索標(biāo)簽和實(shí)際入庫標(biāo)簽，以及預(yù)設(shè)的損失函數(shù)，調(diào)整所述圖像處理模型的所述檢索分支和/或所述入庫分支的參數(shù)的步驟，直至滿足訓(xùn)練停止條件；

其中，所述預(yù)設(shè)的損失函數(shù)包括用于生成所述檢索標(biāo)簽的損失值的第一損失函數(shù)，和用于生成所述入庫標(biāo)簽的損失值的第二損失函數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述檢索標(biāo)簽包括表征物體為可檢索的類別的第一類標(biāo)簽，所述入庫標(biāo)簽包括表征圖片為不可入庫圖片的第二類標(biāo)簽，

所述預(yù)設(shè)的損失函數(shù)還包括：

用于在所述檢索分支輸出的標(biāo)簽為所述第一類標(biāo)簽，且所述入庫分支針對同一圖片輸出的標(biāo)簽為所述第二類標(biāo)簽時產(chǎn)生損失值的第三損失函數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述圖像處理模型輸出的檢索標(biāo)簽和入庫標(biāo)簽，以及樣本圖像的實(shí)際檢索標(biāo)簽和實(shí)際入庫標(biāo)簽，以及預(yù)設(shè)的損失函數(shù)，調(diào)整所述圖像處理模型的所述檢索分支和/或所述入庫分支的參數(shù)，包括：

通過第一損失函數(shù)，基于所述圖像處理模型輸出的檢索標(biāo)簽和實(shí)際檢索標(biāo)簽生成第一損失值；

通過第二損失函數(shù)，基于所述圖像處理模型輸出的入庫標(biāo)簽和實(shí)際入庫標(biāo)簽生成第二損失值；

通過第三損失函數(shù)，基于所述圖像處理模型輸出的檢索標(biāo)簽和入庫標(biāo)簽生成第三損失值；

基于所述第一損失值、第二損失值和第三損失值，生成最終損失值，并基于所述最終損失值調(diào)整所述圖像處理模型的所述檢索分支和/或所述入庫分支的參數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述第一損失值、第二損失值和第三損失值，生成最終損失值，包括：

通過下述方式生成最終損失值：

loss＝L₁×loss₁+L₂×loss₂+loss₃

其中，loss為所述最終損失值，loss₁為所述第一損失值，loss₂為所述第二損失值，loss₃為所述第三損失值。