[發明專利]圖像處理方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202110730097.1
• 申請日: 2021-06-29
• 公開（公告）號: CN113486903A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 袁歡;談建超;劉霽
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/08
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 曾紅芳

1.一種圖像處理方法，其特征在于，包括：

通過第一深度神經網絡模型對輸入圖像進行特征提取，得到所述輸入圖像的第一圖像特征，通過第二深度神經網絡模型分別對多個相冊模板中的模板圖像進行特征提取，得到第二圖像特征，通過第三深度神經網絡模型分別對所述多個相冊模板中的模板音樂進行特征提取，得到音頻特征；

通過匹配網絡模型將所述第一圖像特征分別與多個相冊模板的第二圖像特征和音頻特征進行匹配，得到所述輸入圖像分別與所述多個相冊模板的多個匹配值；

根據所述多個匹配值，確定與所述輸入圖像匹配的相冊模板。

2.根據權利要求1所述的方法，其特征在于，所述通過匹配網絡模型將所述第一圖像特征分別與多個相冊模板的第二圖像特征和音頻特征進行匹配，得到所述輸入圖像分別與所述多個相冊模板的多個匹配值，包括：

將所述第一圖像特征分別和所述多個相冊模板的第二圖像特征進行聯合，得到第一聯合特征；通過第一匹配子網絡模型對所述第一聯合特征進行匹配，得到所述輸入圖像分別與所述多個相冊模板的模板圖像的第一匹配輸出值；

將所述第一圖像特征分別和所述多個相冊模板的音頻特征進行聯合，得到第二聯合特征；通過第二匹配子網絡模型對所述第二聯合特征進行匹配，得到所述輸入圖像分別與所述多個相冊模板的模板音樂的第二匹配輸出值；

根據所述第一匹配輸出值和所述第二匹配輸出值，確定所述輸入圖像分別與所述多個相冊模板的多個匹配值；

其中，所述匹配網絡模型包括所述第一匹配子網絡模型和所述第二匹配子網絡模型。

3.根據權利要求1所述的方法，其特征在于，采用以下方式，得到所述匹配網絡模型：

獲取樣本集，其中，所述樣本集包括正樣本集和負樣本集，所述正樣本集包括：多組正樣本對，所述正樣本對包括：歷史輸入圖像與被選擇的相冊模板，所述負樣本集包括：多組負樣本對，所述負樣本對包括：歷史輸入圖像與未被選擇的相冊模板；

采用所述樣本集對初始網絡模型進行訓練，得到所述匹配網絡模型。

4.根據權利要求3所述的方法，其特征在于，采用所述樣本集對初始網絡模型進行訓練，得到所述匹配網絡模型，包括：

生成所述初始網絡模型的損失函數；

通過最小化所述損失函數，對所述初始網絡模型進行訓練，得到所述匹配網絡模型。

5.根據權利要求4所述的方法，其特征在于，生成所述初始網絡模型的損失函數，包括：

生成所述初始網絡模型的排序損失函數，和生成所述初始網絡模型的二分類損失函數，其中，所述排序損失函數依據正樣本對的匹配值與負樣本對的匹配值之間的差值確定，所述二分類損失函數依據正負樣本對的預測匹配值確定。

6.一種圖像處理方法，其特征在于，包括：

通過交互界面，接收輸入圖像；

在所述交互界面上，顯示所述輸入圖像分別與多個相冊模板的多個匹配值，其中，所述輸入圖像分別與所述多個相冊模板的多個匹配值由匹配網絡模型將第一圖像特征分別與所述多個相冊模板的第二圖像特征和音頻特征進行匹配得到，其中，所述第一圖像特征通過第一深度神經網絡模型對所述輸入圖像進行特征提取得到，所述第二圖像特征通過第二深度神經網絡模型分別對所述多個相冊模板中的模板圖像進行特征提取得到，所述音頻特征通過第三深度神經網絡模型分別對所述多個相冊模板中的模板音樂進行特征提取得到；

在所述交互界面上，突出顯示與所述輸入圖像匹配的相冊模板，其中，與所述輸入圖像匹配的相冊模板由所述多個相冊模板對應的多個匹配值確定。