[發明專利]合成感知數字圖像搜索

在審

• 申請號: 201910143100.2
• 申請日: 2019-02-26
• 公開（公告）號: CN110516096A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 沈曉輝;林哲;K·K·薩恩卡瓦利;趙恒雙;B·L·普里斯
• 申請（專利權）人: 奧多比公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06F16/53;G06K9/34;G06K9/62
• 代理公司: 11256 北京市金杜律師事務所
• 代理人: 酆迅<國際申請>=<國際公布>=<進入國

1.一種在數字媒體合成感知數字圖像搜索環境中的系統，包括：

背景特征機器學習系統，至少部分地以至少一個計算設備的硬件實現，以使用機器學習從數字圖像中提取背景特征；

前景特征機器學習系統，至少部分地以所述至少一個計算設備的硬件實現，以使用機器學習從多個候選數字圖像中提取前景特征；

得分計算模塊，至少部分地以所述至少一個計算設備的硬件實現，以基于來自所述數字圖像的提取的所述背景特征和來自所述多個候選數字圖像的提取的所述前景特征，通過特征嵌入來計算得分；以及

搜索模塊，至少部分地以所述至少一個計算設備的硬件實現，以基于計算出的所述得分來輸出搜索結果。

2.根據權利要求1所述的系統，其中所述背景特征機器學習系統由卷積神經網絡實現，并且所述前景特征機器學習系統由另一卷積神經網絡實現。

3.根據權利要求1所述的系統，還包括：類別特征機器學習系統，所述類別特征機器學習系統至少部分地以所述至少一個計算設備的硬件實現，以從包括文本的類別數據生成類別特征，所述文本描述所述數字圖像。

4.根據權利要求3所述的系統，其中所述類別特征是使用機器學習形成的所述文本的向量表示。

5.根據權利要求3所述的系統，其中所述類別特征被嵌入到所述背景特征和所述前景特征中，并且由所述得分計算模塊使用以計算所述得分。

6.根據權利要求5所述的系統，其中所述嵌入是使用相應的多模緊湊雙線性池化(MCB)模塊來執行的。

7.一種在數字媒體環境中由計算設備實現的方法，所述方法包括：

由所述計算設備從單個數字圖像中提取正前景數字圖像和背景數字圖像；

由所述計算設備通過填充所述背景數字圖像中的區域，來生成正背景數字圖像，所述前景數字圖像是從所述背景數字圖像中提取的；

由所述計算設備獲得負前景數字圖像；以及

由所述計算設備，基于所述正前景數字圖像、所述正背景數字圖像和所述負前景數字圖像，聯合使用損失函數來訓練背景特征機器學習系統和前景特征機器學習系統。

8.根據權利要求7所述的方法，還包括：從類別數據生成類別特征，所述類別特征作為使用機器學習形成的文本的向量表示，所述類別數據包括所述文本，并且其中所述訓練至少部分地基于所述類別特征。

9.根據權利要求7所述的方法，其中所述填充包括形成矩形，所述矩形具有與在所述數字圖像中設置的所述前景數字圖像相對應的尺寸、縱橫比或位置。

10.根據權利要求7所述的方法，還包括計算所述背景數字圖像的顏色的顏色平均值，所述前景數字圖像是從所述背景數字圖像中提取的，并且其中所述填充使用顏色平均值來填充所述區域。

11.根據權利要求7所述的方法，其中所述損失函數是三元組損失函數。

12.根據權利要求7所述的方法，還包括基于所述正前景數字圖像來檢索附加的正前景數字圖像。

13.根據權利要求12所述的方法，其中所述檢索至少部分地基于所述正前景數字圖像的語義情境或形狀。

14.根據權利要求12所述的方法，其中所述訓練是基于所述附加的正前景數字圖像以及所述正背景數字圖像，聯合使用所述損失函數來執行的。

15.根據權利要求7所述的方法，還包括基于所述正背景數字圖像來檢索附加的正背景數字圖像。

16.根據權利要求15所述的方法，其中所述檢索至少部分地基于所述正背景數字圖像的語義情境或形狀。