[發明專利]物品關系判別方法和裝置

在審

• 申請號: 202111190693.1
• 申請日: 2021-10-13
• 公開（公告）號: CN113901175A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 胡猛;王剛;佘志東;劉犇;吳嘉敏;王吉如;王奕磊
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;王志遠

1.一種物品關系判別方法，其特征在于，包括：

獲取待判別的兩個目標物品的屬性數據、圖像數據和標題數據；

依據所述兩個目標物品的屬性數據以及預先確定的多種相似度算法確定所述兩個目標物品的多種相似度，將所述多種相似度組合為所述兩個目標物品的屬性匹配特征；

將所述兩個目標物品的圖像數據輸入預先訓練的圖像編碼模型，得到所述兩個目標物品的初始圖像特征；對所述初始圖像特征進行多種運算并將運算結果組合為所述兩個目標物品的圖像匹配特征；

將所述兩個目標物品的標題數據組合之后輸入預先訓練的文本編碼模型，得到所述兩個目標物品的標題匹配特征；

使用所述屬性匹配特征、所述圖像匹配特征以及所述標題匹配特征確定所述兩個目標物品的多模態聚合向量，將確定的多模態聚合向量輸入預先訓練的物品關系分類模型，得到所述兩個目標物品之間的關系。

2.根據權利要求1所述的方法，其特征在于，所述使用所述屬性匹配特征、所述圖像匹配特征以及所述標題匹配特征確定所述兩個目標物品的多模態聚合向量，包括：

對所述屬性匹配特征進行歸一化和非線性映射，得到屬性特征向量；

對所述圖像匹配特征進行降維處理、歸一化和非線性映射，得到具有預設維度數量的圖像特征向量；

對所述標題匹配特征進行卷積處理和非線性映射，得到具有所述預設維度數量的標題特征向量；

將所述屬性特征向量、所述圖像特征向量和所述標題特征向量組合為所述多模態聚合向量。

3.根據權利要求1所述的方法，其特征在于，所述對所述初始圖像特征進行多種運算并將運算結果組合為所述兩個目標物品的圖像匹配特征，包括：

將所述兩個目標物品的初始圖像特征相減并取絕對值，得到差值特征；

將所述兩個目標物品的初始圖像特征中的相同位置元素相乘，得到乘積特征；

將所述差值特征與所述乘積特征組合為所述圖像匹配特征。

4.根據權利要求2所述的方法，其特征在于，所述對所述屬性匹配特征進行歸一化和非線性映射，得到屬性特征向量，包括：

對所述屬性匹配特征執行L2范數歸一化，將完成歸一化的所述屬性匹配特征依次送入第一全連接層和激活函數，得到所述屬性特征向量。

5.根據權利要求2所述的方法，其特征在于，所述對所述圖像匹配特征進行降維處理、歸一化和非線性映射，得到具有預設維度數量的圖像特征向量，包括：

對所述圖像匹配特征執行廣義平均池化和批標準化；

將完成廣義平均池化和批標準化的所述圖像匹配特征送入第二全連接層和激活函數，得到所述圖像特征向量。

6.根據權利要求2所述的方法，其特征在于，所述標題匹配特征為高度和寬度都大于1的矩陣；以及，所述對所述標題匹配特征進行卷積處理和非線性映射，得到具有所述預設維度數量的標題特征向量，包括：

使用具有預設數量以及第一尺寸的卷積核對所述標題匹配特征進行卷積處理，將卷積處理后的所述標題匹配特征送入激活函數并執行最大池化，得到第一向量；其中，第一尺寸中的寬度等于所述標題匹配特征的寬度，第一向量的維度數量等于所述預設數量，所述預設數量為所述預設維度數量的一半；

使用具有所述預設數量以及第二尺寸的卷積核對所述標題匹配特征進行卷積處理，將卷積處理后的所述標題匹配特征送入激活函數并執行最大池化，得到第二向量；其中，第二尺寸中的寬度等于所述標題匹配特征的寬度，第二尺寸中的高度不等于第一尺寸中的高度，第二向量的維度數量等于所述預設數量；

將第一向量和第二向量組合為所述標題特征向量。

7.根據權利要求4-6任一所述的方法，其特征在于，所述物品關系分類模型通過以下步驟進行訓練：

獲取預先得知物品關系的多個物品對、以及每一物品對的多模態聚合向量；以該多模態聚合向量為訓練樣本、所述多個物品對的物品關系為所述訓練樣本的標簽訓練所述物品關系分類模型；

所述多種相似度包括以下相似度中的多種：詞頻相似度、詞頻-逆文檔頻率相似度、BM25相似度、杰卡德相似度、Ochiai相似度；所述激活函數為PReLU函數；所述物品關系包括相同、相似和不同。