[發明專利]一種商品與價簽的匹配方法、裝置、設備及存儲介質

有效

• 申請號: 202310067465.8
• 申請日: 2023-01-12
• 公開（公告）號: CN116563573B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 鄔國銳;王慶慶
• 申請（專利權）人: 北京愛咔咔信息技術有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/82;G06V10/80;G06V10/40;G06V30/418;G06V30/19
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 趙永麗

1.一種商品與價簽的匹配方法，其特征在于，包括：

獲取至少一組商品與價簽的樣本數據；

對所述樣本數據進行特征提取，確定樣本中商品與價簽的位置信息特征、圖像特征以及文本特征；

對所述圖像特征以及所述文本特征進行融合處理，得到商品與價簽的節點特征；

基于圖學習對所述商品與價簽的位置信息特征以及所述節點特征進行融合處理，得到融合特征，并基于所述融合特征確定所述商品與價簽的匹配結果。

2.根據權利要求1所述的方法，其特征在于，所述對所述樣本數據進行特征提取，確定樣本中商品與價簽的位置信息特征、圖像特征以及文本特征，包括：

獲取所述商品與價簽的坐標信息；

基于所述坐標信息計算商品與價簽之間的位置關系矩陣，并對所述位置關系矩陣進行線性變換處理，以確定樣本中商品與價簽的位置信息特征。

3.根據權利要求1所述的方法，其特征在于，所述對所述樣本數據進行特征提取，確定樣本中商品與價簽的位置信息特征、圖像特征以及文本特征，包括：

獲取所述商品與價簽的圖像；

基于卷積神經網絡對所述圖像進行特征提取，得到圖像特征，并根據商品與價簽的位置信息對所述圖像特征進行裁剪，得到每個商品與價簽的圖像特征。

4.根據權利要求1所述的方法，其特征在于，所述對所述樣本數據進行特征提取，確定樣本中商品與價簽的位置信息特征、圖像特征以及文本特征，包括：

獲取所述商品與價簽的文本信息；

基于字符嵌入方法對所述文本信息進行處理，得到所述文本特征。

5.根據權利要求1所述的方法，其特征在于，所述對所述圖像特征以及所述文本特征進行融合處理，得到商品與價簽的節點特征，包括：

對所述商品與價簽的圖像特征以及文本特征進行補全，以使所述圖像特征與所述文本特征對應的節點相同，得到補全后的圖像特征和文本特征；

將所述補全后的圖像特征和文本特征進行融合處理，得到所述商品與價簽的節點特征。

6.根據權利要求1所述的方法，其特征在于，所述基于圖學習對所述商品與價簽的位置信息特征以及所述節點特征進行融合處理，得到融合特征，并基于所述融合特征確定所述商品與價簽的匹配結果，包括：

對所述節點特征進行關系化處理，以將序列節點特征轉換為矩陣節點特征；

將所述矩陣節點特征與所述位置信息特征進行融合處理，得到融合特征；

對所述融合特征進行特征變換，以確定所述商品與價簽的匹配結果。

7.根據權利要求6所述的方法，其特征在于，對所述節點特征進行關系化處理，以將序列節點特征轉換為矩陣節點特征，包括：

將序列節點特征進行轉置，得到轉置序列節點特征；

將所述轉置序列節點特征與所述序列節點特征融合，得到所述矩陣節點特征。

8.一種商品與價簽的匹配裝置，其特征在于，包括：

數據獲取模塊，用于獲取至少一組商品與價簽的樣本數據；

特征提取模塊，用于對所述樣本數據進行特征提取，確定樣本中的商品與價簽的位置信息特征、圖像特征以及文本特征；

第一融合模塊，用于對所述圖像特征以及所述文本特征進行融合處理，得到商品與價簽的節點特征；

第二融合模塊，用于基于圖學習對所述商品與價簽的位置信息特征以及所述節點特征進行融合處理，得到融合特征，并基于所述融合特征確定所述商品與價簽的匹配結果。

9.一種電子設備，其特征在于，包括：

存儲器和處理器，所述存儲器和所述處理器之間互相通信連接，所述存儲器中存儲有計算機指令，所述處理器通過執行所述計算機指令，從而執行權利要求1-7中任一項所述的商品與價簽的匹配方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使計算機執行權利要求1-7中任一項所述的商品與價簽的匹配方法。