[發明專利]商品識別方法及裝置、計算設備、計算機存儲介質

有效

• 申請號: 202110263848.3
• 申請日: 2021-03-10
• 公開（公告）號: CN112686220B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 高巍;張鵬
• 申請（專利權）人: 浙江口碑網絡技術有限公司;口碑(上海)信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 宋菲

1.一種商品識別方法，其特征在于，包括：

獲取經拍攝得到的目標圖像；

對所述目標圖像進行檢測，得到至少一個目標子圖像以及圖像類別；

根據所述圖像類別，判斷任一目標子圖像是否屬于第一商品圖像或第二商品圖像；其中，第一商品圖像攜帶有文本信息；若圖像類別表明為非實際商品類，則目標子圖像屬于第一商品圖像；若圖像類別表明為實際商品類，則目標子圖像屬于第二商品圖像；

若屬于第一商品圖像，對該目標子圖像分別進行文本識別，得到對應的第一商品的商品信息；

若屬于第二商品圖像，對該目標子圖像分別進行圖像識別，得到對應的第二商品的商品信息；

整合識別得到的第一商品和/或第二商品的商品信息，進行結算處理。

2.根據權利要求1所述的方法，其特征在于，針對屬于第一商品圖像的目標子圖像，所述方法還包括：獲取目標子圖像的有序位置信息，根據所述有序位置信息得到目標子圖像的方向信息；

所述對該目標子圖像分別進行文本識別，得到對應的第一商品的商品信息進一步包括：對該目標子圖像分別進行文本識別，得到文本信息；根據該目標子圖像的方向信息和所述文本信息，得到對應的第一商品的商品信息。

3.根據權利要求1所述的方法，其特征在于，所述對所述目標圖像進行檢測，得到至少一個目標子圖像以及圖像類別進一步包括：

對所述目標圖像進行特征提取，得到目標特征圖；

對所述目標特征圖進行定位檢測，得到至少一個目標子圖像；

對所述目標特征圖進行類別檢測，得到至少一個目標子圖像的圖像類別。

4.根據權利要求1-3中任一項所述的方法，其特征在于，在所述得到對應的第一商品的商品信息，和/或，得到對應的第二商品的商品信息之后，所述方法還包括：

將所述第一商品的商品信息和/或所述第二商品的商品信息與目標門店的商品信息庫進行匹配，根據匹配結果對第一商品的商品信息和/或第二商品的商品信息進行校正。

5.根據權利要求4所述的方法，其特征在于，所述將所述第一商品的商品信息和/或所述第二商品的商品信息與目標門店的商品信息庫進行匹配，根據匹配結果對第一商品的商品信息和/或第二商品的商品信息進行校正進一步包括：

針對任一第一商品的商品信息和/或第二商品的商品信息，將商品信息與目標門店的商品信息庫內的商品信息進行相似度匹配，得到相似度最高的商品信息庫內的商品信息作為校正后的商品信息。

6.根據權利要求1-3中任一項所述的方法，其特征在于，所述方法還包括：訓練得到檢測網絡、文本識別網絡和/或圖像識別網絡；

所述對所述目標圖像進行檢測，得到至少一個目標子圖像以及圖像類別具體為：將所述目標圖像輸入至訓練得到的檢測網絡中，得到至少一個目標子圖像以及圖像類別；

所述對該目標子圖像分別進行文本識別，得到對應的第一商品的商品信息具體為：將該目標子圖像輸入至文本識別網絡中，得到對應的第一商品的商品信息；

所述對該目標子圖像分別進行圖像識別，得到對應的第二商品的商品信息具體為：將該目標子圖像輸入至圖像識別網絡中，得到對應的第二商品的商品信息。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

獲取樣本圖像集合，其中樣本圖像包含至少一個第一樣本商品和至少一個第二樣本商品；

對所述樣本圖像集合中的各個樣本圖像進行標注，任一樣本圖像的標注信息包括：所述至少一個第一樣本商品的文本檢測框的有序位置信息、類別信息和商品信息，以及所述至少一個第二樣本商品的檢測框的位置信息、類別信息和商品信息。

8.根據權利要求7所述的方法，其特征在于，第一樣本商品的文本檢測框是樣本圖像中第一樣本商品記錄的文本信息的外接矩形框，第二樣本商品的檢測框是樣本圖像中第二樣本商品的外接矩形框。