[發明專利]商品識別方法及智能貨柜系統

有效

• 申請號: 202010103439.2
• 申請日: 2020-02-20
• 公開（公告）號: CN111339887B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 朱曉雅
• 申請（專利權）人: 達闥機器人股份有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/75;G06V10/774;G06V10/80;G06V10/10;G06T3/40;G06T5/00
• 代理公司: 深圳市愛迪森知識產權代理事務所(普通合伙) 44341
• 代理人: 何婷;田利瓊

1.一種商品識別方法，其特征在于，應用于智能貨柜，所述智能貨柜包括若干貨架層，每一所述貨架層設有第一圖像獲取裝置和第二圖像獲取裝置；

所述方法包括：

通過所述第一圖像獲取裝置獲取第一圖像，并通過所述第二圖像獲取裝置獲取第二圖像；

對所述第一圖像和/或所述第二圖像進行畸變校正處理；

對所述第一圖像和所述第二圖像進行拼接，以得到拼接圖像；

根據所述拼接圖像，獲取原始訓練圖像；

對所述原始訓練圖像進行所述畸變校正處理，并將畸變校正處理后的所述原始訓練圖像記為第一數據集；

根據所述原始訓練圖像和所述第一數據集，訓練原始識別模型，將訓練后的所述原始識別模型作為第一中間模型；

將所述拼接圖像輸入所述第一中間模型，獲取所述第一中間模型輸出的第二數據集；

根據所述原始訓練圖像、所述第一數據集、所述第二數據集，訓練所述第一中間模型，將訓練后的所述第一中間模型作為第二中間模型；

將所述第二數據集輸入所述第二中間模型，獲取所述第二中間模型輸出的第三數據集；

在根據所述拼接圖像對所述第三數據集進行篩選或者人工標注后，根據原始訓練圖像、所述第一數據集、所述第三數據集，訓練所述第二中間模型，將訓練后的所述第二中間模型作為預設識別模型；

通過所述預設識別模型進行商品識別。

2.根據權利要求1所述的方法，其特征在于，所述對所述第一圖像和所述第二圖像進行拼接，以得到拼接圖像，具體包括：

分別提取所述第一圖像的第一特征點以及所述第二圖像的第二特征點；

根據所述第一特征點和所述第二特征點，獲取匹配特征點集；

根據所述匹配特征點集，將所述第一圖像和所述第二圖像轉換到同一坐標系下，以得到所述拼接圖像。

3.根據權利要求2所述的方法，其特征在于，所述對所述第一圖像和所述第二圖像進行拼接，以得到拼接圖像，具體還包括：

在所述將所述第一圖像和所述第二圖像轉換到同一坐標系下之后，對所述第一圖像和所述第二圖像的重疊區域進行加權融合處理；

將處理后的所述第一圖像和所述第二圖像組成的圖像作為所述拼接圖像。

4.根據權利要求1所述的方法，其特征在于，當所述第一圖像和/或所述第二圖像為魚眼圖像時，所述對所述第一圖像和/或所述第二圖像進行畸變校正處理，具體包括：

根據所述魚眼圖像與目標圖像的映射關系，確定所述魚眼圖像中的每個像素點在所述目標圖像上的坐標；

根據確定的坐標以及所述魚眼圖像，對所述目標圖像進行雙線性插值，得到所述目標圖像中的每個像素點的像素值，以將插值后得到的所述目標圖像作為畸變校正處理后的魚眼圖像。

5.根據權利要求1所述的方法，其特征在于，所述第一圖像獲取裝置和/或所述第二圖像獲取裝置為魚眼相機。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述通過所述預設識別模型進行商品識別，具體包括：

在商品購買之前，通過所述預設識別模型識別所述智能貨柜中的原有商品；

當確認商品挑選完成后，通過所述預設識別模型識別所述智能貨柜中的剩余商品；

比較所述原有商品和所述剩余商品，獲取結算商品。

7.一種智能貨柜系統，其特征在于，包括智能貨柜和云端服務器；

所述智能貨柜包括若干貨架層，每一所述貨架層設有第一圖像獲取裝置和第二圖像獲取裝置，所述第一圖像獲取裝置用于獲取第一圖像，所述第二圖像獲取裝置用于獲取第二圖像；

所述云端服務器包括處理器和存儲器，所述存儲器用于存放至少一可執行指令，當所述云端服務器運行時，所述處理器執行所述可執行指令，使所述處理器執行根據權利要求1-6任一項所述的商品識別方法的步驟。

8.一種計算機可讀存儲介質，其特征在于，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行根據權利要求1-6任一項所述的商品識別方法的步驟。