[發明專利]圖像識別方法和系統

有效

• 申請號: 202110496865.1
• 申請日: 2021-05-07
• 公開（公告）號: CN113128464B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 宋啟恒;王夢雄
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/94;G06V10/74;G06K9/62
• 代理公司: 北京市一法律師事務所 11654
• 代理人: 李琳娜;劉榮娟

本說明書提供的圖像識別方法和系統，可以獲取開門前的第一圖像、關門前的至少一個第二圖像以及關門后的第三圖像。至少一個第二圖像與第三圖像按照時間順序形成連續的圖像幀。所述方法和系統可以通過對比多個連續幀與第一圖像之間的差異區域，排除由于關門振動和人影晃動等外界環境影響引起的開門前圖像和關門后圖像的差異，提高圖像識別的準確率，精確識別出開門前的圖像與關門后的圖像是否存在由于拿取物品引起的差異，從而提高識別用戶是否拿取物品的準確度，防止在用戶沒有拿取物品的情況下由于數據傳輸引起的等待，提高用戶體驗感。

技術領域

本說明書涉及無人零售領域，尤其涉及一種圖像識別方法和系統。

背景技術

在基于計算機視覺的智能貨柜場景中，貨柜中每層攝像頭會在開門前拍攝柜內圖像、關門后再次拍攝柜內圖像。在進行商品結算時，貨柜會將開門前的圖像與關門后的圖像進行對比，若二者存在差異，則判定用戶拿取了商品，貨柜會將開門前的圖像與關門后的圖像上傳至云端服務器進一步做物品識別；若二者不存在差異，則判定用戶沒有拿取商品，貨柜不會將圖像上傳到服務器。目前通常采用圖像差分法直接對比開門前的圖像與關門后的圖像來獲取圖像差異。當用戶沒有拿取商品時，圖像可能受到一些外界的影響(如門外人影變化，關門之后產生的震動導致商品在來回位移)，導致開門前的圖像與關門后的圖像存在差異，從而將圖像上傳至服務器。這會導致結算流程過長，影響用戶體驗。

因此，需要提供一種精度更高的圖像識別方法和系統，能夠剔除外界環境影響，精確識別出開門前的圖像與關門后的圖像是否存在差異，從而確定用戶是否拿取商品。

發明內容

本說明書提供一種精度更高的圖像識別方法和系統，能夠剔除外界環境影響，精確識別出開門前的圖像與關門后的圖像是否存在差異，從而確定用戶是否拿取商品。

第一方面，本說明書提供一種圖像識別方法，用于對智能貨柜進行圖像識別，包括：從所述智能貨柜的視覺傳感器中獲取第一圖像，所述第一圖像包括所述視覺傳感器采集的所述智能貨柜的開門信號前的一個圖像幀；從所述視覺傳感器中獲取至少一個第二圖像以及第三圖像，所述至少一個第二圖像包括所述視覺傳感器采集的所述智能貨柜的關門信號前的至少一個連續的圖像幀，所述第三圖像包括所述視覺傳感器采集的所述關門信號后的一個圖像幀，所述至少一個第二圖像與所述第三圖像形成連續的圖像幀；以及基于所述第一圖像與所述至少一個第二圖像的差異，識別所述第一圖像與所述第三圖像之間是否存在目標差異，所述目標差異包括所述智能貨柜中的物品變化引起的差異。

在一些實施例中，所述至少一個第二圖像與所述第三圖像基于時間順序排列形成目標序列，所述目標序列包括多個目標圖像，所述多個目標圖像包括所述至少一個第二圖像和所述第三圖像，所述基于所述第一圖像與所述至少一個第二圖像的差異，識別所述第一圖像與所述第三圖像之間是否存在目標差異，包括：基于所述目標序列，依次對所述目標圖像執行圖像差分操作，直至確定所述第一圖像與所述第三圖像之間是否存在所述目標差異，所述圖像差分操作包括：將所述第一圖像與當前目標圖像求差，確定所述當前目標圖像對應的當前差異區域；以及基于所述當前差異區域確定所述第一圖像與所述第三圖像之間是否存在所述目標差異。

在一些實施例中，所述將所述第一圖像與當前目標圖像求差，確定所述當前目標圖像對應的當前差異區域，包括：基于預設圖像處理方法獲取所述第一圖像的多個第一像素點以及所述當前目標圖像的多個第二像素點，所述多個第一像素點與所述多個第二像素點一一對應；對所述多個第一像素點與所述多個第二像素點逐一求差，確定所述當前目標圖像對應的目標像素點的位置以及差異值，所述目標像素點包括所述多個第一像素點與所述多個第二像素點中存在差異的像素點；以及將相鄰的所述目標像素點作為一個差異點集合，將所述差異點集合中的所述目標像素點的差異值進行特征融合作為所述差異點集合的差異值，確定所述當前差異區域，所述當前差異區域包括所述差異點集合及其對應的差異值。