[發(fā)明專利]一種基于深度視覺的智能取貨識別方法

在審

• 申請?zhí)枺?/td>: 202010553402.X
• 申請日: 2020-06-17
• 公開（公告）號: CN111695536A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設計）人: 丁發(fā)展;姜鵬
• 申請（專利權）人: 無錫雪浪數(shù)制科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 無錫華源專利商標事務所(普通合伙) 32228
• 代理人: 聶啟新

1.一種基于深度視覺的智能取貨識別方法，其特征在于，所述方法包括：

通過設置在智能貨柜內的攝像機獲取用戶操作圖像；

從所述用戶操作圖像中提取出熱點區(qū)域前景圖；

將所述熱點區(qū)域前景圖輸入到手持區(qū)域目標檢測卷積神經網絡中進行檢測得到手持物品區(qū)域截圖；

將所述手持物品區(qū)域截圖輸入到物品目標分割卷積神經網絡中進行分割得到物品分割切圖組，所述物品分割切圖組包括手部區(qū)域切圖以及各個物品區(qū)域切圖；

將所述物品分割切圖組輸入到物品目標分類卷積神經網絡中并輸出物品分類結果，所述物品分類結果包括手部區(qū)域以及各個物品的類別和數(shù)量；

對所述攝像機采集的用戶操作動作分別進行目標跟蹤，輸出各個用戶操作時序檢測結果；

對所述用戶操作時序檢測結果進行綜合分析，輸出本次操作取出的物品類別和數(shù)量。

2.根據(jù)權利要求1所述的基于深度視覺的智能取貨識別方法，其特征在于，所述從所述用戶操作圖像中提取出熱點區(qū)域前景圖，包括：

加載所述用戶操作圖像，獲取當前用戶操作圖像的前一幀圖像以及后一幀圖像；

將所述當前用戶操作圖像、前一幀圖像以及后一幀圖像轉換為灰度圖，分別獲取所述當前用戶操作圖像與所述前一幀圖像以及與所述后一幀圖像的雙向灰度差值，并且合并為雙向幀差圖；

對所述雙向幀差圖進行濾波、二值化處理得到二值化圖像；

獲取所述二值化圖像的外輪廓邊界，提取出熱點區(qū)域輪廓掩碼，通過所述熱點區(qū)域輪廓掩碼在所述當前用戶操作圖像中提取出所述熱點區(qū)域前景圖。

3.根據(jù)權利要求1所述的基于深度視覺的智能取貨識別方法，其特征在于，所述將所述熱點區(qū)域前景圖輸入到手持區(qū)域目標檢測卷積神經網絡中進行檢測得到手持物品區(qū)域截圖，包括：

使用雙線性插值法將所述熱點區(qū)域前景圖進行縮放得到尺寸變換后的熱點區(qū)域前景圖；所述尺寸變換后的熱點區(qū)域前景圖依次經過所述手持區(qū)域目標檢測卷積神經網絡中的第一卷積網絡、第一最大池化層、第二卷積網絡、第二最大池化層、第三卷積網絡、第三最大池化層、第四卷積網絡、第四最大池化層，所述第四最大池化層再依次通過第五卷積網絡、大尺度分離卷積層連接感興趣區(qū)域池化層，所述第四最大池化層還通過區(qū)域生成網絡連接所述感興趣區(qū)域池化層，所述感興趣區(qū)域池化層通過全連接層后輸出手部區(qū)域檢測結果，所述手部區(qū)域檢測結果包括在所述熱點區(qū)域前景圖中標識出的手持物品區(qū)域截圖；

其中，所述第一卷積網絡包括1個卷積層，所述第二卷積網絡包括4個卷積層，所述第三卷積網絡包括4個卷積層，所述第四卷積網絡包括4個卷積層，所述第五卷積網絡包括3個卷積層；所述第一卷積網絡、第二卷積網絡、第三卷積網絡、第四卷積網絡和第五卷積網絡中的各個卷積層采用ReLU作為激活函數(shù)。