[發明專利]數據關聯方法、裝置、設備及存儲介質

有效

• 申請號: 202010027553.1
• 申請日: 2020-01-10
• 公開（公告）號: CN111259755B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 羅宇軒;亢樂;包英澤
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V20/64
• 分類號: G06V20/64
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

本申請公開了數據關聯方法、裝置、設備及存儲介質，涉及計算機視覺領域。具體實現方案為：該方法應用于電子設備，電子設備與多個深度視覺傳感器進行通信，深度視覺傳感器設置在預設三維場景內，預設三維場景內還包括目標物品和至少一個用戶，該方法包括：若監測到用戶拿取目標物品，則獲取拿取目標物品時對應的多個目標深度視覺傳感器采集的二維圖像；根據各二維圖像及映射參數確定對應的目標三維場景點云數據；根據目標三維場景點云數據確定至少一個用戶關鍵部位在預設三維場景中的位置；根據各用戶關鍵部位在預設三維場景中的位置確定拿取目標物品的目標用戶；將目標物品與目標用戶進行關聯。更加準確地將人貨數據進行關聯。

技術領域

本申請涉及到數據處理技術領域，尤其涉及計算機視覺技術。

背景技術

隨著計算機視覺技術的成熟，基于計算機視覺的無人零售領域也得到了快速發展。在無人零售場景中需要將貨架上物品發生變化的操作與拿取物品的用戶關聯起來,稱為人貨數據的關聯技術。

現有技術中,在進行人貨數據的關聯時,采用的是單個深度攝像頭采集拿取物品用戶關鍵部位在圖像中的位置信息和深度信息。若該拿取物品用戶被遮擋的情況下，采集的關鍵部位的圖像中的位置信息和深度信息都不夠準確，導致確定出的該拿取物品用戶關鍵部位在無人零售的三維場景中的位置信息也不夠準確，進而無法準確將人貨數據進行關聯，最終導致在無人零售場景中無法準確地確定出每個物品的拿取者。

發明內容

本申請實施例提供一種數據關聯方法、裝置、設備及存儲介質，解決了現有技術中無法準確將人貨數據進行關聯，最終導致在無人零售場景中無法準確地確定出每個物品的拿取者的技術問題。

本申請實施例第一方面提供一種數據關聯方法，所述方法應用于電子設備，電子設備與多個深度視覺傳感器進行通信，所述深度視覺傳感器設置在預設三維場景內，所述預設三維場景內還包括目標物品和至少一個用戶，所述方法包括：

若監測到用戶拿取所述目標物品，則獲取拿取所述目標物品時對應的多個目標深度視覺傳感器采集的二維圖像；根據各二維圖像及映射參數確定對應的目標三維場景點云數據；根據目標三維場景點云數據確定至少一個用戶關鍵部位在預設三維場景中的位置；根據各用戶關鍵部位在預設三維場景中的位置確定拿取所述目標物品的目標用戶；將所述目標物品與所述目標用戶進行關聯。

本申請實施例中，由于在用戶拿取目標物品時，由多個目標深度視覺傳感器采集二維圖像，并由各二維圖像生成三維場景點云數據，所以可有效減少三維場景點云數據中的遮擋區域，進而使確定出的用戶關鍵部位在預設三維場景中的位置更加準確，更加準確地將人貨數據進行關聯，準確確定出每個物品的拿取者。

進一步地，如上所述的方法，所述根據各二維圖像及映射參數確定對應的目標三維場景點云數據，包括：

獲取各目標深度視覺傳感器對應的內外參數和在預設三維場景中的位置；將所述各二維圖像按照對應的內外參數和在預設三維場景中的位置映射到預設三維場景坐標系中，以獲得對應的目標三維場景點云數據。

本申請實施例中，每個二維圖像均有對應的目標深度視覺傳感器采集，所以將每個二維圖像按照對應的目標深度視覺傳感器的內外參和在預設三維場景中的位置對應映射到預設三維場景坐標系中，在各二維圖像映射到預設三維場景坐標系的過程中，完成了場景點云數據的融合和拼接。能夠準確并快速地確定出目標三維場景點云數據。并且由于每個目標深度傳感器所在的位置和拍攝的角度不同，雖然單個二維圖像有遮擋區域，但投影到預設三維場景坐標系并進行拼接后，使獲得的目標三維場景點云數據中能夠有效去除遮擋區域。

進一步地，如上所述的方法，根據目標三維場景點云數據確定至少一個用戶關鍵部位在預設三維場景中的位置，包括：