[發(fā)明專利]一種基于物理引擎和深度全卷積網(wǎng)絡的商品識別方法

在審

• 申請?zhí)枺?/td>: 201910972064.0
• 申請日: 2019-10-14
• 公開（公告）號: CN110807808A
• 公開（公告）日: 2020-02-18
• 發(fā)明（設計）人: 李霖燁;田秋紅;包嘉欣;楊慧敏
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T13/20;G06T17/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于物理引擎和深度全卷積網(wǎng)絡的商品識別方法，其特征在于：包括以下步驟：

1)使用3D掃描儀對零售商店內(nèi)銷售的所有商品進行掃描，獲得所有商品的3D模型，使用物理引擎模擬3D模型從高處跌落到平面的場景，虛擬相機拍攝跌落到平面上的3D模型得到訓練圖片，根據(jù)3D模型的頂點信息和相機的內(nèi)外參數(shù)獲得每個3D模型在訓練圖片的最小外接矩形生成訓練標簽，訓練圖片和訓練標簽組成了訓練集；

2)在訓練階段，建立深度全卷積網(wǎng)絡，將訓練集先進行數(shù)據(jù)增強后輸入到深度全卷積網(wǎng)絡，深度全卷積網(wǎng)絡通過前向傳播輸出訓練圖片中物體中心位置的熱力圖，根據(jù)標簽信息計算損失值，通過梯度下降和反向傳播減少損失值，不斷迭代訓練深度全卷積網(wǎng)絡，直到損失值收斂不再下降，完成深度全卷積網(wǎng)絡的訓練；

3)在測試階段，將訓練好的深度全卷積網(wǎng)絡部署在深度學習服務器上，將測試商品以隨機姿勢擺放在載物臺上，在載物臺正上方安裝攝像頭，將攝像頭正對載物臺，使攝像頭能夠完整捕捉采集到載物臺上測試商品的RGB圖像；將攝像頭捕捉到的RGB圖像傳輸?shù)缴疃葘W習服務器，深度全卷積網(wǎng)絡接收測試商品的RGB圖像作為輸入，輸出RGB圖像中所有商品物體中心點熱力圖，通過后處理得到各個商品物體的類別及中心點位置；

4)當出現(xiàn)新增商品時，先掃描得到3D模型，然后與之前的3D模型一起使用步驟1)中提到的方法生成新的訓練集，使用新的訓練集對之前訓練好的目標檢測深度全卷積網(wǎng)絡進行微調(diào)訓練，重新訓練得到新的深度全卷積網(wǎng)絡；將舊的深度全卷積網(wǎng)絡替換為新的深度全卷積網(wǎng)絡并部署到深度學習服務器上。

2.根據(jù)權利要求1所述的一種基于物理引擎和深度全卷積網(wǎng)絡的商品識別方法，其特征在于：所述的步驟1)中，使用物理引擎模擬3D模型從高處跌落到平面的場景具體是指：在三維動畫制作軟件中新建一個平面模擬載物臺，將3D模型導入三維動畫制作軟件，將3D模型的位置隨機初始化在平面的上方空間，3D模型姿勢也進行隨機初始化，使用三維動畫制作軟件內(nèi)置的物理引擎模擬3D模型從半空中跌落到平面。

3.根據(jù)權利要求1所述的一種基于物理引擎和深度全卷積網(wǎng)絡的商品識別方法，其特征在于：所述的步驟1)中，使用虛擬相機拍攝跌落到平面上的3D模型得到訓練圖片具體是指：將三維動畫制作軟件內(nèi)置的虛擬相機放置在平面的正上方，相機正對平面。隨機調(diào)整相機的高度，但必須保證平面上所有物體都在相機的視野當中。隨機調(diào)整相機分辨率的寬高比，來模擬現(xiàn)實場景中不同相機內(nèi)參造成的不同成像。

4.根據(jù)權利要求1所述的一種基于物理引擎和深度全卷積網(wǎng)絡的商品識別方法，其特征在于：所述的步驟1)中，根據(jù)3D模型的頂點信息和相機的內(nèi)外參數(shù)獲得每個3D模型在訓練圖片的最小外接矩形生成訓練標簽，具體是，3D模型的所有頂點集合為矩陣P，虛擬相機的外參矩陣為R，虛擬相機的內(nèi)參矩陣為K，所有頂點在圖像坐標系中的2D坐標為K R P，通過計算所有2D點橫、縱坐標的范圍得到每個3D模型在訓練圖片的最小外接矩形信息。

5.根據(jù)權利要求1所述的一種基于物理引擎和深度全卷積網(wǎng)絡的商品識別方法，其特征在于：所述步驟2)中，深度全卷積網(wǎng)絡訓練的標簽信息是根據(jù)每個最小外接矩形的長寬和中心點位置及其中包含的商品類別所生成，根據(jù)標簽信息生成熱力圖，熱力圖的長、寬與輸入圖片的大小相同，通道數(shù)為訓練集中物體類別總數(shù)；對于圖片中的一個商品物體，根據(jù)記錄的標簽信息計算最小外接矩形的中心點，假設最小外接矩形的中心點為(p_x,p_y)，使用一個高斯核將最小外接矩形的中心點分布到熱力圖上，高斯核的定義如下：

其中，σ_p是與物體最小外接矩形長、寬相關的標準差，(x,y)表示熱力圖上像素的坐標，Y_xy表示熱力圖上坐標為(x，y)處的值；深度全卷積網(wǎng)絡預測的熱力圖和標簽信息生成的熱力圖之間采用Smooth L1損失作為損失函數(shù)，使用Adam優(yōu)化器，初始學習率為0.001，每訓練20個回合學習率衰減為原來的二分之一，直到損失值收斂，完成模型訓練。