[發明專利]一種用于立體倉庫的貨物包裝箱識別方法及系統

在審

• 申請號: 202110628600.2
• 申請日: 2021-06-07
• 公開（公告）號: CN113392747A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 李繼凱
• 申請（專利權）人: 北京優創新港科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 成都余行專利代理事務所(普通合伙) 51283
• 代理人: 羅小雨

1.一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述方法包括以下步驟：

步驟一，包裝箱圖像采集，通過位于倉庫貨物搬運裝置上方的攝像頭實時采集貨物運過程中的包裝箱圖像；

步驟二，包裝箱角點檢測，將所述包裝圖像輸入包裝箱角點檢測模型中，得到標記了所述包裝箱圖像中所有包裝箱角點的角點檢測圖像；

步驟三，包裝箱對齊矯正，將所述角點檢測圖像輸入包裝箱對齊矯正模型中，輸出所述角點檢測圖像中每一個包裝箱所對應的圖像；

步驟四，包裝箱分類識別，將經過所述步驟三處理得到的每一個包裝箱所對應的圖像輸入到包裝箱分類識別模型中，得到所述包裝箱圖像中每一個包裝箱類別；

還包括所述包裝箱角點檢測模型及所述包裝箱分類識別模型訓練步驟。

2.根據權利要求1所述的一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述包裝箱角點檢測模型用于對所述包裝箱圖像中所有包裝箱的角點進行識別，得到角點坐標，并對所述角點進行分類，將屬于同一包裝箱的角點標記為同一類型。

3.根據權利要求2所述的一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述包裝箱角點檢測模型由一個端到端的檢測神經網絡組成，所述神經網絡包括特征提取模塊和四個單角點預測模塊；所述特征提取模塊用于提取整個圖像的特征用于后續的單個角點預測；所述四個單角點預測模塊分別為左上角預測模塊、左下角預測模塊、右上角預測模塊、右下角預測模塊；所述單角點預測模用于預測角點的坐標，每個所述單角點預測模塊包含一個角點池化層，用于生成角點熱力圖、角點嵌入向量和角點偏差。所述角點熱力圖用于獲得屬于同一包裝箱的預測角點；所述角點嵌入向量用于判斷所述預測角點是否屬于同一包裝箱，得到屬于同一包裝箱的左上角、左下角、右上角和右下角的角點坐標；通過所述角點偏差使得所述屬于同一包裝箱的左上角、左下角、右上角和右下角的角點坐標得到的框更加緊貼包裝箱的邊框。

4.根據權利要求3所述的一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述特征提取模塊是由至少1個沙漏狀神經網絡組成。

5.根據權利要求1所述的一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述包裝箱對齊模型的變換公式如下，

其中，u,v代表所述角點檢測圖像坐標，x,y為經過變換獲得的圖片坐標；變換矩陣為3*3，它可以拆分為四個部分[a₁₁,a₁₂,a₂₁,a₂₂]為線性變換的矩陣，[a₃₁,a₃₂]為平移矩陣，這兩個矩陣等價于透視變換的變換矩陣；[a₁₃,a₂₃]^T為產生透視變換的矩陣，因此變換公式也可以表示為，

6.根據權利要求1所述的一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述包裝箱分類識別模型中，得到的所述包裝箱類別為所述包裝箱對應的產品的類別。

7.根據權利要求6所述的一種用于立體倉庫的貨物包裝箱識別方法，其特征在于，所述包裝箱分類識別模型采用卷積神經的殘差結構。

8.一種用于立體倉庫的貨物包裝箱識別系統，其特征在于，該系統包括：

包裝箱圖像采集模塊，用于通過位于倉庫貨物搬運裝置上方的攝像頭實時采集貨物運過程中的包裝箱圖像；

包裝箱角點檢測模塊，用于通過包裝箱角點檢測模型，獲取標記了所述包裝箱圖像中所有包裝箱角點的角點檢測圖像；

包裝箱對齊矯正模塊，用于獲取所述角點檢測圖像中每一個包裝箱所對應的圖像；

包裝箱分類識別模塊，用于通過包裝箱分類識別模型，獲取所述包裝箱圖像中每一個包裝箱類別；

包裝箱角點檢測模型訓練模塊，用于所述包裝箱角點檢測模型的訓練；

包裝箱分類識別模型訓練模塊，用于所述包裝箱分類識別模型的訓練。