[發明專利]一種基于孿生神經網絡的智能貨物監管方法及系統

有效

• 申請號: 202111389358.4
• 申請日: 2021-11-23
• 公開（公告）號: CN113821674B
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 羅遠哲;劉瑞景;李玉瓊;王玲潔;呂雪萍;楊京;丁京;李連庚;閆路博
• 申請（專利權）人: 北京中超偉業信息安全技術股份有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06V20/20;G06V10/22;G06V10/74;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 杜陽陽

本發明涉及一種基于孿生神經網絡的智能貨物監管方法及系統。該方法包括獲取待檢測的貨架圖像；所述待檢測的貨架圖像基于工業相機拍攝倉儲內每個貨架的圖像；在標準貨架圖像庫中進行檢索，獲取所述待檢測的貨架圖像對應的標準貨架圖像；所述標準貨架圖像為貨架處于滿倉狀態，且貨物陳列符合設定要求；根據所述待檢測的貨架圖像以及對應的標準貨架圖像，采用訓練好的貨物識別網絡模型確定待檢測的貨架圖像的檢測結果；所述檢測結果包括：各類貨物的庫存量和所在位置、貨架上的空閑倉位數量以及貨物是否符合倉儲的擺放要求；本發明實現倉儲貨物的智能化監管。

技術領域

本發明涉及人工智能技術領域，特別是涉及一種基于孿生神經網絡的智能貨物監管方法及系統。

背景技術

智能倉儲作為現代物流產業發展的核心環節，對推動中國物流產業的智慧化升級起著至關重要的作用。然而現存的倉儲系統在入庫貨物的監管等方面普遍存在效率低下、出錯率高等問題，嚴重阻礙了倉儲系統的智能化發展，因此亟需一種高效可靠的智能化貨物監管方法。

發明內容

本發明的目的是提供一種基于孿生神經網絡的智能貨物監管方法及系統，實現倉儲貨物的智能化監管。

為實現上述目的，本發明提供了如下方案：

一種基于孿生神經網絡的智能貨物監管方法，包括：

獲取待檢測的貨架圖像；所述待檢測的貨架圖像基于工業相機拍攝倉儲內每個貨架的圖像；

在標準貨架圖像庫中進行檢索，獲取所述待檢測的貨架圖像對應的標準貨架圖像；所述標準貨架圖像為貨架處于滿倉狀態，且貨物陳列符合設定要求；

根據所述待檢測的貨架圖像以及對應的標準貨架圖像，采用訓練好的貨物識別網絡模型確定待檢測的貨架圖像的檢測結果；所述檢測結果包括：各類貨物的庫存量和所在位置、貨架上的空閑倉位數量以及貨物是否符合倉儲的擺放要求；

根據所述待檢測的貨架圖像以及對應的標準貨架圖像，采用訓練好的貨物識別網絡模型確定待檢測的貨架圖像的檢測結果的過程為：

利用訓練好的貨物識別網絡模型中的ResNet50網絡提取所述待檢測的貨架圖像以及對應的標準貨架圖像的貨物特征；

利用訓練好的貨物識別網絡模型中的特征金字塔網絡FPN進行貨物特征的特征融合和分層檢測操作；

依次利用訓練好的貨物識別網絡模型中的區域建議網絡和ROI Pooling層輸出一系列相同尺寸的候選區域特征圖；

將候選區域特征圖分別輸入兩層全連接層進行特征提取和分類后，再分別輸入回歸支路和分類支路，確定候選區域特征圖所屬的貨物類別以及在貨架上的位置信息；

根據候選區域特征圖以及相應的位置信息，采用CNet網絡，確定待檢測的貨架圖像中各貨物在貨架上的儲位編碼；所述儲位編碼用于判斷貨物是否符合倉儲的擺放要求；所述CNet網絡包括：依次連接的兩個卷積核為1*1的卷積層、一個全連接層和一個損失層；

根據候選區域特征圖所屬的貨物類別以及在貨架上的位置信息確定各類貨物的庫存量以及貨架上的空閑倉位數量；

根據待檢測的貨架圖像中各貨物在貨架上的儲位編碼判斷貨物是否符合倉儲的擺放要求。

可選地，所述在標準貨架圖像庫中進行檢索，獲取所述待檢測的貨架圖像對應的標準貨架圖像，之前還包括：

構建倉儲貨物檢測數據集；所述倉儲貨物檢測數據集包括：標準貨架圖像庫、常規貨架圖像庫以及各圖像對應的標注文件；所述常規貨架圖像庫為基于工業相機拍攝倉儲內每個貨架的圖像；所述標注文件為采用Labelme軟件進行圖像標注，在每張貨架圖像中標注出每個貨物的類別、儲位編碼及位置框；

利用倉儲貨物檢測數據集訓練貨物識別網絡模型，確定訓練好的貨物識別網絡模型。