[發明專利]料箱狀態的監控方法及裝置、自動投料系統

在審

• 申請號: 202010062091.7
• 申請日: 2020-01-19
• 公開（公告）號: CN111274951A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 孫偉
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本發明提供了一種料箱狀態的監控方法及裝置、自動投料系統，涉及機器視覺技術領域，該方法包括：獲取料箱圖像；利用預先訓練得到的神經網絡模型對料箱圖像進行識別，得到料箱的開口區域和料箱中的物體占用區域；基于料箱的開口區域和料箱中的物體占用區域確定料箱的當前狀態；其中，料箱的當前狀態包括裝滿狀態、未裝滿狀態和空箱狀態。本發明能夠自動識別料箱的狀態，在節約人力成本的基礎上也更為高效便捷。

技術領域

本發明涉及機器視覺技術領域，尤其是涉及一種料箱狀態的監控方法及裝置、自動投料系統。

背景技術

隨著自動化倉儲技術的日漸發展，智能搬運機器人在自動倉儲中的應用也越來越多，智能搬運機器人具有高自動化、高靈活性的特點，可以實現對倉庫物品的分揀和運輸，諸如使用智能搬運機器人向料箱投遞物品，然而，由于裝載物品的料箱空間有限，通常需要人為監控料箱的狀態，并在料箱裝滿時人為更換料箱。為了確保在料箱裝滿時能夠及時更換料箱，通常需要安排專門的監督人員監控料箱的狀態，費時費力，耗費的人力成本較高。

發明內容

有鑒于此，本發明的目的在于提供一種料箱狀態的監控方法及裝置、自動投料系統，能夠自動識別料箱的狀態，在節約人力成本的基礎上也更為高效便捷。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明實施例提供了一種料箱狀態的監控方法，所述方法包括：利用預先訓練得到的神經網絡模型對料箱圖像進行識別，得到所述料箱的開口區域和所述料箱中的物體占用區域；基于所述料箱的開口區域和所述料箱中的物體占用區域確定所述料箱的當前狀態；其中，所述料箱的當前狀態包括裝滿狀態、未裝滿狀態和空箱狀態。

進一步，本發明實施例提供了第一方面的第一種可能的實施方式，還包括：通過圖像采集裝置實時或按照預設時間間隔采集傳輸履帶上的料箱的圖像，得到所述料箱圖像；其中，所述圖像采集裝置設置于所述傳輸履帶上方的指定位置。

進一步，本發明實施例提供了第一方面的第二種可能的實施方式，其中，所述利用預先訓練得到的神經網絡模型對所述料箱圖像進行識別，得到所述料箱的開口區域和所述料箱中的物體占用區域的步驟，包括：利用預先訓練得到的第一神經網絡模型對所述料箱圖像進行識別，得到所述料箱的開口區域；利用預先訓練得到的第二神經網絡模型對所述料箱圖像進行識別，得到所述料箱中的物體占用區域；其中，所述第一神經網絡模型和所述第二神經網絡模型均是基于預先標注后的料箱圖像訓練得到的。

進一步，本發明實施例提供了第一方面的第三種可能的實施方式，其中，所述方法還包括：基于標注有料箱頂角信息的第一料箱圖像訓練集對待訓練的第一神經網絡模型中進行訓練，得到訓練后的第一神經網絡模型；基于標注有物體信息的第二料箱圖像訓練集對待訓練的第二神經網絡模型中進行訓練，得到訓練后的第二神經網絡模型；其中，所述物體信息包括所述料箱中的物體覆蓋區域。

進一步，本發明實施例提供了第一方面的第四種可能的實施方式，其中，所述利用預先訓練得到的第一神經網絡模型對所述料箱圖像進行識別，得到所述料箱的開口區域的步驟，包括：利用預先訓練得到的第一神經網絡模型識別所述料箱圖像中所述料箱的各個頂角，并得到所述各個頂角的頂點坐標；根據各個所述頂點坐標組成的多邊形得到所述料箱的開口區域；所述料箱的開口區域包括組成所述多邊形的像素。

進一步，本發明實施例提供了第一方面的第五種可能的實施方式，其中，所述第二神經網絡模型為全卷積神經網絡；所述利用預先訓練得到的第二神經網絡模型對所述料箱圖像進行識別，得到所述料箱中的物體占用區域的步驟，包括：利用預先訓練得到的第二神經網絡模型識別所述料箱圖像中的物體，將識別出的所述物體的覆蓋區域確定為所述料箱中的物體占用區域。