[發(fā)明專利]用于AI卸垛的失敗檢測和恢復(fù)

在審

• 申請?zhí)枺?/td>: 202310045300.0
• 申請日: 2023-01-30
• 公開（公告）號(hào): CN116543379A
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 湯特;加藤哲朗
• 申請（專利權(quán)）人: 發(fā)那科株式會(huì)社
• 主分類號(hào): G06V20/64
• 分類號(hào): G06V20/64;G06V10/26;G06V10/40;G06V10/24;G06V10/82;G06N3/08
• 代理公司: 北京華夏正合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11017
• 代理人: 韓登營

1.一種用于識(shí)別和校正一組多個(gè)對象的圖像中的不準(zhǔn)確描繪的對象的方法，所述方法包括：

使用3D相機(jī)獲得所述多個(gè)對象的2D紅-綠-藍(lán)(RGB)彩色圖像；

使用所述3D相機(jī)獲得所述多個(gè)對象的2D深度圖圖像，其中所述深度圖圖像中的像素被分配識(shí)別從所述相機(jī)到所述多個(gè)對象的距離的值；

處理所述RGB圖像和所述深度圖圖像以生成所述多個(gè)對象的處理的圖像；

分析所述處理的圖像以確定在所述處理的圖像中是否準(zhǔn)確地描繪所述多個(gè)對象；

如果分析所述處理的圖像確定處理所述RGB圖像和所述深度圖圖像未能在所述處理的圖像中準(zhǔn)確地描繪所述多個(gè)對象，則將所述處理的圖像發(fā)送到用戶界面，所述用戶界面允許用戶校正所述處理的圖像；

存儲(chǔ)準(zhǔn)確的處理的圖像、失敗的處理的圖像和校正的處理的圖像；

使用所存儲(chǔ)的準(zhǔn)確的處理的圖像、失敗的處理的圖像和校正的處理的圖像來訓(xùn)練所述RGB圖像和所述深度圖圖像的處理；以及

將經(jīng)訓(xùn)練的處理的圖像應(yīng)用于新的RGB和深度圖圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)對象是多個(gè)箱子，并且其中，處理所述RGB圖像和所述深度圖圖像包括通過執(zhí)行圖像分割過程使用神經(jīng)網(wǎng)絡(luò)來生成所述多個(gè)箱子的分割圖像，所述圖像分割過程從所述RGB圖像提取特征，并且通過向所述RGB圖像中的像素分配標(biāo)簽使得所述分割圖像中的每個(gè)箱子具有相同的標(biāo)簽并且所述分割圖像中的不同箱子具有不同的標(biāo)簽來分割所述多個(gè)箱子。

3.根據(jù)權(quán)利要求2所述的方法，其中，分析所述處理的圖像包括通過分析所述分割圖像中的所述多個(gè)箱子的標(biāo)簽以確定所述分割圖像中的箱子是否尚未被不同的標(biāo)簽標(biāo)識(shí)來識(shí)別遺漏的檢測的箱子。

4.根據(jù)權(quán)利要求3所述的方法，其中，生成分割圖像包括提供圍繞所述分割圖像中的每個(gè)被貼標(biāo)簽的箱子的邊界框，并且其中，所述分割圖像中的尚未被不同的標(biāo)簽標(biāo)識(shí)的箱子不具有邊界框。

5.根據(jù)權(quán)利要求4所述的方法，其中，分析所述分割圖像中的所述多個(gè)箱子的標(biāo)簽包括對來自所述深度圖圖像的每個(gè)邊界框內(nèi)的具有相同距離值的像素進(jìn)行計(jì)數(shù)，且如果存在超過預(yù)定閾值的一個(gè)以上像素計(jì)數(shù)，則確定所述邊界框內(nèi)存在一個(gè)以上箱子。

6.根據(jù)權(quán)利要求2所述的方法，其中，分析所述處理的圖像包括識(shí)別部分分割的箱子。

7.根據(jù)權(quán)利要求6所述的方法，其中，生成分割圖像包括為圍繞所述分割圖像中的每個(gè)箱子的多個(gè)邊界框提供每個(gè)邊界框識(shí)別所述分割圖像中的箱子的不同的置信度，并且其中，分析所述分割圖像包括觀察圍繞所述分割圖像中的每個(gè)箱子的所述多個(gè)邊界框的重疊相交比，其中，預(yù)定的低相交比指示圖像中的部分分割的箱子。

8.根據(jù)權(quán)利要求1所述的方法，其中，生成分割圖像包括提供圍繞所述分割圖像中的每個(gè)箱子的邊界框，并且其中，分析所述分割圖像包括通過查看所述分割圖像中的每個(gè)邊界框的尺寸以確定邊界框是大于最大尺寸的箱子還是小于所述最小尺寸的箱子，來識(shí)別所述分割圖像中的分割的箱子是大于還是小于預(yù)定的最大尺寸或最小尺寸的箱子。

9.根據(jù)權(quán)利要求1所述的方法，其中分析所述處理的圖像包括通過在所述多個(gè)箱子被放置在空運(yùn)貨板上之前獲得所述空運(yùn)貨板的深度圖圖像來識(shí)別所述空運(yùn)貨板，將所述空運(yùn)貨板深度圖圖像與來自所述3D相機(jī)的所述深度圖圖像進(jìn)行比較，并且如果閾值以上的足夠像素指示相同距離，則識(shí)別所述空運(yùn)貨板。