[發明專利]分揀行為檢測方法、系統、電子裝置和存儲介質

在審

• 申請號: 202011472670.5
• 申請日: 2020-12-15
• 公開（公告）號: CN112668410A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 鄭雷
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06T17/00
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 聶磊

1.一種分揀行為檢測方法，其特征在于，包括：

獲取在分揀作業區域中分揀作業主體和被分揀對象產生交互的第一圖像幀序列；

獲取所述分揀作業區域的多個第二圖像幀序列，其中，所述第二圖像幀序列包括在多個視角下拍攝所述分揀作業區域得到的圖像，且所述第二圖像幀序列和所述第一圖像幀序列逐幀對齊；

對所述第一圖像幀序列和所述第二圖像幀序列進行三維場景重建處理，得到以所述被分揀對象和所述分揀作業主體作為前景的三維重建信息；

分別從所述三維重建信息中提取所述被分揀對象的運動特征和所述三維重建信息的全局特征；

拼接所述運動特征和所述全局特征，并采用分類器對拼接后的特征進行分類，得到所述分揀作業主體是否產生預設分揀行為的分類結果，所述預設分揀行為包括所述分揀作業主體暴力拋擲所述被分揀對象的暴力分揀行為或者所述分揀作業主體非暴力拋擲所述被分揀對象的非暴力分揀行為。

2.根據權利要求1所述的分揀行為檢測方法，其特征在于，對所述第一圖像幀序列和所述第二圖像幀序列進行三維場景重建處理，得到以所述被分揀對象和所述分揀作業主體作為前景的三維重建信息包括：

將所述第一圖像幀序列和所述第二圖像幀序列拆解成幀圖像，并將所述第一圖像幀序列和所述第二圖像幀序列的幀圖像對齊；

采用三維場景重建模型將對齊之后的幀圖像進行三維場景重建處理，得到以所述被分揀對象和所述分揀作業主體作為前景的三維重建信息，其中，所述三維重建信息包括對應于每個點的位置信息和RGB信息。

3.根據權利要求2所述的分揀行為檢測方法，其特征在于，采用三維場景重建模型將對齊之后的幀圖像進行三維場景重建處理，得到以所述被分揀對象和所述分揀作業主體作為前景的三維重建信息包括：

在所述三維場景重建模型中采用預訓練形式處理所述對齊之后的幀圖像，其中，所述三維場景重建模型采用的訓練函數包括像素對齊隱式函數，所述三維場景重建模型采用的監督信息包括所述分揀作業區域的深度圖像。

4.根據權利要求1所述的分揀行為檢測方法，其特征在于，從所述三維重建信息中提取所述被分揀對象的運動特征包括：

根據所述第一圖像幀序列和所述第二圖像幀序列，獲取對應于所述三維重建信息的時序信息；

采用第一三維時序卷積模型處理所述三維重建信息和所述時序信息，得到所述被分揀對象的運動特征，其中，所述第一三維時序卷積模型采用的監督信息包括所述被分揀對象是否發生運動的二值信號。

5.根據權利要求4所述的分揀行為檢測方法，其特征在于，采用第一三維時序卷積模型處理所述三維重建信息和所述時序信息，得到所述被分揀對象的運動特征包括：

在所述第一三維時序卷積模型中采用預訓練形式處理所述三維重建信息和所述時序信息，其中，包括：刪除所述第一三維時序卷積模型中最后一層神經元輸出的二值信號，提取所述第一三維時序卷積模型中倒數第二層神經元的輸出結果，得到所述被分揀對象的運動特征。

6.根據權利要求1所述的分揀行為檢測方法，其特征在于，從所述三維重建信息中提取所述全局特征包括：

采用第二三維時序卷積模型處理所述三維重建信息，提取所述全局特征，其中，所述第二三維時序卷積模型采用的監督信息包括所述分揀作業主體是否發生暴力分揀行為的二值信號。

7.根據權利要求6所述的分揀行為檢測方法，其特征在于，在采用第二三維時序卷積模型處理所述三維重建信息，提取所述全局特征之前，所述方法還包括：

同時訓練所述第二三維時序卷積模型和所述分類器，所述第二三維時序卷積模型和所述分類器采用的監督信息均包括所述分揀作業主體是否發生暴力分揀行為的二值信號。