[發明專利]一種部件裝配的檢測方法、裝置、系統及介質

在審

• 申請號: 202211145712.3
• 申請日: 2022-09-20
• 公開（公告）號: CN116091812A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 陳智超;陳冉;龐微;陸峰;查文陸;徐鵬;楊耀坤
• 申請（專利權）人: 上海飛機制造有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06T7/00;G06T7/73;G06N3/0464;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孔凡紅

1.一種部件裝配的檢測方法，其特征在于，所述方法包括：

獲取部件裝配圖像；

對所述部件裝配圖像進行目標對象檢測，確定至少一類目標對象的檢測結果；其中，所述目標對象包括部件和/或手部；

根據至少一類目標對象的檢測結果，確定至少一類目標對象圖像；

確定各目標對象圖像的至少一個檢測結果；

根據至少一個檢測結果，確定部件裝配的檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述確定各目標對象圖像的至少一個檢測結果，包括：

根據部件圖像，確定部件類型識別結果；

基于預先訓練的卷積神經網絡，確定所述部件圖像的第一特征，并根據所述部件類型識別結果，確定與所述部件圖像匹配的第二特征；

根據所述第一特征和第二特征，確定部件姿態檢測結果；其中，所述部件姿態檢測結果包括部件空間坐標和部件旋轉信息。

3.根據權利要求2所述的方法，其特征在于，所述第一特征為二維特征，所述第二特征為三維特征；

所述根據所述部件類型識別結果，確定與所述部件圖像匹配的第二特征，包括：

根據所述部件類型識別結果，在預先獲取的三維點云數據集合中確定目標點云數據；

基于點云分割模型，對所述目標點云數據進行處理，確定與所述部件圖像匹配的三維特征。

4.根據權利要求2所述的方法，其特征在于，所述確定各目標對象圖像的至少一個檢測結果，包括：

根據手部圖像，確定關節點檢測結果；

根據所述關節點檢測結果，確定裝配手勢檢測結果。

5.根據權利要求4所述的方法，其特征在于，所述關節點檢測結果包括關節點位置數據；

所述根據手部圖像，確定關節點檢測結果，包括：

基于關節點檢測模型，對手部圖像進行處理，確定關節點位置數據；

所述根據所述關節點檢測結果，確定裝配手勢檢測結果，包括：

基于手勢分類模型，對所述關節點位置數據進行處理，確定裝配手勢檢測結果。

6.根據權利要求4所述的方法，其特征在于，所述根據至少一個檢測結果，確定部件裝配的檢測結果，包括：

根據所述部件類型識別結果、所述部件姿態檢測結果和所述裝配手勢檢測結果中的至少一個，確定部件裝配的檢測結果。

7.根據權利要求1所述的方法，其特征在于，所述獲取部件裝配圖像，包括：

獲取虛擬現實設備采集的部件裝配圖像；其中，所述虛擬現實設備由裝配人員佩戴；

在根據各檢測結果，確定部件裝配的檢測結果之后，所述方法還包括：

若部件裝配的檢測結果為存在裝配錯誤，則根據所述檢測結果生成告警提示信息，發送至所述虛擬現實設備。

8.一種部件裝配的檢測裝置，其特征在于，所述裝置包括：

裝配圖像獲取模塊，用于獲取部件裝配圖像；

目標對象檢測模塊，用于對所述部件裝配圖像進行目標對象檢測，確定至少一類目標對象的檢測結果；其中，所述目標對象包括部件和/或手部；

目標對象圖像確定模塊，用于根據至少一類目標對象的檢測結果，確定至少一類目標對象圖像；

圖像檢測結果確定模塊，用于確定各目標對象圖像的至少一個檢測結果；

裝配檢測結果確定模塊，用于根據至少一個檢測結果，確定部件裝配的檢測結果。

9.一種部件裝配檢測系統，其特征在于，所述系統包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-7中任一項所述的部件裝配的檢測方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使處理器執行時實現權利要求1-7中任一項所述的部件裝配的檢測方法。