[發明專利]一種基于多視角特征的工件識別方法和裝置

有效

• 申請號: 202110377328.5
• 申請日: 2021-04-08
• 公開（公告）號: CN113191207B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 譚毅華;王鵬學;熊勝洲
• 申請（專利權）人: 華中科技大學;深圳華中科技大學研究院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V20/64;G06V10/82;G06N3/04;G06T5/00;G06T7/11
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 王穎翀

1.一種基于多視角特征的工件識別方法，其特征在于，包括：

S1：對攜帶目標工件的場景圖像進行濾波、分割和點云化獲得所述目標工件對應的待識別點云數據集；

S2：分別將三維模型圖像數據集和所述待識別點云數據集在多個視角下進行渲染，得到三維模型多視角點云數據集和待識別多視角點云數據集；

S3：利用所述三維模型多視角點云數據集對工件類型識別網絡進行訓練，訓練完成后得到目標深度神經網絡；

S4：將所述待識別多視角點云數據集輸入到所述目標深度神經網絡，得到所述目標工件的類型識別結果；

所述S3包括：

S31：將所述三維模型圖像數據集中各個樣本點云輸入所述工件類型識別網絡；所述工件類型識別網絡包括依次級聯的多層感知機、Max-Pooling層、View-Pooling層和全連接層；

S32：利用所述多層感知機將每個視角的所述點云樣本輸入至權重共享的卷積層，以對各個視角的所述點云樣本進行特征提取；

S33：利用所述Max-Pooling層聚集高維空間中各個視角的所有點云樣本的特征，得到各個視角對應的全局特征向量；

S34：利用所述View-Pooling層將各視角對應的全局特征向量聚合成高維全局特征；

S35：利用所述全連接層中softmax函數對所述高維全局特征進行分類、利用交叉熵損失函數和Adam優化方法進行有監督訓練，以輸出多個候選類型及其概率；從而將所述工件類型識別網絡訓練成所述目標深度神經網絡。

2.如權利要求1所述的基于多視角特征的工件識別方法，其特征在于，所述S1包括：

S11：對所述場景圖像進行條件濾波、體素濾波和統計濾波得到濾波圖像；

S12：基于隨機采樣一致性的平面模型分割方法對所述濾波圖像進行處理，以將所述目標工件從所述場景圖像中分割出來得到目標圖像；

S13：采用點云庫將所述目標圖像轉換成所述待識別點云數據集。

3.如權利要求2所述的基于多視角特征的工件識別方法，其特征在于，所述S11包括：

利用所述條件濾波過濾工作平臺范圍外的無關點云數據；

利用所述體素濾波對所述工作平臺范圍內的點云數據進行下采樣，得到稀疏點云數據；

利用所述統計濾波來過濾所述稀疏點云數據中的噪聲點，得到所述濾波圖像。

4.如權利要求1所述的基于多視角特征的工件識別方法，其特征在于，所述S2包括：

S21：分別將所述三維模型圖像數據集和所述待識別點云數據集作為待處理CAD模型；

S22：從不同預設視角拍攝所述待處理CAD模型的部分視圖，得到所述三維模型多視角點云數據集和所述待識別多視角點云數據集。

5.如權利要求4所述的基于多視角特征的工件識別方法，其特征在于，所述S22包括：

當所述預設視角為一個圍繞在所述待處理CAD模型外由正三角形組成的二十面體時，從所述二十面體的每個頂點或者每個面拍攝所述待處理CAD模型，得到所述待處理CAD模型對應的多視角點云數據集；

所述待處理CAD模型對應的多視角點云數據集為所述三維模型多視角點云數據集或所述待識別多視角點云數據集。

6.如權利要求1所述的基于多視角特征的工件識別方法，其特征在于，所述S34包括：

利用所述View-Pooling層將各視角對應的所述全局特征向量取平均值，以聚合成所述高維全局特征。