[發明專利]一種基于深度學習的裝配監測方法、設備及可讀存儲介質

有效

• 申請號: 201910131395.1
• 申請日: 2019-02-22
• 公開（公告）號: CN109816049B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 陳成軍;張春林;李東年;洪軍
• 申請（專利權）人: 青島理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 福州科揚專利事務所 35001
• 代理人: 羅立君

本發明涉及一種基于深度學習的裝配監測方法，包括如下步驟：創建物理裝配體的訓練集，訓練集包括多個監測角度下的3D裝配體的深度圖像集D_i和標簽圖像集L_i，其中i表示裝配步驟，第i步的深度圖像集D_i對應第i步的標簽圖像集L_i，標簽圖像集L_i中的標簽圖像用不同顏色渲染3D裝配體的不同零件；利用訓練集訓練深度學習網絡模型；通過深度相機獲取物理裝配場景下的物理裝配體深度圖像C，并將該物理裝配體深度圖像C輸入深度學習網絡模型，輸出物理裝配體的像素分割圖像，像素分割圖像通過像素顏色表征不同零件，識別出物理裝配體的各零件。本發明不僅能夠識別裝配體的各零件，還能監測裝配步驟以及各零件是否裝配出錯、出錯類型。

技術領域

本發明涉及一種基于深度學習的裝配監測方法、設備及可讀存儲介質，屬于基于圖像處理的計算機監測領域。

背景技術

個性化定制是制造業發展的主要趨勢之一。目前，在我國機械裝配行業自動化水平不高，在大量個性化定制產品及復雜機械產品裝配過程中，仍然以人工裝配為主。由于產品類型頻繁變換，零部件數量多，工藝和裝配精度要求較高。在裝配過程中，極易出現零件漏裝、裝配順序錯誤等諸多現象，影響了產品裝配質量和效率。為了更好的適應制造業的新形勢，適應大批量個性化定制產品的需求，傳統的裝配車間急需一種智能化的裝配監測系統，能夠智能識別裝配體各零件并監測裝配過程。

另一方面，在復雜產品裝配中，各部件的裝配進度不協調，造成產品總裝時部分部件不能齊套，影響了生產效率，因此同樣需要監測各部件的裝備進度，協調部件之間的裝配進度，提高裝配效率。

公開號為CN108491776A的發明專利《基于像素分類的裝配體零件識別方法、裝置及監測系統》公開了通過訓練隨機森林模型進行零件識別，其訓練過程需要人為設計深度差分特征，無法自動學習特征，且該技術方案僅能夠實現零件識別，判斷零件是否出錯，無法進一步監測零件裝配位置和裝配順序是否出錯，因而無法及時發現漏裝錯裝。

發明內容

為了解決上述技術問題，本發明提供一種基于深度學習的裝配監測方法，其不僅能夠識別裝配體的各零件，還能監測裝配過程中裝配步驟以及各零件是否裝配出錯、出錯類型。

本發明的技術方案如下：

一種基于深度學習的裝配監測方法，包括如下步驟：

創建物理裝配體的訓練集，所述訓練集包括多個監測角度下的3D裝配體的深度圖像集D_i和標簽圖像集L_i，其中i表示裝配步驟，第i步的深度圖像集D_i對應第i步的標簽圖像集L_i，所述標簽圖像集L_i中的標簽圖像用不同顏色渲染3D裝配體的不同零件；所述監測角度是指深度相機與被監測裝配體之間形成的視角，深度相機在原位且在預設轉動范圍內改變拍攝角度，形成所述多個監測角度；所述3D裝配體為物理裝配體的3D模型；利用所述訓練集訓練深度學習網絡模型；通過深度相機獲取物理裝配場景下的物理裝配體深度圖像C，并將該物理裝配體深度圖像C輸入所述深度學習網絡模型，輸出物理裝配體的像素分割圖像，所述像素分割圖像通過像素顏色表征不同零件，識別出物理裝配體的各零件。