[發明專利]一種基于深度學習的裝配監測方法、設備及可讀存儲介質

有效

• 申請號: 201910131395.1
• 申請日: 2019-02-22
• 公開（公告）號: CN109816049B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 陳成軍;張春林;李東年;洪軍
• 申請（專利權）人: 青島理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 福州科揚專利事務所 35001
• 代理人: 羅立君

1.一種基于深度學習的裝配監測方法，其特征在于，包括如下步驟：

創建物理裝配體的訓練集，所述訓練集包括多個監測角度下的3D裝配體的深度圖像集D_i和標簽圖像集L_i，其中i表示裝配步驟，第i步的深度圖像集D_i對應第i步的標簽圖像集L_i，所述標簽圖像集L_i中的標簽圖像用不同顏色渲染3D裝配體的不同零件；所述監測角度是指深度相機與被監測裝配體之間形成的視角，深度相機在原位且在預設轉動范圍內改變拍攝角度，形成所述多個監測角度；所述3D裝配體為物理裝配體的3D模型；

利用所述訓練集訓練深度學習網絡模型；

通過深度相機獲取物理裝配場景下的物理裝配體深度圖像C，并將該物理裝配體深度圖像C輸入所述深度學習網絡模型，輸出物理裝配體的像素分割圖像，所述像素分割圖像通過像素顏色表征不同零件，識別出物理裝配體的各零件；

建立3D裝配體，包括零件3D模型和零件間的位置關系；

標記3D裝配體中各零件的顏色，不同零件標注不同顏色，建立3D裝配體的標注模型；

定義裝配順序模型，包括定義每一步裝配包含的零部件；

依據所述裝配順序模型，加載不同零部件的標注模型，生成各裝配步驟對應的裝配體的3D模型和標注模型，使用深度緩存合成多個監測角度下的3D裝配體的深度圖像集D_i，使用深度相機的成像模型合成標簽圖像集L_i，其中i表示裝配步驟，第i步的深度圖像集D_i對應第i步的標簽圖像集L_i，所述標簽圖像集L_i中的標簽圖像用不同顏色渲染3D裝配體的不同零件，從而建立訓練集。

2.根據權利要求1所述的一種基于深度學習的裝配監測方法，其特征在于：所述深度學習網絡模型為全卷積類深度網絡，包括卷積和反卷積過程，將所述訓練集中深度圖像集D_i作為深度學習網絡模型的輸入，將所述訓練集中標簽圖像集L_i作為深度學習網絡模型的輸出，訓練所述深度學習網絡模型。

3.根據權利要求1所述的一種基于深度學習的裝配監測方法，其特征在于：所述通過深度相機獲取物理裝配場景下的物理裝配體深度圖像C的步驟為：

在初始化階段，固定深度相機，對準裝配區域，使用所述深度相機采集不含物理裝配體的物理裝配場景深度圖像A；

再循環階段，使用所述深度相機采集包含物理裝配體的物理裝配場景深度圖像B；

在物理裝配場景深度圖像A和物理裝配場景深度圖像B中，通過對應像素點深度值相減計算得到所述物理裝配體深度圖像C，具體地，深度圖像A和深度圖像B中相對應的像素點的深度值之差的絕對值小于設定閾值D，則深度圖像B中該像素點為背景，否則深度圖像B中該像素點為裝配體；所述深度圖像A中的像素點和深度圖像B中的像素點在圖像坐標系中的坐標相同，則該倆像素點為相對應的像素點。

4.根據權利要求1所述的一種基于深度學習的裝配監測方法，其特征在于：在識別出物理裝配體的各零件后，還包括裝配步驟監測：統計物理裝配體的像素分割圖像中零件像素的組成，確定零件的組成，然后依據零件的組成，按照所述裝配順序模型查詢當前的裝配步驟，完成裝配步驟監測。

5.根據權利要求1所述的一種基于深度學習的裝配監測方法，其特征在于：在識別出物理裝配體的各零件后，還包括零件裝配監測，判斷零件是否裝配錯誤，具體地：

根據當前裝配所在的步驟，比較物理裝配體的像素分割圖像與其對應的正確標簽圖像中的每一個像素點，分別計算出物理裝配體的像素分割圖像中當前裝配步驟裝配的零件相對于正確標簽圖像中該零件的像素重合率q_z，其中，n_c為裝配的零件分別在正確標簽圖像和像素分割圖像中坐標重合的像素點數，n_z為裝配的零件在物理裝配體的像素分割圖像中所含像素點數；所述正確標簽圖像是在虛擬場景中以物理裝配場景下深度相機的坐標為視點坐標，利用深度相機的成像模型合成得到的標簽圖像，每個步驟對應一正確標簽圖像；

當q_z≥設定的重合閾值E時，判定該零件沒有裝配錯誤，否則，提示檢查信息。