[發明專利]基于注意力機制的裝配體變化檢測方法、設備和介質

有效

• 申請號: 202110507300.9
• 申請日: 2021-05-10
• 公開（公告）號: CN113269237B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 陳成軍;李長治;李東年;洪軍
• 申請（專利權）人: 青島理工大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T17/00
• 代理公司: 福州科揚專利事務所(普通合伙) 35001
• 代理人: 魏珊珊

本發明涉及一種基于注意力機制的裝配體變化檢測方法，包括以下步驟：建立裝配體的三維模型，對三維模型中各零件添加標簽，設定若干個裝配節點，獲取各裝配節點下的三維模型在不同視角下的深度圖像，并獲取各裝配節點新增零件的變化標簽圖像；選取前后兩時刻不同視角下的兩張深度圖像作為訓練樣本；將訓練樣本依次經過語義融合、特征提取、注意力機制處理以及度量學習，對檢測模型進行訓練，不斷選取訓練樣本對檢測模型進行訓練，保存訓練過程中相似度最優的模型參數，完成訓練；獲取待檢測的裝配體裝配過程中前后兩裝配節點的深度圖像，輸入至訓練好的檢測模型中，輸出裝配過程中裝配體新增零件的變化圖像。

技術領域

本發明涉及基于注意力機制的裝配體多視角變化檢測方法，屬于計算機視覺和智能制造技術領域。

背景技術

計算機視覺對智能制造業升級具有重要意義，尤其是深度學習網絡的大量涌現促進了現代工業的發展。在大規模個性化定制生產組裝過程中，產品類型的不斷變化將增加組裝產品的難度。在復雜裝配體零部件裝配過程中，若未能及時檢測到新裝配的零部件正確與否，則會影響到機械產品的質量和裝配效率。因此，在機械類裝配體裝配過程中，從多視角檢測每個裝配步驟新裝配零部件，將有助于獲取機械裝配過程的相關信息，并及時發現其中錯誤，進而實現錯誤快速定位，提高機械產品的生產效率，保障機械產品質量水平，對機械類裝配體的裝配過程智能檢測具有重要研究價值。

圖像變化檢測能夠根據兩張不同時間、不同視角的圖像，判斷圖像狀態的差異。圖像變化檢測目前主要應用于衛星圖像和航拍圖像研究中，對農業調查、自然災害檢測、森林資源監測等方面具有重要實用價值。傳統的變化檢測方法主要包含三步流程：1)輸入兩張需要檢測分析的圖像；2)使用差異算子或其他方法獲得差異圖；3)分析差異圖的數據差異獲得變化區域。對于傳統的變化檢測方法，性能的好壞依賴于差異圖的形成，而差異圖的形成又有較大的噪聲干擾，所以無法得到較高的精度。

當前，隨著深度學習技術蓬勃發展，深度學習已經被引入到變化檢測中，提出了許多基于深度學習的變化檢測算法，并取得了良好效果。但是在這些方法中，主要是針對遙感衛星圖像和航拍圖像相似視角的變化檢測。目前，對于機械類裝配體的多視角變化檢測的研究很少，這主要是因為相對于衛星圖像，機械零件結構較為復雜、遮擋嚴重、視角變化大、零部件的顏色和紋理信息單一等特點，難以對其裝配過程進行變化檢測，同時缺少對應的數據集。

發明內容

為了解決上述現有技術中存在的問題，本發明提出了一種基于注意力機制的裝配體變化檢測方法、設備和介質，能夠在裝配體裝配過程中進行變化檢測。

本發明的技術方案如下：

技術方案一：

一種基于注意力機制的裝配體變化檢測方法，包括以下步驟：

建立數據集；建立裝配體的三維模型，對三維模型中各零件添加標簽，依據給定的裝配體的裝配步驟確定若干個裝配節點，分別對各裝配節點下的三維模型進行成像處理，獲取各裝配節點下的三維模型在不同視角下的深度圖像，并根據零件的標簽獲取各裝配節點新增零件的變化標簽圖像；

訓練檢測模型；選取前后兩相鄰裝配節點的三維模型在不同視角下的兩張深度圖像作為訓練樣本；分別對兩深度圖像進行語義分割獲得語義圖像，將兩語義圖像與對應的深度圖像進行像素融合，得到兩張融合圖像；分別對兩張融合圖像進行特征提取，獲取對應的兩張初始特征圖；通過注意力機制分別收集兩張初始特征圖的上下文信息，并根據上下文信息捕獲初始特征圖的全局位置依賴性，得到對應的兩張注意力特征圖；計算兩張注意力特征圖之間的歐式距離，并生成特征距離圖，根據特征距離圖輸出變化圖像；定義損失函數計算變化圖像與變化標簽圖像之間的相似度，不斷選取訓練樣本對檢測模型進行訓練，保存訓練過程中相似度最優的模型參數，完成訓練；

變化檢測；獲取待檢測的裝配體裝配過程中前后兩裝配節點的深度圖像，輸入至訓練好的檢測模型中，輸出裝配過程中裝配體新增零件的變化圖像。