[發明專利]基于注意力機制的裝配體變化檢測方法、設備和介質

有效

• 申請號: 202110507300.9
• 申請日: 2021-05-10
• 公開（公告）號: CN113269237B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 陳成軍;李長治;李東年;洪軍
• 申請（專利權）人: 青島理工大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T17/00
• 代理公司: 福州科揚專利事務所(普通合伙) 35001
• 代理人: 魏珊珊

1.一種基于注意力機制的裝配體變化檢測方法，其特征在于，包括以下步驟：

建立數據集；建立裝配體的三維模型，對三維模型中各零件添加標簽，依據給定的裝配體的裝配步驟確定若干個裝配節點，分別對各裝配節點下的三維模型進行成像處理，獲取各裝配節點下的三維模型在不同視角下的深度圖像，并根據零件的標簽獲取各裝配節點新增零件的變化標簽圖像；

訓練檢測模型；選取前后兩相鄰裝配節點的三維模型在不同視角下的兩張深度圖像作為訓練樣本；分別對兩深度圖像進行語義分割獲得語義圖像，將兩語義圖像與對應的深度圖像進行像素融合，得到兩張融合圖像；分別對兩張融合圖像進行特征提取，獲取對應的兩張初始特征圖；通過注意力機制分別收集兩張初始特征圖的上下文信息，并根據上下文信息捕獲初始特征圖的全局位置依賴性，得到對應的兩張注意力特征圖；計算兩張注意力特征圖之間的歐式距離，并生成特征距離圖，根據特征距離圖輸出變化圖像；定義損失函數計算變化圖像與變化標簽圖像之間的相似度，不斷選取訓練樣本對檢測模型進行訓練，保存訓練過程中相似度最優的模型參數，完成訓練；

變化檢測；獲取待檢測的裝配體裝配過程中前后兩裝配節點的深度圖像，輸入至訓練好的檢測模型中，輸出裝配過程中裝配體新增零件的變化圖像；

在所述對兩張融合圖像進行特征提取，獲取對應的兩張初始特征圖的步驟中，特征提取的方法具體為：

對輸入的融合圖像進行3×3卷積，利用RepVGG分類網絡的四個stage階段提取輸入圖像的特征；

在RepVGG分類網絡的每個stage階段后嵌入注意力機制，分別得到四組特征映射，分別對四組特征映射進行1×1卷積后，再將特征映射的通道尺寸都轉換為P1，P1設定為前兩組特征映射的通道尺寸平均值；

將后三個stage階段特征映射的特征圖尺寸統一上采樣為第一個stage階段的特征圖尺寸大小，對得到的四組特征圖進行通道的串聯融合，并將融合后的特征圖依次進行3×3卷積和1×1卷積獲得初始特征圖；

所述損失函數具體為：

其中，d＝||a_n-b_n||₂，表示兩個訓練樣本的映射向量之間的歐式距離，y為通過變化標簽圖像獲取的標簽值，y＝1代表相似，y＝0則代表不相似，N為訓練樣本像素點的個數，margin為人為設定的閾值。

2.根據權利要求1所述的一種基于注意力機制的裝配體變化檢測方法，其特征在于，在所述RepVGG分類網絡中嵌入的注意力機制與所述收集兩張初始特征圖的上下文信息步驟中使用的注意力機制相同，該注意力機制包括兩個階段：

在第一個階段，通過自注意力算法，在保存原有特征信息的情況下收集特征信息水平和垂直方向的上下文信息，得到原有特征信息的橫縱交叉路徑；

在第二個階段，再次通過自注意力算法，從所述橫縱交叉路徑獲取其他上下文信息，得到特征圖的全局位置依賴性。

3.根據權利要求1所述的一種基于注意力機制的裝配體變化檢測方法，其特征在于，所述計算兩張注意力特征圖之間的歐式距離，并生成特征距離圖，根據特征距離圖輸出變化圖像的具體步驟為：

首先通過雙線性插值將兩張輸入的注意力特征圖的尺寸調整為與最初輸入的深度圖像的尺寸大小相同；

計算尺寸調整后的兩張注意力特征圖之間的歐式距離，并生成特征距離圖；

根據特征距離圖中距離信息，設定變化閾值，通過變化閾值和距離信息將深度圖像區域劃分為變化區域和未變區域，據此輸出后一裝配節點相對于前一裝配節點的變化圖像。

4.一種基于注意力機制的裝配體變化檢測設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至3任一項所述的一種基于注意力機制的裝配體變化檢測方法。

5.一種基于注意力機制的裝配體變化檢測介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至3任一項所述的一種基于注意力機制的裝配體變化檢測方法。