[發明專利]工業檢測中的知識圖庫構建方法、知識圖庫構建裝置

有效

• 申請號: 202210336010.7
• 申請日: 2022-04-01
• 公開（公告）號: CN114491083B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 杭天欣;鄭鈞友;趙何;張志琦
• 申請（專利權）人: 江蘇智云天工科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/04;G06N3/08;G06Q50/04
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 劉松

1.一種工業檢測中的知識圖庫構建方法，其特征在于，包括以下步驟：

獲取待儲存圖片集，并輸入目標檢測模型，以獲得推理結果，所述推理結果包括：缺陷位置和缺陷類別；

根據所述推理結果在對應的待儲存圖片上進行切圖操作，以摳出對應的缺陷圖并存儲缺陷圖對應的缺陷類別；

將所述缺陷圖輸入向量提取模型以獲取圖片特征向量V，其中，所述向量提取模型包括：特征提取網絡Swin transformer、降維卷積核和分類器；

將所述缺陷類別進行熱編碼，以獲取對應的編碼向量H；

將編碼向量H的維度補齊與所述圖片特征向量V一致后，將所述編碼向量H與所述圖片特征向量V進行通道拼接，以生成關鍵字向量W；

將所述關鍵字向量W和對應的待儲存圖片存入知識圖庫，其中，所述關鍵字向量W作為鍵，對應的待儲存圖片作為值。

2.根據權利要求1所述的工業檢測中的知識圖庫構建方法，其特征在于，采用以下步驟訓練所述向量提取模型：

將所述缺陷圖和對應的缺陷類別作為輸入送入特征提取網絡Swin transformer，其中對應的缺陷類別作為訓練標簽，以生成三維特征圖F1；

將所述三維特征圖F1輸入第一降維卷積核，以生成二維特征圖F2；

將所述二維特征圖F2輸入第二降維卷積核，以生成圖片特征向量V；

將所述圖片特征向量V作為輸入送入所述分類器，進行梯度下降。

3.根據權利要求2所述的工業檢測中的知識圖庫構建方法，其特征在于，所述三維特征圖F1的維度為，其中是所述三維特征圖F1寬的維度，是所述三維特征圖F1高的維度，C₁是所述三維特征圖F1通道的維度，所述第一降維卷積核的維度為3*3*C，其中3*3為第一降維卷積核滑窗的大小，C為第一降維卷積核的通道且等于C₁；所述二維特征圖F2的維度為，其中是所述二維特征圖F2寬的維度，是所述二維特征圖F2高的維度，且等于、等于，采用以下公式獲取和的大小：

其中p為補足的大小，且p=1。

4.根據權利要求3所述的工業檢測中的知識圖庫構建方法，其特征在于，所述圖片特征向量V的維度為4096*1，所述第二降維卷積核的維度為，其中為所述第二降維卷積核滑窗的大小，且等于、等于，1為所述第二降維卷積核的通道，4096為所述第二降維卷積核的卷積核個數。

5.一種工業檢測中的知識圖庫構建裝置，其特征在于，包括：

獲取模塊，所述獲取模塊用于獲取待儲存圖片集，并輸入目標檢測模型，以獲得推理結果，所述推理結果包括：缺陷位置和缺陷類別；

切圖模塊，所述切圖模塊用于根據所述推理結果在對應的待儲存圖片上進行切圖操作，以摳出對應的缺陷圖并存儲缺陷圖對應的缺陷類別；

特征提取模塊，所述特征提取模塊用于將所述缺陷圖輸入向量提取模型以獲取圖片特征向量V，其中，所述向量提取模型包括：特征提取網絡Swin transformer、降維卷積核和分類器；

熱編碼模塊，所述熱編碼模塊用于將所述缺陷類別進行熱編碼，以獲取對應的編碼向量H；

拼接模塊，所述拼接模塊用于將編碼向量H的維度補齊與所述圖片特征向量V一致后，將所述編碼向量H與所述圖片特征向量V進行通道拼接，以生成關鍵字向量W；

存儲模塊，所述存儲模塊用于將所述關鍵字向量W和對應的待儲存圖片存入知識圖庫，其中，所述關鍵字向量W作為鍵，對應的待儲存圖片作為值。

6.根據權利要求5所述的工業檢測中的知識圖庫構建裝置，其特征在于，所述向量提取模型具體用于采用以下步驟訓練：

將所述缺陷圖和對應的缺陷類別作為輸入送入特征提取網絡Swin transformer，其中對應的缺陷類別作為訓練標簽，以生成三維特征圖F1；

將所述三維特征圖F1輸入第一降維卷積核，以生成二維特征圖F2；

將所述二維特征圖F2輸入第二降維卷積核，以生成圖片特征向量V；

將所述圖片特征向量V作為輸入送入所述分類器，進行梯度下降。