[發(fā)明專利]一種大型設(shè)備安拆步驟檢測方法

有效

• 申請?zhí)枺?/td>: 202110646769.0
• 申請日: 2021-06-10
• 公開（公告）號: CN113283452B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 簡易成;寧德奎;張巨會;姚林;趙世范;奚正茂;楊峰;施昌平
• 申請（專利權(quán)）人: 中國水利水電第七工程局有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06V10/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06F16/31
• 代理公司: 成都市輔君專利代理有限公司 51120
• 代理人: 張堰黎

1.一種大型設(shè)備安拆步驟檢測方法，其特征在于：

針對檢測的安拆步驟，利用安拆設(shè)備包括安拆步驟圖像的工作圖像數(shù)據(jù)庫的進(jìn)行檢索，初步確定安拆步驟屬于整個步驟的哪一個步驟，然后利用基于深度學(xué)習(xí)的圖像標(biāo)注技術(shù)，對安拆工作圖像進(jìn)行文字化描述，將文字化描述在文本數(shù)據(jù)庫中進(jìn)行相似度計算，以確定該安拆步驟屬于文本數(shù)據(jù)庫步驟中的哪一個步驟，最后結(jié)合圖像和文本的結(jié)果進(jìn)行判定，如果同時確定屬于其中的某個步驟，則確認(rèn)該安拆工作所屬的步驟，否則，重新進(jìn)行檢測判定；

具體包括：跨模態(tài)數(shù)據(jù)集建立，SENet網(wǎng)絡(luò)應(yīng)用，文本模塊應(yīng)用，檢測；

跨模態(tài)數(shù)據(jù)集建立是：收集大型特種設(shè)備安拆過程中圖像數(shù)據(jù)和文本數(shù)據(jù)，并依據(jù)安拆步驟對圖像進(jìn)行標(biāo)注，圖像數(shù)據(jù)和文本數(shù)據(jù)是相關(guān)的，大型特種設(shè)備的安拆步驟同時用圖像和文本描述，其中，圖像按照安拆步驟的順序進(jìn)行編號，每一張圖像下面都有其文本描述；確定每張圖像對應(yīng)的安拆步驟順序，為后續(xù)訓(xùn)練深度學(xué)習(xí)模型進(jìn)行數(shù)據(jù)集構(gòu)建；

SENet網(wǎng)絡(luò)應(yīng)用是：作為提取特征的卷積神經(jīng)網(wǎng)絡(luò)對大型特種設(shè)備安拆過程中的圖像信息進(jìn)行識別，包括：將訓(xùn)練集中的每一張圖像都用SENet轉(zhuǎn)換成特征向量；對于一張輸入的安拆過程圖像，同樣利用SENet將其轉(zhuǎn)換為第一特征向量，使用歐氏距離計算出第一特征向量和圖像數(shù)據(jù)庫中每一個特征向量的距離，選擇距離最小的圖像對應(yīng)的編號即為當(dāng)前安拆過程所屬的編號；

文本模塊應(yīng)用是：利用深度網(wǎng)絡(luò)對安拆圖像進(jìn)行文本描述，包括：使用SENet提取安拆過程圖像的第一特征向量，將第一特征向量輸入到LSTM中得到安拆過程圖像的文本描述；

將文本數(shù)據(jù)庫中的文本用Word2Vec轉(zhuǎn)換為文本向量；將安拆過程圖像的文本描述用Word2Vec轉(zhuǎn)換為第一文本向量；使用余弦相似度計算第一文本向量與文本數(shù)據(jù)庫中的每一個步驟文本向量的相似度，選取與第一文本向量最相似的編號即為當(dāng)前安拆步驟所屬的編號；

檢測是：結(jié)合圖像和文本所得的編號進(jìn)行決策，如果都是正確的，那么就確定該安拆過程所屬的步驟編號，否則，調(diào)整或重新調(diào)用SENet網(wǎng)絡(luò)和文本模塊，再重復(fù)進(jìn)行檢測步驟。