[發明專利]一種大型設備安拆步驟檢測方法

有效

• 申請號: 202110646769.0
• 申請日: 2021-06-10
• 公開（公告）號: CN113283452B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 簡易成;寧德奎;張巨會;姚林;趙世范;奚正茂;楊峰;施昌平
• 申請（專利權）人: 中國水利水電第七工程局有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06V10/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06F16/31
• 代理公司: 成都市輔君專利代理有限公司 51120
• 代理人: 張堰黎

本發明公開了一種跨模態大型設備安拆步驟檢測方法。包括：跨模態數據集建立、SENet網絡和文本模塊應用、檢測；檢測是對包括安拆步驟圖像的數據庫進行檢索，初步確定安拆步驟，然后利用基于深度學習的圖像標注技術，對安拆工作圖像進行文字化描述，將文字化描述在文本數據庫中進行相似度計算，以確定該安拆步驟屬于的步驟，最后結合圖像和文本的結果進行判定，如果同時確定屬于其中的某個步驟，則確認該安拆工作所屬的步驟，否則，重新進行檢測判定。本發明構建特定的大型特種設備安拆中的圖像與文本數據集，采用SENet網絡與圖像文本描述技術，能很好的適應大型特種設備施工的場景，并能根據識別結果對安拆步驟進行檢測，判斷安拆步驟的正確性。

技術領域

本發明涉及一種大型設備安拆方法，具體涉及一種跨模態大型設備安拆步驟檢測方法。

背景技術

目前，隨著我國經濟的高速發展，基建項目越來越多，在工地上大型特種設備是一種常見的建筑施工設備，同時項目工地上大型特種設備結構復雜，工地安全性要求高。但目前在大型特種設備在安裝拆卸過程中的安全問題易被忽略，目前施工現場對安拆過程中的監管通常采用人工的方式，而監管人員需要有豐富的安拆經驗，一旦監管人員出現疏漏容易造成重大的安全事故。

公開號為CN109626224A的中國專利公開了“有限空間中橋式起重機安拆裝施工方法”，根據橋式起重機的具體參數在考慮有限的空間的情況下，設計了一種橋式起重機安拆方法。但通過該專利可以看出，在設計設備安拆過程中并有對人為失誤或可能出現的誤操作進行檢測或者預警，一旦出現人為失誤會造成嚴重后果。

發明內容

本發明針對現有技術的以上缺陷或改進需求提供了一種跨模態大型設備安拆步驟檢測方法，本發明目的在于檢測在大型特種設備安拆過程步驟，以人工智能代替監管人員，實現對大型特種設備安拆步驟的智能管控。

本發明通過以下技術方案實現：

一種大型設備安拆步驟檢測方法，其特征在于：針對檢測的安拆步驟，利用安拆設備的包括安拆步驟圖像的工作圖像數據庫的進行檢索，初步確定安拆步驟屬于整個步驟的哪一個步驟，然后利用基于深度學習的圖像標注技術，對安拆工作圖像進行文字化描述，將文字化描述在文本數據庫中進行相似度計算，以確定該安拆步驟屬于文本數據庫步驟中的哪一個步驟，最后結合圖像和文本的結果進行判定，如果同時確定屬于其中的某個步驟，則確認該安拆工作所屬的步驟，否則，重新進行檢測判定。

進一步本發明大型設備安拆步驟檢測方法，包括：跨模態數據集建立、SENet網絡和文本模塊應用、檢測。

跨模態數據集建立是：收集大型特征設備安拆步驟過程中圖像數據和文本數據，并依據安拆步驟對圖像進行標注；確實每張圖像對應的安拆步驟順序，為后續訓練深度學習模型進行數據集構建；

SENet網絡是對大型特種設備安拆過程中的圖像信息進行識別；文本模塊是利用深度網絡對安拆圖像進行文本描述。

最后結合圖像和文本所得的編標進行決策，如果都是正確的，那么就確定該安拆過程所屬的步驟編號，否則進一步微調網絡，再重復進行以上結果。

所述跨模態數據集包括兩部分，一個部分是圖像數據集，另一個部分是文本數據集；圖像數據集和文本數據集是相關的，大型設備的安拆步驟同時用圖像和文本描述，其中，圖像按照安拆步驟的順序進行編號，每一張圖像下面都有其文本描述。

所述SENet網絡是作為提取特征的卷積神經網絡。

進一步所述SENet網絡和文本模塊應用是：

將訓練集中的每一張圖像都用SENet轉換成特征向量，對于一張輸入的安拆過程圖像，同樣利用SENet將其轉換為特征向量，然后將其與訓練集中的特征向量進行比較，選取結果最接近的即為當前安拆過程所屬的編號；