[發明專利]一種基于多模態融合的導線絕緣皮破損檢測方法及系統

在審

• 申請號: 202211328076.8
• 申請日: 2022-10-27
• 公開（公告）號: CN115690535A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 桂菲菲;成喆;何紅太;杜學月;黃廣;焦石柱;張曉軍;張凱;黃志勇;陳艷霞;聞宇;李鑫明;王鵬;李菁
• 申請（專利權）人: 北京國網富達科技發展有限責任公司;山東電工電氣集團有限公司;國網北京市電力公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06N3/0464;G06V10/77;G06V10/80;G06V10/82
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 賈瑞華

本發明涉及目標檢測技術領域，特別是涉及一種基于多模態融合的導線絕緣皮破損檢測方法及系統，方法包括：獲取訓練圖像集和訓練文本集；基于圖像特征提取網絡對訓練圖像集進行特征提取，得到訓練圖像特征集；基于文本特征提取融合網絡對訓練文本集進行特征提取，得到訓練文本特征集；基于文本特征提取融合網絡對訓練圖像特征集和訓練文本特征集進行融合，得到訓練特征集；基于訓練特征集對目標檢測網絡進行訓練，得到訓練好的目標檢測網絡；基于圖像特征提取網絡、文本特征提取融合網絡和訓練好的目標檢測網絡實現導線絕緣皮破損檢測。本發明通過圖像特征和文本特征相融合來提高架空線路導線絕緣皮破損檢測的精度。

技術領域

本發明涉及目標檢測技術領域，特別是涉及一種基于多模態融合的導線絕緣皮破損檢測方法及系統。

背景技術

10kV配電架空線路設備點多面廣，設備數量巨大，能否安全供電直接關系到國民經濟發展和人民生活質量，因此，做好10kV配電架空線路設備的運維檢修工作尤為重要。由于10kV架空配電線路設備電壓等級相對主網來講較低、運行環境復雜、設備種類繁多且均安裝在桿塔上，給帶電檢測技術開發和應用帶來了困難。

隨著計算機技術的發展和計算機視覺原理的廣泛應用，計算機圖像處理技術廣泛應用于架空線路導線絕緣皮破損檢測中，但是架空線路導線的圖像中往往存在遮擋或其他因素，導致絕緣皮破損檢測精度很難達到需求。

發明內容

有鑒于此，本發明提供了一種基于多模態融合的導線絕緣皮破損檢測方法及系統，通過圖像特征和文本特征相融合來提高架空線路導線絕緣皮破損檢測的精度。

為實現上述目的，本發明提供了如下方案：

一種基于多模態融合的導線絕緣皮破損檢測方法，包括：

獲取訓練圖像集和訓練文本集；

基于圖像特征提取網絡對所述訓練圖像集進行特征提取，得到訓練圖像特征集；

基于文本特征提取融合網絡對所述訓練文本集進行特征提取，得到訓練文本特征集；

基于所述文本特征提取融合網絡對所述訓練圖像特征集和所述訓練文本特征集進行融合，得到訓練特征集；

基于所述訓練特征集對目標檢測網絡進行訓練，得到訓練好的所述目標檢測網絡；

基于所述圖像特征提取網絡、所述文本特征提取融合網絡和訓練好的所述目標檢測網絡實現導線絕緣皮破損檢測。

優選地，所述獲取訓練圖像集和訓練文本集，包括：

獲取歷史圖像集和歷史文本集；

對所述歷史圖像集進行加標簽，得到標簽圖像集；對所述歷史文本集進行加標簽，得到標簽文本集；

對所述標簽圖像集進行抽取和切割得到所述訓練圖像集；對所述標簽文本集進行抽取和切割得到所述訓練文本集；所述訓練圖像集基于非關系型數據庫進行存儲。

優選地，所述基于圖像特征提取網絡對所述訓練圖像集進行特征提取，得到訓練圖像特征集，具體為：

基于所述圖像特征提取網絡對所述訓練圖像集進行特征提取，得到初始訓練特征向量集；

基于所述圖像特征提取網絡對所述初始訓練特征向量集進行線性變換，得到所述訓練圖像特征集。

優選地，所述基于所述文本特征提取融合網絡對所述訓練圖像特征集和所述訓練文本特征集進行融合，得到訓練特征集，具體為：

基于所述文本特征提取融合網絡對所述訓練圖像特征集和所述訓練文本特征集進行拼接，得到訓練拼接特征集；

對所述訓練拼接特征集進行剪切，得到所述訓練特征集。