[發明專利]一種面向增強現實設備的橋梁裂縫識別方法及裝置

有效

• 申請號: 202310239792.7
• 申請日: 2023-03-14
• 公開（公告）號: CN115953405B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 田東;張崇斌;趙青;單桂華
• 申請（專利權）人: 中國科學院計算機網絡信息中心;中鐵工程設計咨詢集團有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/08;G06N3/06;G06T7/70;G06T7/10
• 代理公司: 北京集智東方知識產權代理有限公司 11578
• 代理人: 陳亞斌;關兆輝

1.一種面向增強現實設備的橋梁裂縫識別方法，其特征在于，包括：

獲取實時視頻流并對所述實時視頻流進行逐幀切片處理得到幀序列圖像，所述實時視頻流為鐵路橋梁巡檢人員通過AR眼鏡的光學攝像頭采集得到；

對所述幀序列圖像進行圖像特征提取生成至少一個用于檢測裂縫目標的錨框，并計算得到每個所述錨框中裂縫的預測類別和邊界偏移量；

根據所述邊界偏移量調整所述錨框的邊界框位置生成識別圖像，每個所述識別圖像中包含一個完整的裂縫；

將所有所述識別圖像和所述預測類別按照時間順序打包為關鍵幀信息元組；

根據所述關鍵幀信息元組的信息和所述實時視頻流對鐵路橋梁進行二次檢測，并將檢測結果進行上傳。

2.根據權利要求1所述的面向增強現實設備的橋梁裂縫識別方法，其特征在于，對所述幀序列圖像進行圖像特征提取生成至少一個用于確定裂縫位置的錨框，并計算得到每個所述錨框中裂縫的危險等級信息和邊界偏移量，包括：

使用預設的輕量級卷積神經網絡模型對所述幀序列圖像進行特征提取得到特征圖，并在所述特征圖中生成至少一個錨框；

根據所述特征圖提取出所述錨框檢測區域的特征向量，所述特征向量表示所述錨框內裂縫圖像的信息；

根據所述特征向量對所述錨框進行分類和回歸預測，得到每個錨框中裂縫的預測類別和邊界偏移量，所述預測類別表示裂縫的大小和危險程度。

3.根據權利要求2所述的面向增強現實設備的橋梁裂縫識別方法，其特征在于，使用預設的輕量級卷積神經網絡模型對所述幀序列圖像進行特征提取得到特征圖，并在所述特征圖中生成至少一個錨框，包括：

使用預設的輕量級卷積神經網絡模型對輸入的幀序列圖像進行特征提取，得到至少兩種尺寸的特征圖；

對所述特征圖進行下采樣，將特征信息疊加至通道維度得到特征向量；

對所述特征圖進行上采樣，將不同層的特征圖進行通道維度拼接，得到融合了圖像的高層與低層語義信息的特征信息；

將一種尺寸的所述特征圖、所述特征圖對應的所述特征向量和所述特征圖對應的所述特征信息組合，得到至少一個錨框。

4.根據權利要求1所述的面向增強現實設備的橋梁裂縫識別方法，其特征在于，根據所述邊界偏移量調整所述錨框的邊界框位置生成識別圖像，包括：

根據所述邊界偏移量，計算每個所述錨框的位置偏移量；

根據所述位置偏移量，對每個所述錨框進行位置調整，得到預測邊界框集合；

根據預設的規則對所述預測邊界框集合進行篩選，得到置信度最高的預測邊界框；

將每個所述預測邊界框對應的圖像進行裁剪，得到包含完整裂縫的識別圖像。

5.根據權利要求1所述的面向增強現實設備的橋梁裂縫識別方法，其特征在于，將所有所述識別圖像和所述預測類別按照時間順序打包為關鍵幀信息元組，包括：

根據所述識別圖像中的每一幀圖像中提取裂縫的相關信息并打包為關鍵幀信息元組；

將所有的所述關鍵幀信息元組按照時間順序進行排序；

將排序后的每個所述關鍵幀信息元組中添加事件發生時間、地點、裂縫的位置、大小和危險等級；

將處理好的所述關鍵幀信息元組通過無線網絡發送到遠程AR設備，并將所述關鍵幀信息元組以結構化模式存儲到數據庫中。

6.一種面向增強現實設備的橋梁裂縫識別裝置，其特征在于，包括：

獲取模塊，用于獲取實時視頻流并對所述實時視頻流進行逐幀切片處理得到幀序列圖像，所述實時視頻流為鐵路橋梁巡檢人員通過AR眼鏡的光學攝像頭采集得到；

提取模塊，用于對所述幀序列圖像進行圖像特征提取生成至少一個用于檢測裂縫目標的錨框，并計算得到每個所述錨框中裂縫的預測類別和邊界偏移量；

調整模塊，用于根據所述邊界偏移量調整所述錨框的邊界框位置生成識別圖像，每個所述識別圖像中包含一個完整的裂縫；

打包模塊，用于將所有所述識別圖像和所述預測類別按照時間順序打包為關鍵幀信息元組；

檢測模塊，用于根據所述關鍵幀信息元組的信息和所述實時視頻流對鐵路橋梁進行二次檢測，并將檢測結果進行上傳。