[發明專利]一種鋼軌表面傷損細粒度圖像分類與檢測方法

有效

• 申請號: 202110556248.6
• 申請日: 2021-05-21
• 公開（公告）號: CN113362285B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 周宇;張子豪
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/194;G06T7/13;G06T5/00;G06T7/62;G06N3/04;G06V10/764;G06V10/82
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種鋼軌表面傷損細粒度圖像分類與檢測方法，其特征在于，包括以下步驟：

1)構建細粒度軌面傷損目標檢測數據集；

2)采用YOLOV5算法進行軌面傷損目標檢測；

3)根據檢測結果進行軌面傷損視覺測量與量化評價，并進行傷損分布的交互式地圖可視化展示；

所述的步驟1)具體包括以下步驟：

11)拍攝細粒度軌面傷損圖像，構建軌面傷損圖集：

12)對軌面傷損進行實例級細粒度目標檢測標注；

13)將標注出類別和標注框的圖像構成軌面傷損目標檢測數據集；

所述的步驟11)具體為：

拍攝包含多種地鐵工況下的多幅彩色圖像并進行損傷標注，然后與未標注的不同傷損時期、不同養修時期以及不同拍攝工況的軌面照片共同構成軌面傷損圖集，所述的地鐵工況包括隧道、高架、直線、曲線、內軌、外軌、打磨前后以及銑磨前后，具體拍攝方式為：在兩股鋼軌中間采用相機使鏡頭距軌面垂直距離200mm豎直向下聚焦拍攝，側面補光使圖像沒有暗影和軌面反光，光線入射角度為30°，拍攝的圖片長度或寬度方向與軌面縱向邊緣平行，軌面占據圖幅60％以上；

所述的步驟12)中，各軌面損傷的標注范式為：

軌面(RW)：將鋼軌軌頭踏面外接矩形作為標注框，包含軌距角和軌頭側面在圖像中的投影區域；

光帶(GD)：以軌面光亮帶和褐暗帶邊界的外接矩形框作為標注框，若邊界存在暗光帶模糊過渡區，則以邊界最內側光亮帶外接矩形框作為標注框，并單獨標注暗光帶；

疲勞裂紋(LW)：標注時，用多個僅包含裂紋且彼此不重疊的較小密集標注框，組塊成大片裂紋區域；

剝離掉塊(DK)：標注時，以光帶為背景，剝離掉塊為前景的二值灰度圖中，把每一處前景連通域的外接矩形作為標注框；

波磨(BM)：標注時，以光帶為背景，波磨波谷為前景的二值灰度圖中，把每處波磨波谷邊緣輪廓區域的外接矩形作為標注框；

在步驟12)中，對于難例圖像，包括背景黑暗、聚焦模糊和反光圖像的標注采用基于CLAHE直方圖均衡化方法進行圖像增強輔助標注，具體包括以下步驟：

121)將RGB色彩空間轉換到HSI色彩空間；

122)對于黑暗圖像，將亮度分量I分成多個6×6矩形子塊，對反光圖像，將亮度分量I分成多個8×8矩形子塊，并對每個子塊分別應用直方圖均衡化；

123)對于圖像角落子塊，保留輸出灰度值，對于邊緣子塊，通過鄰近2個子塊的映射函數線性插值，對于中間區域子塊的每個像素，根據鄰近子塊的直方圖均衡化灰度變換函數對其的映射值進行雙線性插值。

2.根據權利要求1所述的一種鋼軌表面傷損細粒度圖像分類與檢測方法，其特征在于，所述的步驟2)具體包括以下步驟：

根據軌面傷損目標檢測數據集，在YOLOV5的S預訓練模型基礎上對軌面傷損目標檢測基準模型進行遷移學習訓練。

3.根據權利要求2所述的一種鋼軌表面傷損細粒度圖像分類與檢測方法，其特征在于，在對軌面傷損目標檢測基準模型進行遷移學習訓練過程中，對于超參數的訓練，則有：

引入圖像擴增，對于防止過擬合，增加模型魯棒性和泛化能力，YOLOV5的S預訓練模型的輸入圖像大小采用640像素。

4.根據權利要求2所述的一種鋼軌表面傷損細粒度圖像分類與檢測方法，其特征在于，在對軌面傷損目標檢測基準模型進行遷移學習訓練過程中，對于超參數的調優，則有：

對邊緣明顯的掉塊、波磨目標，過濾掉置信度小于0.3的預測框，對大片存在的裂紋、打磨目標，過濾掉置信度小于0.1的預測框；

采用非極大值抑制過濾掉IOU超過設定閾值的低置信度同類預測框，防止多個預測框重復識別同一個目標，對于波磨、掉塊和扣件，IOU閾值設置為0.05，防止重復識別，對于裂紋、打磨大片存在的類別，IOU閾值設置為0.8；

測試圖像增強時，將測試集圖片放大30％，并進行水平鏡像翻轉，在三個不同分辨率下預測三個結果，并且將三個預測結果集成提升訓練精度。

5.根據權利要求1所述的一種鋼軌表面傷損細粒度圖像分類與檢測方法，其特征在于，所述的步驟3)中，軌面傷損視覺測量與量化評價具體包括光帶、剝離掉塊、裂紋以及波磨的測量與評價。

6.根據權利要求5所述的一種鋼軌表面傷損細粒度圖像分類與檢測方法，其特征在于，

對于光帶的測量與評價，根據光帶預測框與軌面預測框的幾何關系，提取軌面和光帶中心線，配合測距標尺獲取光帶指標包括光帶寬度、光帶長度、光帶面積、光帶占軌面比例、光帶偏心、多光帶個數和光帶異常；

對于剝離掉塊的的測量與評價，根據剝離掉塊目標檢測預測框和測距標尺，測量每一處剝離掉塊的長、寬、面積、軌面占比和輕重傷等級，并統計總數；

對于裂紋的測量與評價，根據裂紋測量結果獲取裂紋區面積及占光帶和軌面比例、掉塊總數、輕重傷掉塊個數、掉塊區面積及占光帶和軌面比例，并用不同顏色將裂紋、普通剝離掉塊、輕傷剝離掉塊、重傷剝離掉塊區別展示在待測圖像中；

對于波磨的測量與評價，根據波磨預測框和測距標尺，測量得到每一處波磨波谷區域的長、寬、中心點坐標、波谷區域面積、占光帶和軌面比例信息。