[發(fā)明專利]一種用于高鐵箱梁裂縫自動化檢測的相機陣列式成像方法

有效

• 申請?zhí)枺?/td>: 202110463929.8
• 申請日: 2021-04-25
• 公開（公告）號: CN113358659B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計）人: 朱文發(fā);張文靜;柴曉冬;李立明;范國鵬;張輝
• 申請（專利權(quán)）人: 上海工程技術(shù)大學
• 主分類號: G01N21/88
• 分類號: G01N21/88;G01N21/01
• 代理公司: 上海海頌知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31258
• 代理人: 馬云

1.一種用于高鐵箱梁裂縫自動化檢測的相機陣列式成像方法，其特征在于，包括如下步驟：

S1、使軌檢小車行駛至需要缺陷檢測的高鐵箱梁內(nèi)，所述軌檢小車的頂端設(shè)有相機支架，所述相機支架設(shè)有圓形的相機安裝部，所述相機安裝部上沿圓周方向左右對稱設(shè)有多個相機光源模塊，所述相機光源模塊包括攝像機和環(huán)設(shè)于攝像機外部的圓形光圈；

S2、隨著軌檢小車的移動，設(shè)于軌檢小車上的相機光源模塊中的攝像機對高鐵箱梁的內(nèi)壁進行拍攝，并將拍攝的圖像傳遞給計算機；

S3、計算機采用MATLAB軟件對接受的圖像分別通過卷積神經(jīng)網(wǎng)絡(luò)進行缺陷的檢測與分類和通過三維重建網(wǎng)絡(luò)進行三維重建，最后將卷積神經(jīng)網(wǎng)絡(luò)分辨出的缺陷融合入三維重建網(wǎng)絡(luò)重建的三維圖像中，實現(xiàn)高鐵箱梁內(nèi)壁的缺陷檢測，具體包括如下操作：

S31、采用SSD目標檢測算法對步驟S2拍攝的高鐵箱梁內(nèi)壁的圖像進行檢測和分類：

S311、在MATLAB軟件中采用PBS算法對圖像進行增強處理：

由I＝S×R中輸入圖像I和光照圖像S的關(guān)系，通過色彩空間一致性、紋理一致性和曝光度一致性3個約束進行圖像增強，并通過優(yōu)化方程優(yōu)化光照圖像估計，優(yōu)化方程為：

公式(1)中，E_d是使S盡可能接近于S’，p代表像素，c∈{r，g，b}；E_c，E_t，E_e是為了進行色彩、紋理和曝光度的感知性雙向相似性約束，λ是權(quán)重值；

S312、將處理后的圖像進行平移、放大、45度自由旋轉(zhuǎn)后對圖像進行標記，以配置目標檢測訓練集；

S313、通過SSD目標檢測算法對圖像進行檢測和分類，實現(xiàn)高鐵箱梁內(nèi)壁的缺陷檢測,標記出缺陷所在圖像位置；

S32、采用圖像拼接3d重建算法對步驟S2拍攝的高鐵箱梁內(nèi)壁的圖像進行三維重建：

S321、在MATLAB軟件中采用加權(quán)平均法對圖像進行灰度處理：

Image(i，j)＝a(i，j)+bG(i，j)+cB(i，j) (2)；

公式(2)中，a、b、c是紅綠藍三個顏色分量的權(quán)值；

S322、采用基于Shearlet變換的方法去除圖像的噪聲：

在二階線性可積空間內(nèi)對任意f∈L²(R²)，若函數(shù)f滿足公式

則稱為連續(xù)Shearlet，連續(xù)Shearlet變換的定義可以表示為：

公式(4)中，a∈R⁺，h∈R，t∈R²；a，h，t分別為尺度參數(shù)、剪切參數(shù)、平移參數(shù)；

則將圖像信號進行Shearlet變換去噪，可表示為：

f(t)＝s(t)+n(t) (5)；

SH_ψ(f)＝SH_ψ(s)+SH_ψ(n) (6)；

公式(5)中，s(t)、n(t)分別為信號和噪聲；

公式(6)中，SH_ψ(s)為信號進行Shearlet變換；SH_ψ(n)為噪聲進行Shearlet變換；

S323、三維重建：對箱梁圖片使用基于Shearlet變換去噪后進行特征提取與圖像融合：

S3231、將圖像劃分為ROI，在ROI內(nèi)采用SIFT算法進行特征提取和匹配：

尺度空間的構(gòu)建定義如下：

L(x，y，σ)＝G(x，y，σ)*I(χ，y) (7)；

公式(7)中，G(x，y，σ)為高斯核函數(shù)：

(x，y)為像素點在圖像中的坐標，I(x，y)表示該點的像素值，σ為尺度空間因子；

根據(jù)尺度函數(shù)來建立高斯金字塔，高斯金字塔的第一階的第一層是原始圖像，高斯金字塔有o階、s層，在同一階上的兩個相鄰層之間的尺度比例為k，在高斯金字塔的基礎(chǔ)上，利用同一階上的兩個相鄰的兩層的空間函數(shù)之差得到DOG高斯差分算子，使用DOG高斯差分算子來對尺度空間中的點進行極大值檢測，即：

D(x，y；σ)＝(G(x，y，kσ)-G(x，y，σ))*，(x，y)

＝L(x，y，kσ)-L(x，y；σ) (9)；

公式(9)中L(x，y，kσ)與L(x，y；σ)表示兩個相鄰的兩層的空間函數(shù)；G(x，y，kσ)與G(x，y，σ)表示相鄰兩層的高斯函數(shù)；

高斯差分確定的極值點是離散空間的點，利用泰勒展開式計算出連續(xù)極值點：

得到極值點

然后，生成主方向：為了實現(xiàn)特征點具有旋轉(zhuǎn)不變性，計算特征點的角度，為了實現(xiàn)特征點的旋轉(zhuǎn)不變性，因此需要計算特征點的角度，在計算特征點的方向時是根據(jù)特征點所在的高斯尺度圖像中的局部特征計算出的，該尺度空間因子σ是已知的，并且該尺度是相對于該圖像所在的組的基準圖像的，所謂的局部特征就是特征點的鄰域區(qū)域內(nèi)所有像素的梯度幅角和梯度幅值，這里鄰域區(qū)域定義為在該圖像中以特征點為圓心，半徑為高斯尺度的4.5倍；

公式(10)中，m(x，y)為該像素點的幅值，θ(x，y)為該點的幅角；

最終確定特征點，然后在兩幅圖像中找到相同的特征點進行特征匹配，進行特征匹配時使用歐式距離D_ssd進行表示：

公式(11)中，A、B分別為兩圖像的特征點；

S3232、進行特征匹配時，我們用暴力匹配(BF)從A圖像中選擇一個特征點去與B圖像中的每一個特征點進行匹配，最后選擇D_SSd最小的兩個點作為匹配結(jié)果；將SIFT算法匹配到的特征點中得到單應性矩陣為全局的變換矩陣，對圖像上所有區(qū)域使用相同的單應性變換，對所有相機光源模塊中的攝像機所拍攝的圖片進行拼接：

軌檢小車在高鐵箱梁地面中間行駛，在每個拍攝瞬間，軌檢小車與攝像機和高鐵箱梁內(nèi)表面的位置相對固定，從世界坐標系到相機坐標系之間的關(guān)系為：

X_c＝RX_w+t (12)；

公式(12)中，R表示相機位置相對于世界坐標系原點的旋轉(zhuǎn)矩陣，t表示攝像機位置相對于世界坐標系的平移向量，X_c表示相機坐標系X_w表示世界坐標系；X_c＝(x_c，y_c，z_c)^T，

X_w＝(x_w，y_w，z_w)^T；

將其寫成其次坐標的形式為：

式(12)逆變換為：

X_w＝R^TX_c-R^Tt (14)；

將其轉(zhuǎn)換為矩陣形式：

這樣，最終在MATLAB中實現(xiàn)高鐵箱梁內(nèi)表面的三維重建，重建出高鐵箱梁內(nèi)表面的三維圖像；

S33、將S31卷積神經(jīng)網(wǎng)絡(luò)分辨出的缺陷融合入S32重建的三維圖像中，實現(xiàn)高鐵箱梁內(nèi)壁的缺陷檢測。