[發明專利]基于車載環視的路面坑塘檢測系統及方法

在審

• 申請號: 202011092104.1
• 申請日: 2020-10-13
• 公開（公告）號: CN112348775A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 丁煒;盧敏;于維欣;郭葉;喻鋼
• 申請（專利權）人: 上海城建城市運營（集團）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/62;G06T7/73;G06T7/80;G06T7/90;G06T3/00;G06T3/40;G06N3/04;G06N3/08;G06K9/46;G06K9/62
• 代理公司: 上海金盛協力知識產權代理有限公司 31242
• 代理人: 王松

1.一種基于車載環視的路面坑塘檢測系統，其特征在于，所述路面坑塘檢測系統包括：

圖像采集模塊，用以采集并同步四路魚眼相機所得視頻流數據；為每一路車載魚眼圖像數據的處理分配獨立的線程，并將其中的采集和存儲進行區分，通過兩個線程獨立控制，基于信號量與互斥鎖同步采集線程和存儲線程，實現多路魚眼圖像數據采集的間隔時間最小化，滿足所述路面坑塘檢測系統的高車速下運行的需求；

魚眼矯正模塊，用以利用相機標定所得的魚眼鏡頭內參，對魚眼圖像進行畸變矯正；利用棋盤格標定板通過對待標定的魚眼相機在不同角度拍攝的棋盤格圖像進行角點提取，最小化重投影誤差，擬合魚眼相機畸變方程系數，即得到魚眼相機內參；將所得內參轉化為從魚眼圖像到線性平面圖像映射的第一查找表LUT1；

鳥瞰拼接模塊，利用相機標定所得魚眼鏡頭外參，對四幅矯正后的魚眼圖像進行融合拼接，得到360°環視俯瞰角度的路面圖像；利用外參標定板，提取標定板上特征物的角點信息，對多相機特征投影誤差函數進行優化及校驗，得到相機與相機之間的位姿關系以及車輛與環視相機系統的位姿關系，即外參，最終完成對固定在車輛前后左右的四顆魚眼相機的位姿標定；為加速360°鳥瞰環視圖像的拼接進程，節省計算資源開銷，將外參轉化為從魚眼矯正模塊所得的矯正圖像到鳥瞰圖像映射的第二查找表LUT2；最后通過無縫拼接、亮度平衡處理，得到360°鳥瞰環視路面圖像；根據原始魚眼圖像的最高分辨率，相應拼接后的路面圖像實際成像范圍可達自車前后左右3～5m；

深度特征提取模塊，基于深度神經網絡通過千萬級標注后的路面坑塘圖像樣本的迭代回歸學習，實現對不同路況下坑塘目標信息的量化和習得特征抽取；選用Inception v3作為提取坑塘目標深度特征的卷積神經網絡的主干，通過對卷積的分解來進一步降低計算量；

病害分析模塊，基于特征抽取和量化，通過深度神經網絡對輸入的路面鳥瞰環視圖像進行預測，框出圖像中潛在的坑塘位置，并通過鳥瞰拼接模塊中的坐標系轉換算法，估算出圖像中潛在坑塘目標區域的大小；采用YOLO v3作為坑塘目標檢測的整體網絡框架，將深度特征提取模塊中的Inception v3作為深度特征提取器；YOLO v3將輸入的待檢測360°鳥瞰環視路面圖像分成SxS個網格，通過對每個網格中圖像深度特征的分類，回歸預測B個邊框，將每個網格的分類信息和每個邊框的預測置信度相乘，得到每個邊框最終屬于某個類別的概率以及邊框在圖像中位置的準確度；隨后通過設置適當閾值，過濾掉概率小于設定閾值、準確度低于設定閾值的邊框，對剩下的邊框進行非極大值抑制，得到最終的坑塘目標檢測邊框；最后，結合鳥瞰拼接模塊中得到的外參和第二查找表LUT2，將檢測邊框在360°鳥瞰環視路面圖像中二維坐標轉化為車輛坐標系中的三維坐標，最終得到坑塘在實際路面中的位置和大小；

所述魚眼矯正模塊用以利用多張棋盤格魚眼圖像，在已知棋盤格方格尺寸的前提下，通過角點特征提取，確定魚眼圖像中每個方格頂點的位置，建立關于下列多項式函數的超定非線性方程組，通過求其最小二乘解，得到魚眼相機內參a₀，a₁，a₂，...，a_N

f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴+...

其中u、v分別為像素點在傳感器平面的坐標；

在求解上述魚眼相機內參的過程中，得到無畸變傳感器平面圖像(u,v)和畸變圖像(u',v')的放射變換關系：

根據上述放射變換關系，為了加速魚眼矯正模塊的運算速度，建立畸變魚眼圖像到無畸變線性平面圖像映射的第一查找表LUT1；

所述鳥瞰拼接模塊，用以根據廣角相機模型，f(u,v)＝PX；其中，f(u,v)即為上述多項式函數f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴+...，P是投影矩陣，將三維世界中的點X投影到二維圖像平面；基于投影矩陣P，建立矯正圖像與鳥瞰圖像轉換關系的第二查找表LUT2；

所述無縫拼接采用圖像融合方法，該方法基于像素值的加權平均平滑轉換；

設定圖像I₁(x,y)和圖像I₂(x,y)是需要無縫拼接的兩幅相鄰平面圖像，(x,y)是像素坐標；融合后的圖像像素值為：

其中，α是權重系數，由下面公式計算：

其中，r和c分別代表兩幅拼接圖像重疊區域的長和寬；k是增益；

所述亮度平衡是指環視系統中，所拼接的環視圖像來源于四個獨立相機成像，亮度曝光不盡相同；需要利用增益補償算法來最小化全局亮度差異，使得環視拼接圖像亮度一致；

對于一個圖像序列S₁、S₂、S₃、S₄,假設S_i-1和S_i是兩幅相鄰的平面圖像，在它們的重疊區域，計算圖像S_i的校正系數：

其中，C_c,j(p)是像素點p在色彩通道c的伽馬矯正后的顏色值；

三維二維坐標轉化方式為：f(u,v)＝PX；其中，f(u,v)即為上述多項式函數f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴+...，P是投影矩陣，將三維世界中的點X投影到二維圖像平面。