[發明專利]一種基于深度學習語義分割的棋盤格檢查方法

有效

• 申請號: 202110439985.8
• 申請日: 2021-04-23
• 公開（公告）號: CN113112552B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 楊盼;王瑞;羅先偉;朱晶星;賴杰
• 申請（專利權）人: 上汽大通汽車有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06N3/04;G06N3/08
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽;周湛湛

本發明涉及一種基于深度學習語義分割的棋盤格檢查方法，所述方法用于任何相機標定時檢測棋盤格用，首先獲取棋盤格圖像，以達到標定相機的內外參的目的，通過車載攝像頭以獲取圖像并進行棋盤格檢查。相對于傳統的圖像處理方法，本申請請準度高、誤差度小，可以結合傳統棋盤格檢測的優點，提升對環境中干擾項的適應能力，同時也提升了對環境光照的適應能力。

技術領域

本發明涉及一種基于深度學習語義分割的棋盤格檢查方法，屬于汽車駕駛輔助技術領域。

背景技術

目前基于相機的視覺系統，在智能駕駛車上都扮演越來越重要的角色。相機類似于智能駕駛車的眼睛，用于目標檢測，以判斷周圍的環境。在檢測到目標物后，需要知道目標物到車的距離，此時就可以通過相機相對于車的位姿計算得到。相機相對于車的位姿就需要通過標定得到。

相機標定主要是指計算相機的內參及外參（相對于車的位姿）。目前相機標定最常用的是通過檢測棋盤格（包括二維碼）的角點來計算相機的內外參。從智能駕駛車的下線標定成功率和4S店標定的適用性看，棋盤格（包括二維碼）角點檢測的魯棒性就顯得格外重要了。

目前棋盤格（包括二維碼）檢測的主要方法還是傳統的圖像處理方法，如OCamcalib/ROCHADE/CHESS等（參考后面參考文獻）。這些方法在光照比較理想的情況下，檢測效果都很不錯。但是當環境光不均勻、反光、棋盤格上有臟污、或不同時間光照變化比較大時，檢測效果就不太理想了。裝有相機的車下線標定工廠的環境一般會比較復雜，有下線車輛前后燈的影響，還有工廠其他燈光的影響。有些工廠會建造密閉的標定工位，這樣依然需要對這個標定環境做適配，以保證標定通過率。車在4S店標定相機時，其環境更不可控，這種情況一般是使用人工選角點的方式進行標定，效率很低。

深度學習在處理圖像時，對環境的魯棒性會有非常明顯的提升。MATE（參考后面參考文獻）是一種利用深度學習直接檢測棋盤格角點的方法，對環境的魯棒性確實提升了。但是因為是直接檢測的棋盤格的角點，沒有其他的校驗信息，當深度學習給出的角點出現錯誤時，不好排除。同時棋盤格角點特征在物理世界中很容易被其他物體干擾，有時地上的一塊污漬的角落也可能會被認為是棋盤格角點，因此該方法容易出現誤檢。

發明內容

本發明的目的是提出一種基于深度學習語義分割的棋盤格檢查方法，該方法可以結合傳統棋盤格檢測的優點，提升對環境中干擾項的適應能力，同時也提升了對環境光照的適應能力。

為實現上述目的，本發明采用的技術方案如下：一種基于深度學習語義分割的棋盤格檢查方法，所述方法用于任何相機標定時檢測棋盤格用，首先獲取棋盤格圖像，以達到標定相機的內外參的目的，通過車載攝像頭以獲取圖像，所述車載攝像頭的安裝位置包括車前后保、左右后視鏡及前后擋風玻璃，采集到的圖像為RGB/YUV等任意圖像格式；

具體包括如下步驟，

步驟1，使用深度學習語義分割的方法將圖像中的棋盤格從圖像中分割出來；包括選擇分割網絡、GT標注、網絡參數訓練以及最后的預測；

1.1，分割網絡可以選擇常用的DeepLab等，也可以用resnet等網絡加以修改實現分割功能。該方案很多深度學習網絡都可以實現，選擇深度學習網絡的標準：a.為了提高環境的魯棒性網絡的深度必須夠，以本方案為例本方案選擇的resnet網絡，因為resnet解決了隨著網絡層增加，會出現退化的問題。b.小目標分割精度必須夠，因為隨著網絡不斷下采樣，特征圖中每個piexl的感受野也會也來越大，如果一個pixel的感受野超過6*6個pixel，那小目標的特征就不容易學習到。Resnet可以通過在主干網絡旁添加分支網絡保留更多小目標的信息。c.在滿足以上兩個需求的基礎上還要考慮速度問題，也就是說并不是網絡深度越深越好，分支越多越好。