[發明專利]一種基于透視畸變校正的路牌檢測方法及裝置

在審

• 申請號: 202010581567.8
• 申請日: 2020-06-23
• 公開（公告）號: CN111723751A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 劉近平;李曉娜;王俊昌;李松;王飛
• 申請（專利權）人: 安陽工學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06T5/00;G06F17/18;G06F17/16
• 代理公司: 安陽市智浩專利代理事務所(普通合伙) 41116
• 代理人: 楊紅軍

本發明實施例公開一種基于透視畸變校正的路牌檢測方法及裝置。應用本發明實施例提供的方案，能夠基于路牌圖像四個角點的檢測結果，對路牌圖像進行透視校正，從而對校正后的路牌圖像進行路牌檢測時，可以提高路牌檢測結果的準確性。并且，可以將檢測結果與路牌詞典庫進行對比，來驗證檢測結果是否準確。當角點檢測失敗導致路牌檢測結果不準確時，還可以基于預先訓練得到的空間轉換器對路牌圖像進行透視畸變校正，進一步提高路牌檢測結果的準確性。

技術領域

本發明涉及智能駕駛技術領域，具體而言，涉及一種基于透視畸變校正的路牌檢測方法及裝置。

背景技術

在自動駕駛領域，感知算法需要檢測道路中的路牌，以根據檢測結果控制無人駕駛車輛安全行駛。例如，可以通過安裝于無人駕駛車輛中的相機采集車輛行駛前方的圖像，進而對圖像中路牌區域進行字符檢測，得到檢測結果。

然而，在實際應用中，相機采集到的圖像通常都帶有透視畸變，該透視畸變會導致路牌中字符的檢測準確性降低。因此，為了提高路牌檢測的準確性，亟需一種路牌檢測方法。

發明內容

本發明提供了一種基于透視畸變校正的路牌檢測方法及裝置，以提高路牌檢測的準確性。具體的技術方案如下。

第一方面，本發明實施例提供一種基于透視畸變校正的路牌檢測方法，所述方法包括：

獲取初始路牌圖像；

將所述初始路牌圖像輸入預先訓練得到的卷積神經網絡中，得到所述初始路牌圖像中所包含路牌的四個初始角點坐標；所述卷積神經網絡為根據各樣本圖像，以及所述各樣本圖像中路牌角點的坐標標注結果訓練得到的；

基于所述四個初始角點坐標，確定所述初始路牌圖像對應的輸出圖像的輸出寬度和輸出高度，并根據所述輸出寬度和所述輸出高度，計算所述輸出圖像的四個輸出角點坐標；所述初始寬度和所述輸出寬度的第一比值位于預設第一范圍內，所述初始高度和所述輸出高度的第二比值位于預設第二范圍內；

根據所述四個初始角點坐標、以及所述四個輸出角點坐標，計算得到透視變換矩陣；并根據所述透視變換矩陣、所述輸出圖像的輸出寬度和輸出高度、以及所述初始路牌圖像，采用雙線性差值方法計算所述輸出圖像中各像素點的像素值，得到所述輸出圖像；

對所述輸出圖像進行字符檢測，得到初始字符檢測結果；

判斷所述初始字符檢測結果是否包含在預先構建的路牌詞典庫中；

當所述初始字符檢測結果包含在所述路牌詞典庫時，將所述初始字符檢測結果作為所述初始路牌圖像的最終檢測結果；

當所述初始字符檢測結果未包含在所述路牌詞典庫時，將所述初始路牌圖像輸入預先訓練得到的空間變換網絡中，得到所述初始路牌圖像對應的校正后圖像，并對所述校正后圖像進行字符檢測；所述空間變換網絡為根據各標準路牌圖像，以及對所述各標準路牌圖像進行透視畸變后得到的畸變圖像訓練得到的。

可選的，所述卷積神經網絡的訓練過程包括：

構建初始卷積神經網絡；

獲取各樣本圖像，并確定所述各樣本圖像中路牌角點的坐標標注結果；

將所述各樣本圖像，以及所述各樣本圖像中路牌角點的坐標標注結果輸入所述初始卷積神經網絡，當所述初始卷積神經網絡得到的目標函數的取值變化值小于閾值時，將當前的初始卷積神經網絡作為所述卷積神經網絡。

可選的，所述目標函數為：

，，為所述初始卷積神經網絡預測得到的第i個角點的橫坐標，為所述初始卷積神經網絡預測得到的第i個角點的縱坐標，為標注的第i個角點的橫坐標，為標注的第i個角點的縱坐標；

。