[發明專利]一種結合SegNet和U-Net的車道線檢測方法和裝置

有效

• 申請號: 202010953936.1
• 申請日: 2020-09-11
• 公開（公告）號: CN112149535B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 朱顯丞;黃德天;陳健;吳嬌綠;于耀博
• 申請（專利權）人: 華僑大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/32;G06V10/20;G06N3/0464;G06V10/56;G06V20/56;G06T3/40
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭

1.一種結合SegNet和U-Net網絡的車道線檢測方法，其特征在于，包括以下步驟：

制作數據集和標簽；

構建基于SegNet的車道線檢測網絡；

將U-Net網絡的跳躍連接結構加入所述的基于SegNet的車道線檢測網絡，得到一種結合SegNet和U-Net的車道線檢測網絡；

使用所述結合SegNet和U-Net網絡的車道線檢測網絡對待識別的行車場景圖像進行檢測，得到檢測結果；

所述構建基于SegNet的車道線檢測網絡，具體包括：

所述基于SegNet的車道線檢測網絡，包括編碼模塊和解碼模塊；

所述編碼模塊對輸入圖像進行多次卷積、ReLU激活、批量標準化、最大池化操作，得到用于提取車道線的多層特征圖；

所述解碼模塊對輸入的多層特征圖進行多次反卷積、ReLU激活、批量標準化操作，用于根據編碼模塊提取的特征，逐層對車道線進行識別和分割，最終完成對車道線的檢測；

所述將U-Net網絡的跳躍連接結構加入所述的基于SegNet的車道線檢測網絡，具體為：將各個解碼單元的第一次卷積操作后的輸出與其對應的同尺寸淺層特征圖在通道維度上進行拼接；

所述的各個解碼單元的第一次卷積操作后的輸出與其對應編碼單元的淺層特征具有相同的尺寸，具體為：

第一解碼單元的第一次卷積操作的輸出對應第四編碼單元的第二次卷積操作的輸出；

第二解碼單元的第一次卷積操作的輸出對應第三編碼單元的第二次卷積操作的輸出；

第三解碼單元的第一次卷積操作的輸出對應第二編碼單元的第三次卷積操作的輸出；

第四解碼單元的第一次卷積操作的輸出對應第一編碼單元的第二次卷積操作的輸出。

2.根據權利要求1所述的一種結合SegNet和U-Net網絡的車道線檢測方法，其特征在于：所述制作數據集和標簽，具體為：

選取行車場景圖像；

對行車場景圖像進行預處理；

對預處理后的行車場景圖像進行旋轉、水平翻轉處理，得到擴展后的圖像，作為數據集；

將數據集中的行車場景圖像轉換為二值圖像，并采用最大類間方差法獲取車道線在圖像中所對應的像素點，進行灰度值賦值處理，得到灰度值賦值處理后的二值圖像，作為數據集的標簽；

選取訓練樣本。

3.根據權利要求1所述的一種結合SegNet和U-Net網絡的車道線檢測方法，其特征在于，所述編碼模塊由第一編碼單元、第二編碼單元、第三編碼單元和第四編碼單元串聯組成；

所述第一編碼單元、第三編碼單元和第四編碼單元均由卷積層、批量標準化層、卷積層、批量標準化層、池化層串聯組成；所述第二編碼單元由卷積層、批量標準化層、卷積層、批量標準化層、卷積層、批量標準層、池化層串聯組成。

4.根據權利要求1所述的一種結合SegNet和U-Net網絡的車道線檢測方法，其特征在于，所述解碼模塊由第一解碼單元、第二解碼單元、第三解碼單和第四解碼單元串聯組成；

所述第一解碼單元和第二解碼單元包括3層卷積層；第三解碼單元和第四解碼單元包括4層卷積層。

5.如權利要求1所述的一種結合SegNet和U-Net網絡的車道線檢測方法，其特征在于，所述使用所述結合SegNet和U-Net網絡的車道線檢測網絡對待識別的行車場景圖像進行檢測，得到檢測結果，具體為：

將行車場景圖像作為所述的一種結合SegNet和U-Net的車道線檢測網絡的輸入，得到的輸出是一幅相應的掩膜圖像；

將掩膜圖像中的各個像素點的灰度值分別乘以255；

將掩膜圖像等效為一幅“G”顏色通道圖像，并將掩膜圖像與“R”顏色通道和“B”顏色通道進行疊加，得到一幅大小為80*160的RGB圖像；

將所述RGB圖像的尺寸縮放至與輸入圖像相同，并與輸入圖像進行圖像的加權和操作，實現原始圖像與掩膜的可視化，最終得到實際效果圖。

6.一種結合SegNet和U-Net網絡的車道線檢測裝置，其特征在于，包括：

準備模塊：制作數據集和標簽；

構建基礎網絡模塊：用于構建基于SegNet的車道線檢測網絡；

構建結合網絡模塊：將U-Net網絡的跳躍連接結構加入所述的基于SegNet的車道線檢測網絡，得到一種結合SegNet和U-Net的車道線檢測網絡；

檢測模塊：使用所述結合SegNet和U-Net網絡的車道線檢測網絡對待識別的行車場景圖像進行檢測，得到檢測結果；

所述構建基于SegNet的車道線檢測網絡，具體包括：

所述基于SegNet的車道線檢測網絡，包括編碼模塊和解碼模塊；

所述編碼模塊對輸入圖像進行多次卷積、ReLU激活、批量標準化、最大池化操作，得到用于提取車道線的多層特征圖；

所述解碼模塊對輸入的多層特征圖進行多次反卷積、ReLU激活、批量標準化操作，用于根據編碼模塊提取的特征，逐層對車道線進行識別和分割，最終完成對車道線的檢測；

所述將U-Net網絡的跳躍連接結構加入所述的基于SegNet的車道線檢測網絡，具體為：將各個解碼單元的第一次卷積操作后的輸出與其對應的同尺寸淺層特征圖在通道維度上進行拼接；

所述的各個解碼單元的第一次卷積操作后的輸出與其對應編碼單元的淺層特征具有相同的尺寸，具體為：

第一解碼單元的第一次卷積操作的輸出對應第四編碼單元的第二次卷積操作的輸出；

第二解碼單元的第一次卷積操作的輸出對應第三編碼單元的第二次卷積操作的輸出；

第三解碼單元的第一次卷積操作的輸出對應第二編碼單元的第三次卷積操作的輸出；

第四解碼單元的第一次卷積操作的輸出對應第一編碼單元的第二次卷積操作的輸出。