[發明專利]基于TensorFlow和OpenCV的車道線識別方法

有效

• 申請號: 201910036301.2
• 申請日: 2019-01-15
• 公開（公告）號: CN109871759B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 王權;盧思源;尹升;劉勝
• 申請（專利權）人: 江蘇大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/764;G06V10/774;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了基于TensorFlow和OpenCV的車道線識別方法，從道路圖像中識別出車道線并建立車道線擬合方程，解決了傳統車道線識別算法中遇到的干擾項多、識別率低的難題。本發明使用TensorFlow建立卷積和反卷積神經網絡模型，模型經過訓練后可以實現道路圖像的語義分割，使該模型能夠對道路圖像中的車道線區域實現像素級的分類；然后建立可變閾值的圖像二值化方法，將神經網絡的輸出圖像二值化，區分出道路圖像中的車道線區域；最后使用OpenCV建立提取車道線坐標點的方法，從而進一步排除干擾項，從二值化圖像中提取出車道線坐標點，并建立車道線方程。本發明提出的算法具有效率高、識別率高的特點，并且在實際應用中也有較好的魯棒性。

技術領域

本發明屬于車輛自動駕駛圖像識別技術，具體涉及一種基于TensorFlow和OpenCV的車道線識別方法。

背景技術

車道線識別算法是自動駕駛算法中的重要組成部分，該算法采用的是圖像處理技術，從車前CCD相機中采集到的原始道路圖像中提取車道線上的點，并建立車道線方程，以完成對道路圖像中的車道線識別的功能。但是，由于道路圖像復雜，干擾項多，導致基于傳統的圖像處理方法不能夠滿足自動駕駛車輛對車道線識別精度的要求。

發明內容

針對上述問題，本發明提出了一種基于TensorFlow和OpenCV的車道線識別方法，該識別方法采用的算法融合了當前先進的圖像識別技術和傳統圖像處理技術的優點，前者通過神經網絡模型提取道路圖像中的車道線特征，實現了對道路圖像的車道線區域像素點級的分類功能；后者針對車道線的特點建立一系列的圖像處理算法，這些算法能夠進一步地去除干擾項目，獲得更佳的車道線識別效果。本發明提出的算法具有效率高、識別率高的特點，并且在實際應用中也有較好的魯棒性。本發明提出的設計方法包含以下步驟：

步驟1.圖像數據集的制作方法：制作圖像數據集的原始圖像數據來源于車前CCD相機采集到的彩色道路圖像，本發明利用這些圖像生成用于神經網絡訓練的圖像數據集。該制作方法包括圖像標注方法、圖像處理方法和生成圖像數據集方法。圖像標注方法通過手工進行圖像標注，利用LabelMe標注軟件將原始圖像中的車道線區域框選出來，輸出的標注圖像為二值圖像；圖像處理方法是將標注圖像和原始圖像分別經過處理后生成神經網絡模型訓練所需要的兩種圖像，包括訓練時的神經網絡輸入圖像和計算交叉熵時的輸入圖像；生成圖像數據集方法是利用TensorFlow的圖像數據集格式TFRecord，將圖像處理方法中的兩種圖像打包成圖像數據集。

步驟2.神經網絡模型的設計方法：神經網絡模型由TensorFlow搭建，本發明搭建該模型，然后對模型進行訓練后用于提取車道線特征。該模型共有8層，分別為卷積層1、卷積層2、卷積層3、最大池化層、反最大池化層、反卷積層3、反卷積層2、反卷積層1，每層具有特定的過濾器尺寸、過濾器深度和過濾器移動步長，有些層還使用了全零填充。在設計時，反卷積層3的輸入等于卷積層3的輸出與反最大池化層的輸出的線性加權和。

步驟3.可變閾值的圖像二值化方法：在實際使用中，訓練好的神經網絡模型會輸出具有明顯車道線特征的圖像，可變閾值的圖像二值化方法可以將這些輸出圖像進行二值化處理，處理后的圖像可以去除更多的干擾項，使車道線特征更加明顯。本發明將待處理的圖像的像素點的值與閾值比較，如果像素點值大于閾值，就將其設置為255，否則設置為0。可變閾值與待處理圖像的像素點之和具有一次函數關系，其斜率和截距可根據實際情況進行調整。

步驟4.提取車道線坐標點的方法：本發明利用OpenCV建立提取車道線坐標點算法，從經過二值化處理后的道路圖像中提取出車道線坐標點。該方法先設定一個中間值，然后進行圖像的行掃描和列掃描，行掃描的增量為8，列掃描的增量為1。圖像行掃描的過程中，如果像素點的值滿足以下兩種情況，將不再掃描下兩列數的兩個像素點的值，并記錄下一列數的一個像素點作為車道線的坐標點：

(a)像素點所在列數小于或等于中間值，像素點的像素值大于100，相同行向x軸正方向偏移1列像素點的像素值大于100，相同行向x軸正方向偏移4列像素點的像素值小于100；