[發明專利]一種基于機載攝像機的高速公路車道線檢測方法

有效

• 申請號: 201610060174.6
• 申請日: 2016-01-28
• 公開（公告）號: CN105740809B
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 路小波;唐濤;姜良維;曾維理;衛朋
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于機載攝像機的高速公路車道線檢測方法，其特征在于按照以下步驟進行：

步驟1：逐幀讀取無人機上的攝像機拍攝的大小為M₁×M₂×3的三通道BGR彩色圖像，并將當前讀取的三通道BGR彩色圖像記為S₁，其中，M₁，M₂分別表示三通道BGR彩色圖像S₁的高度和寬度；

步驟2：在三通道BGR彩色圖像S₁上截取一個左上角點坐標、高度為M₃像素、寬度為M₄像素的感興趣區域ROI，得到大小為M₃×M₄×3的BGR彩色圖像S₂，感興趣區域ROI的初始值設定如下：高度M₃＝M₁，寬度M₄＝M₂，左上角點坐標(x₀，y₀)＝(0，0)；

步驟3：對BGR彩色圖像S₂進行降采樣，獲得大小為M₅×M₆×3的采樣圖像S₃，M₅＝M₃/scale，M₆＝M₄/scale，降采樣公式為

其中，dst₃(x₃，y₃)為采樣圖像S₃在第x₃行、第y₃列的像素點的像素值，src₂(x，y)為BGR彩色圖像S₂在第x行、第y列的像素點的像素值，scale是圖像降采樣系數，初始值為1，之后根據感興趣區域ROI的寬度與三通道BGR彩色圖像S₁的寬度比值進行調整，調整規則為

步驟4：對采樣圖像S₃進行二值化處理，得到一個二值圖像S₄，二值化處理過程為

其中，x₄＝x₃，y₄＝y₃；dst₄(x₄，y₄)為二值圖像S₄中的第x₄行、第y₄列的像素點的像素值；src_B(x₃，y₃)，src_G(x₃，y₃)，src_R(x₃，y₃)分別為采樣圖像S₃的第x₃行、第y₃列的像素點在BGR顏色空間藍色、綠色、紅色分量的值；th1、th2、th3分別為藍色、綠色、紅色分量的閾值，th1、th2、th3都取為180；

步驟5：獲取車道線二值圖像，其步驟如下：

步驟5.1利用車道線的寬度信息按照如下步驟剔除二值圖像S₄的每一行中寬度大于給定閾值的連續白色點：

步驟5.1.1從二值圖像S₄的第一行第一個像素點開始進行掃描，然后進入步驟5.1.2；

步驟5.1.2如果當前掃描像素點為黑色點，則進入步驟5.1.6，如果當前掃描像素點為白色點，則進入步驟5.1.3；

步驟5.1.3若當前掃描像素點為每行的第一個像素點或者當前掃描像素點的前一個像素點為黑色點，則用index_1記錄當前掃描像素點所在列坐標，作為這段連續白色點的起始位置，然后進行步驟5.1.4，若當前掃描像素點的前一個像素點為白色點，則進入步驟5.1.4；

步驟5.1.4若當前掃描像素點為每一行的最后一個像素點或者當前掃描像素點的下一個像素點為黑色點，則用index_2記錄當前掃描像素點所在列坐標，作為這段連續白色點的結束位置，然后進行步驟5.1.5，若當前掃描像素點的后一個像素點為白色點，則進入步驟5.1.6；

步驟5.1.5計算這段連續白色點個數n＝(index_2-index_1)+1，連續白色點數的閾值thresh＝3，如果n＞thresh，將二值圖像S₄中當前掃描行的列坐標在index_1和index_2之間的像素點全部賦值為0，變為黑色點，然后進入步驟5.1.6；如果n≤thresh，則進入步驟5.1.6；

步驟5.1.6若二值圖像S₄中所有的點都掃描結束，則進入步驟5.2，否則，繼續掃描下一像素點并返回步驟5.1.2；

步驟5.2檢測步驟5.1處理過的二值圖像S₄的白色點形成的連通域，并且計算每個連通域中像素點的個數，將像素點的個數少于30的連通域去掉，得到車道線二值圖像S₅，車道線二值圖像S₅的行坐標表示為x₅，列坐標表示為y₅；

步驟6：獲取直線段參數

檢測車道線二值圖像S₅中的直線段，獲取直線段參數集L₁，其步驟如下：

步驟6.1從車道線二值圖像S₅中收集所有白色點的一對行坐標和列坐標，得到一個坐標集C₁，并創建一個總行數為181，總列數為2×(M₅+M₆)的參數空間矩陣D，參數空間矩陣D的所有元素的初值為0，然后進行步驟6.2；

步驟6.2如果坐標集C₁為空集，則得到一個直線段參數集L₁，所述直線段參數集L₁中的每條線段由兩個端點坐標(x_{start，i}，y_start，i)、(x_end，i，y_end，i)共4個參數表示，每條線段的參數作為一組參數，則共有N₁組，并結束步驟6，反之，則隨機抽取C₁中的一對行坐標x_p和列坐標y_p，并且從坐標集C₁中去除當前抽取的這一對行坐標x_p和列坐標y_p，然后進行步驟6.3；

步驟6.3將當前抽取的這一對行坐標x_p和列坐標y_p按如下公式進行變換：

ρ＝x_p·cos(θ)+y_p·sin(θ)，θ＝0°，1°，2°，L，180°

總共得到181組ρ和θ，再對參數空間矩陣D中的第θ+1行、第[ρ]+M₅+M₆列的元素加1，[ρ]表示對ρ取整數，然后找出參數空間矩陣D中所有元素的最大值max及最大值max所在的行坐標θ_m+1和列坐標ρ_m+M₅+M₆，再判斷這個最大值max是否大于給定閾值50，如果大于，則進行步驟6.4，否則返回步驟6.2；

步驟6.4將參數空間矩陣D中所有元素的最大值max所在的行坐標θ_m+1和列坐標ρ_m+M₅+M₆代入以下公式：ρ＝x_i·cos(θ)+y_i·sin(θ)，得到車道線二值圖像S₅中的一條直線方程ρ_m＝x₅·cos(θ_m)+y₅·sin(θ_m)，然后在車道線二值圖像S₅中，以當前抽取的這一對行坐標x_p、列坐標y_p所對應的像素點為起始點，沿著ρ_m＝x₅·cos(θ_m)+y₅·sin(θ_m)這條直線搜索白色點，當遇到圖像邊界或者連續黑色點的數量超過50時，結束搜索，得到一條白色直線段的兩個端點坐標和在這條白色直線段上的N個白色點的行坐標和列坐標，如果當前直線段上的兩個端點的距離等于或大于100像素，則記錄當前直線段的兩個端點坐標(x_{start，i}，y_start，i)、(x_end，i，y_end，i)，然后去除坐標集C₁中已經確定屬于這條直線段的這N個白色點的行坐標和列坐標，并且將已經確定屬于這條直線段的這N個白色點的每一對行坐標x_i和列坐標y_i，i為正整數，i＝1，2，L，N，按照公式ρ＝x_i·cos(θ)+y_i·sin(θ)，θ＝0°，1°，2°，L，180°進行變換，然后對參數空間矩陣D中的第θ+1行、第[ρ]+M₅+M₆列的元素減1，如果當前直線段上的兩個端點距離小于100像素，直接去除坐標集C₁中已經確定屬于當前直線段的這N個白色點的行坐標和列坐標，然后返回步驟6.2；

步驟7：利用高速公路的車道線分布特點，去掉非車道線的直線，得到車道線參數序列L₅，其步驟如下：

步驟7.1首先利用步驟6中獲取到的直線段參數集L₁中候選線段兩個端點坐標(x_start，i，y_start，i)、(x_end，i，y_end，i)計算每條線段的線段角度然后使用統計學方法得到所有線段角度{α_i}的統計直方圖，從統計直方圖中選擇候選車道線線段的角度區間[α_min，α_max]，具體步驟為：從統計直方圖的第一個區間開始往后面的區間方向找到第一個頻數大于4的區間，以這個區間的下限值作為α_min，從統計直方圖的最后一個區間開始往前面的區間方向找到第一個頻數大于4的區間，以這個區間的上限值作為α_max，舍棄候選車道線線段的角度區間[α_min，α_max]以外的線段角度值所對應的直線段參數，得到參數組數為N₂的候選車道線線段參數集L₂；

步驟7.2將候選車道線線段參數集L₂中的線段參數由兩個端點坐標表示轉變為每條線段所在直線的斜率k₁和截距b₁表示，如果有多條線段在一條直線上，僅保留一組直線參數，最后得到一個參數組數為N₃的候選車道線參數集L₃；

步驟7.3將候選車道線參數集L₃中的參數k_1i及b_1i轉換成對應于三通道BGR彩色圖像S₁的參數k_i及b_i，k_i＝k_1i，b_i＝b_1i*scale，i為正整數，i＝1，2，L，N₃，并且計算出候選車道線參數集L₃中每組參數對應直線與三通道BGR彩色圖像S₁下邊界的交點的列坐標y_bottom，i，i為正整數，i＝1，2，L，N₃，之后對候選車道線參數集L₃中的直線參數按照每組參數對應的y_{bottom，i}的大小進行從小到大的排序，得到候選車道線參數序列L₄，再依次計算候選車道線參數序列L₄中相鄰參數對應的直線與三通道BGR彩色圖像S₁下邊界交點的列坐標之間的差值，得到間距序列{d_bottom，j}，同時依次計算候選車道線參數序列L₄中相鄰參數對應直線之間的角度差，得到角度差序列{Δβ_j}，j為正整數，j＝1，2，L，N₃-1，并且分別計算間距序列{d_{bottom，j}}的均值及角度差序列{Δβ_j}的均值然后按照以下步驟去掉非車道線直線：

步驟7.3.1從候選車道線參數序列L₄中取第一組和第二組直線參數，并作為一對相鄰直線參數，同時從候選車道線參數序列L₄中刪除抽取的這第一組和第二組直線參數，并設一車道線參數序列L₅，此時為空序列，進入步驟7.3.2；

步驟7.3.2如果當前抽取的這對相鄰直線參數對應的直線與三通道BGR彩色圖像S₁下邊界交點的列坐標之間的差值d_bottom和角度差Δβ滿足條件：且則這對相鄰直線參數對應的兩條直線都是車道線，將這兩組直線參數按照它們在候選車道線參數序列L₄中的先后順序依次放在車道線參數序列L₅的尾部，進入步驟7.3.9，否則進入步驟7.3.3；

步驟7.3.3如果候選車道線參數序列L₄是空序列，進入步驟7.3.4，否則進入步驟7.3.5；

步驟7.3.4將當前這對相鄰直線參數中的前一組直線參數放在車道線參數序列L₅的尾部，得到最后的車道線參數序列L₅，車道線參數序列L₅中每組直線參數對應著一條車道線，并結束步驟7；

步驟7.3.5再從候選車道線參數序列L₄中抽取第一組直線參數并且從候選車道線參數序列L₄中刪除第一組直線參數，與步驟7.3.2中的那對相鄰直線參數進行兩兩配對，形成三對直線參數，分別判定每對直線參數對應的直線與三通道BGR彩色圖像S₁下邊界交點的列坐標之間的差值d_bottom和角度差Δβ是否滿足條件：且結果存在以下三種情況：如果有且僅有一對直線參數對應的d_bottom和Δβ滿足條件，則進入步驟7.3.6，如果有兩對直線參數對應的d_bottom和Δβ滿足條件，則進入步驟7.3.7，如果三對直線參數對應的d_bottom和Δβ都不滿足條件，則進入步驟7.3.8；

步驟7.3.6滿足條件的這對直線參數對應的兩條直線都是車道線，將這兩組直線參數按照它們在候選車道線參數序列L₄中的先后順序依次放在車道線參數序列L₅的尾部，然后進入步驟7.3.9；

步驟7.3.7分別計算滿足條件的兩對直線參數中每對直線參數對應的d_bottom、Δβ與均值的差異和δ即選擇差異和δ最小的這對直線參數對應的兩條直線作為車道線，將這兩組直線參數按照它們在候選車道線參數序列L₄中的先后順序依次放在車道線參數序列L₅的尾部，進入步驟7.3.9；

步驟7.3.8將這三組直線參數中的最前一組直線參數對應的直線作為車道線，并將這組直線參數放在當前車道線參數序列L₅的尾部，進入步驟7.3.9；

步驟7.3.9如果候選車道線參數序列L₄為空序列，則得到最后的車道線參數序列L₅，車道線參數序列L₅中每組直線參數對應著一條車道線，結束步驟7，否則抽取候選車道線參數序列L₄的第一組直線參數和車道線參數序列L₅的最后一組直線參數，形成一對相鄰直線參數，并刪除候選車道線參數序列L₄的第一組直線參數和車道線參數序列L₅的最后一組直線參數，返回步驟7.3.2；

步驟8：更新感興趣區域ROI

將車道線參數序列L₅中第一組直線參數對應的直線l_left和最后一組直線參數對應的直線l_right分別作為高速公路的左右邊界線，先計算直線l_left與三通道BGR彩色圖像S₁上下邊界的交點的列坐標y_lu和y_ld，然后計算直線l_right與三通道BGR彩色圖像S₁上下邊界的交點的列坐標y_ru和y_rd，并根據這些值對感興趣區域ROI的左上角點坐標(x₀，y₀)中的y₀及寬度M₄進行更新，x₀和高度M₃不變，將此更新后的感興趣區域ROI作為下一幀圖像的感興趣區域ROI，返回步驟1。