[發明專利]一種基于交通指示牌的車輛位姿估計方法

在審

• 申請號: 201611260047.7
• 申請日: 2016-12-30
• 公開（公告）號: CN106651953A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 陳輝;袁金釗
• 申請（專利權）人: 山東大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/90;G06K9/62
• 代理公司: 濟南金迪知識產權代理有限公司37219
• 代理人: 楊樹云

1.一種基于交通指示牌的車輛位姿估計方法，所述交通指示牌是指位于道路兩側上方顯著位置的平面矩形目標，其特征在于，包括步驟如下：

A、構建數據庫

所述數據庫包括各個交通指示牌的以下信息：地理坐標、交通指示牌的尺寸大小、交通指示牌與道路夾角、交通指示牌處車道信息、底色，所述地理坐標是指交通指示牌所在的經度、緯度；所述交通指示牌的尺寸大小包括交通指示牌的長度值與寬度值；所述交通指示牌處車道信息包括道路上的車道數量、車道的寬度以及車道導向；所述地理坐標為索引；

B、車輛位姿估計

a、通過安裝在車輛前方的單目相機實時獲取道路圖像，所述單目相機光軸的指向與車輛的行駛方向相同，并且光軸延伸方向與車輛所在道路平面法向量垂直；

b、將步驟a獲取的道路圖像由RGB顏色空間轉換至HSV顏色空間；

c、對步驟b獲取的圖像進行HSV閾值處理，符合閾值的區域像素設置為255，否則，設置為0，得到初步候選區域；

d、對步驟c獲取的初步候選區域進行去噪處理，去除面積較小、寬高比例過大、寬高比例過小的噪聲區域；

e、訓練SVM分類器，從步驟c去噪處理后的剩余區域中得到目標區域：選取形狀、位置、顏色先驗知識作為特征，所述形狀為寬高比例取值范圍為1-2的矩形，所述位置為所述區域上部2/3的區域，所述顏色為藍色或白色，采集大量正樣本、負樣本進行訓練，從剩余區域中獲得目標區域；

f、精確提取目標交通指示牌控制點坐標：運用輪廓提取和直線檢測算法，獲得目標交通指示牌四個頂點的坐標，即為目標交通指示牌控制點坐標；

g、解算車輛位姿參數；

所述步驟b，包括步驟如下：

(1)通過常規GPS獲得車輛的概略位置信息，即該車輛所在位置的經度、緯度，從數據庫中查找距離該概略位置小于或等于D_t的關聯交通指示牌的信息并提取，D_t的取值范圍為50-100m；D_t

(2)由步驟(1)中提取的關聯交通指示牌的底色，確定色調H的閾值大??；飽和度S的閾值取值范圍為0.35<S<1，亮度V的閾值取值范圍為0.35<V<1；

所述步驟c，包括步驟如下：

(3)采用H、S、V的閾值取值范圍對道路圖像中的所有像素進行遍歷，如果該像素均符合H、S、V的閾值取值范圍，則該像素值設置為255，否則，該像素值設置為0，最終得到二值化圖像I_b；

(4)選取一個大小為n×n的正方形窗，5<n<20，對二值化圖像I_b進行形態學的閉操作處理，得到二值化圖像I_b'；

所述步驟d，包括步驟如下：

(5)對二值化圖像I_b'中白色連通區域進行標號區分并計算面積，任意標號i代表一個白色連通區域整體，計算任意標號i代表的白色連通區域中白色像素點的數目A_i作為其面積；設定白色連通區域面積閾值最大值A_max及A_min，對于任意標號為i的白色連通區域，如果符合A_max>A_i>A_min，則該白色連通區域保留，否則，去除；由此得到更新后的二值化圖像I_u；

(6)對二值化圖像I_u中剩余的區域分別計算寬高比，任意剩余區域j的橫坐標最小值x_jmin和橫坐標最大值x_jmax，以及縱坐標最小值y_jmin和縱坐標最大值y_jmax，任意剩余區域j的寬高比例P_j＝(x_jmax-x_jmin)/(y_jmax-y_jmin)；設定寬高比例閾值最大值P_max為1:1、寬高比例閾值最小值P_min為1:2，對于任意剩余區域j，如果符合P_max>P_i>P_min，則該剩余區域j保留，否則，去除，得到進一步更新的二值化圖像I_u′；

所述步驟e，包括步驟如下：

運用SVM分類器對二值化圖像I_u′中剩余的區域進行分類，如果從二值化圖像I_u′中得到兩個以上的區域，則選取面積最大的一個區域作為目標區域R_t，如果從I_u′中得到唯一的區域，確定該區域為目標區域R_t；

所述步驟f，包括步驟如下：

(7)在目標區域R_t中，調用OpenCV中的輪廓檢測函數，通過輪廓面積排除法保留目標區域R_t最外圍輪廓；

(8)使用OpenCV中HoughLines函數檢測直線，通過檢測得到的4條直線兩兩相交求得目標區域R_t的四個頂點坐標，即目標交通指示牌的4個控制點坐標P_In；

所述步驟g，包括以下步驟：

(9)使用Matlab攝像機標定工具箱對單目相機進行標定，獲得單目相機的內參數矩陣K，K為3×3矩陣，包含單目相機的焦距參數和圖像中心參數；

(10)提取目標交通指示牌的4個控制點坐標P_In；

(11)通過常規GPS從數據庫中獲取關聯交通指示牌的尺寸大小，該尺寸大小經由單目相機內參數矩陣K轉換為關聯交通指示牌的4個頂點的坐標P_d；

(12)目標交通指示牌的4個控制點坐標P_In與關聯交通指示牌的4個頂點的坐標P_d一一對應，設定世界坐標系的原點為目標交通指示牌的中心，計算由目標交通指示牌位置到數據庫中關聯交通指示牌位置的平面透視變換矩陣M；

(13)關聯交通指示牌的4個頂點確定的標準正交單應性矩陣H_db如式(Ⅰ)所示：

H_db＝K[r_db1 r_db2 r_db3 t_db] (Ⅰ)

式(Ⅰ)中，[r_db1 r_db2 r_db3 t_db]為數據庫模擬拍攝標準正交圖像時的單目相機外參數矩陣，r_db1,r_db2,r_db3為數據庫模擬拍攝標準正交圖像時的單目相機在世界坐標系中分別繞X軸、Y軸、Z軸旋轉得到的旋轉向量，t_db為數據庫模擬拍攝標準正交圖像時的單目相機相對世界坐標系原點沿X軸、Y軸、Z軸的平移向量；

關聯交通指示牌的4個頂點均處于1個平面，世界坐標系中的Z軸坐標均為0，因此可省略r_db3，同時由正交關系可得式(Ⅱ)：

式(Ⅱ)中，d代表單目相機光心到目標交通指示牌的距離；

(14)目標交通指示牌的單應性矩陣H_In表示式(Ⅲ)所示：

H_In＝K[r_In1 r_In2 t_In] (Ⅲ)

式(Ⅲ)中，[r_In1 r_In2 t_In]為單目相機在道路上拍攝時的外參數矩陣，r_In1,r_In2為單目相機在道路上拍攝時圍繞X軸、Y軸旋轉得到的旋轉矩陣，t_In為單目相機在道路上拍攝時沿世界坐標系X軸、Y軸、Z軸的平移向量；

圖像像素坐標系與世界坐標系關系為p＝KRTP_W，p為像素坐標，P_W為世界坐標，RT為旋轉與平移矩陣，求得目標交通指示牌的單應性矩陣H_In如式(Ⅳ)所示：

H_In＝MH_db (Ⅳ)

則得到式(Ⅴ)：

[r_In1 r_In2 t_In]＝K^-1MK[r_db1 r_db2 t_db] (Ⅴ)

(15)構造3×3旋轉矩陣R＝[r_p1 r_p2 r_p3]，r_p1 r_p2 r_p3為單目相機分別繞世界坐標系X軸、Y軸、Z軸的旋轉向量，由于旋轉向量相互正交，求出r_p3＝r_p1×r_p2；對R進行奇異值分解，得到R＝UDV^T，U為3×3酉矩陣，D為3×3對角陣，V為3×3酉矩陣；

由于R本身是正交的，所以D＝I，I為單位矩陣，根據(Ⅵ)將R強制計算為精確的旋轉矩陣R′：

R′＝UIV^T (Ⅵ)

利用羅德里格斯變換，將R變換為3×1的向量r_p＝[α β θ]，r_p即為單目相機旋轉向量，得到相機的實時姿態，因相機光軸與車輛行駛方向重合，r_p表示車輛的實時走向和姿態，α代表車輛俯仰角，β代表車輛航向角，θ代表車輛橫滾角；

通過式(VII)計算平移矩陣T_p：

T_p＝[T_p1 T_p2 T_p3]＝R′^-1[r_In1 r_In2 t_In] (VII)

式(VII)中，T_p為3×3矩陣，T_p1,T_p2和T_p3為矩陣T_p的三個列向量，R′^-1為經強制轉換后旋轉矩陣的逆；

利用式(Ⅷ)，對T_p3進行歸一化處理，求出單目相機位置，即單目相機在以交通指示牌中心為原點的世界坐標系下的坐標t_p：

式(Ⅷ)中，△x代表車載單目相機到交通指示牌中心的橫向距離，結合數據庫預存的車道信息，推算出車輛所在車道；△y代表單目相機到交通指示牌中心的高差，由此推算出車輛所處位置的海拔；△z代表單目相機到交通指示牌平面的法線距離，即車輛到交通指示牌的遠近，至此得到車輛的6個位姿參數。

2.根據權利要求1所述的一種基于交通指示牌的車輛位姿估計方法，其特征在于，通過手持式RTK-GPS儀測量得到交通指示牌的地理坐標。