[發(fā)明專利]惡劣霧天道路圖像信息恢復及車道保持預警方法

有效

• 申請?zhí)枺?/td>: 202011220630.1
• 申請日: 2020-11-05
• 公開（公告）號: CN112330559B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計）人: 陳梅;王秋鋮
• 申請（專利權(quán)）人: 山東交通學院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06V20/58;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G08B7/06;G08B21/18
• 代理公司: 長春市吉利專利事務(wù)所(普通合伙) 22206
• 代理人: 李曉莉

1.一種惡劣霧天道路信息恢復及車道保持預警方法，其特征在于：包括以下步驟，并且以下步驟順次進行，

步驟一、采集能見度在1000米以上的非霧天、晴朗天氣的道路圖像作為理想?yún)⒖紙D像，建立并訓練道路圖像概率神經(jīng)網(wǎng)絡(luò)分類器和不同霧濃度圖像分類器，通過訓練好的各分類器對工業(yè)攝像機(3)采集的實時圖像進行分類，獲得實時昏暗霧天道路圖像和實時昏黃霧天道路圖像，并對實時昏暗霧天道路圖像和實時昏黃霧天道路圖像的置信度進行評價，獲得確為昏暗霧天道路圖像的實時昏暗霧天道路圖像和確為昏黃霧天道路圖像的實時昏黃霧天道路圖像；

步驟二、在基于顏色遷移方法的道路信息恢復模塊(10)中建立基于顏色遷移的昏暗霧天道路圖像信息恢復模型

①道路能見度在1000米以上的非霧天，晴朗天氣采集的道路圖像作為理想?yún)⒖紙D像，基于顏色遷移方法的道路信息恢復模塊(10)利用MATLAB軟件提取理想?yún)⒖紙D像的RGB顏色空間信息并傳輸?shù)綄崟r昏暗霧天道路圖像，對理想?yún)⒖紙D像進行顏色空間轉(zhuǎn)換，將RGB顏色空間轉(zhuǎn)換到LMS顏色空間，獲得理想?yún)⒖紙D像的LMS顏色空間的數(shù)據(jù)，轉(zhuǎn)換公式如下所示：

其中，R是RGB色彩空間中紅通道，G是RGB色彩空間中綠通道，B是RGB色彩空間中藍通道，L表示亮度分量，色度分量M通道表示黃通道至藍通道的光譜變化，色度分量S通道表示紅通道至綠通道光譜變化；

②LMS顏色空間的數(shù)據(jù)存在分散傾向，分別對LMS顏色空間的數(shù)據(jù)取對數(shù)，轉(zhuǎn)換到lαβ顏色空間，獲得理想?yún)⒖紙D像的lαβ顏色空間的數(shù)據(jù)，轉(zhuǎn)換到lαβ顏色空間的形式如下所示：

其中，正交基的均勻色彩空間lαβ中，l表示亮度分量，色度分量α表示黃通道至藍通道的光譜變化，色度分量β表示紅通道至綠通道的光譜變化，L’為亮度分量L的對數(shù)，M’為色度分量M的對數(shù)，S’為色度分量S的對數(shù)；

③分別對理想?yún)⒖紙D像和昏暗霧天道路圖像的lαβ各個通道、各行對圖像的每一個像素進行計算求平均，用每行的和除以圖像寬度，分別獲得理想?yún)⒖紙D像和昏暗霧天道路圖像的lαβ三通道中每行像素的平均值之和，lαβ三通道每行像素的平均值之和公式如下：

其中，H表示圖像高度，l_jw表示圖像j行w列l(wèi)通道的像素值、α_jw表示j行w列α通道的像素值、β_jw表示圖像j行w列β通道的像素值、W表示圖像的寬度；w表示圖像像素列向量,即圖像寬度，w＝0,1,2,…W，l表示亮度分量，色度分量α表示黃通道至藍通道的光譜變化，色度分量β表示紅通道至綠通道的光譜變化；

利用MATLAB軟件根據(jù)著色圖像的線性變換獲得實時昏暗霧天道路圖像的lαβ各個通道、各行對圖像的每一個像素值，利用上述的lαβ三通道每行像素的平均值之和公式，獲得實時昏暗霧天道路圖像的lαβ各通道每行像素的平均值之和；

④分別將獲得的理想?yún)⒖紙D像的lαβ三通道每行像素的平均值之和求和后再除以高度，實時昏暗霧天道路圖像的lαβ三通道每行像素的平均值之和除以高度，分別獲得理想?yún)⒖紙D像以及實時昏暗霧天道路圖像的全局平均值，利用全局均值和方差公式，分別獲得理想?yún)⒖紙D像以及實時昏暗霧天道路圖像的全局均值和方差，將實時昏暗霧天道路圖像和理想?yún)⒖紙D像RGB轉(zhuǎn)換為lαβ，目的是使兩圖像在lαβ空間有相同的均值和方差，所述均值方差形式如下：

其中，i表示圖像像素的行向量，i＝1,2,3…W，W表示圖像的寬度，H表示圖像的高度，表示l通道的全局平均值，表示α通道全局平均值，表示β通道全局平均值，σ_l表示l通道的方差，σ_α表示α通道方差，σ_β表示β通道方差；

⑤理想?yún)⒖紙D像的lαβ三通道空間的數(shù)據(jù)減去理想?yún)⒖紙D像的相應(yīng)均值，將數(shù)據(jù)按設(shè)定的比例縮放，經(jīng)變換后分別加上實時昏暗霧天道路圖像三通道的均值，獲得理想?yún)⒖紙D像在lαβ通道上的像素值，lαβ通道上的三通道像素值公式分別如下：

其中，表示理想?yún)⒖紙D像l通道的數(shù)據(jù)減去理想?yún)⒖紙D像的均值，表示l通道實時昏暗霧天道路圖像與理想?yún)⒖紙D像在l空間的縮放比例，其為實時昏暗霧天道路圖像與理想?yún)⒖紙D像方差的比值，表示實時昏暗霧天道路圖像的l空間的平均值，σ^l_dst為l通道實時昏暗霧天道路圖像的方差，σ^l_src為l通道理想?yún)⒖紙D像的方差，σ^α_dst為α通道實時昏暗霧天道路圖像的方差，σ^α_src為α通道理想?yún)⒖紙D像的方差，σ^β_dst為β通道實時昏暗霧天道路圖像的方差，σ^β_src為β通道理想?yún)⒖紙D像的方差，為理想?yún)⒖紙D像l通道的平均值，為理想?yún)⒖紙D像α通道的平均值，為理想?yún)⒖紙D像β通道的平均值，為實時昏暗霧天道路圖像l通道的平均值，為實時昏暗霧天道路圖像α通道的平均值，為實時昏暗霧天道路圖像β通道的平均值；

⑥將實時昏暗霧天道路圖像進行恢復處理后的結(jié)果圖像，由lαβ顏色空間轉(zhuǎn)換為RGB顏色空間，獲得輸出的圖像，輸出的圖像同時具有理想?yún)⒖紙D像的顏色和實時昏暗霧天道路圖像的內(nèi)容，其形式如下：

其中，L表示亮度分量，色度分量M通道表示黃通道至藍通道的光譜變化，色度分量S通道表示紅通道至綠通道光譜變化，R是RGB色彩空間中紅通道，G是RGB色彩空間中綠通道，B是RGB色彩空間中藍通道；

⑦昏暗霧天道路圖像批量信息恢復

工業(yè)攝像機(3)實時采集的視頻每隔60幀取一張昏暗霧天道路單幀圖像，對昏暗霧天道路單幀圖像重復步驟二中的①～⑥進行一次信息恢復處理，實現(xiàn)視頻序列的昏暗霧天道路圖像信息恢復；

⑧將昏暗霧天道路圖像信息恢復前后圖像對比，對于同一內(nèi)容的圖像，利用恢復前后圖像邊緣灰度變化率為指標評價圖像清晰度，以每一行灰度值連續(xù)下降間隔像素點數(shù)最多的邊緣灰度變化率代表這一行的灰度變化率，計算并獲得圖像所有行灰度變化率均值，該均值超過給定閾值，重復步驟二的①～⑦再次進行圖像恢復，直至均值小于等于閾值，完成質(zhì)量評價，并將昏暗霧天道路圖像信息恢復后的清晰圖像存入車載顯示屏(13)的緩存中；

⑨昏暗霧天道路圖像信息恢復后的結(jié)果在車載顯示屏(13)上顯示

按下車載顯示屏(13)上的霧天道路信息恢復功能鍵，車載顯示屏(13)同步顯示緩存中即時的昏暗霧天道路圖像信息恢復后的實時清晰圖像；

步驟三、在基于三原色原理的昏黃霧圖恢復模塊(9)中建立基于三原色原理的昏黃霧天道路圖像恢復模型

①分別獲得采集的昏黃霧天道路圖像的RGB三原色圖層，分別為紅色圖層，綠色圖層，藍色圖層，其中紅色圖層像素值表示為(R,O,O)，綠色圖層像素值表示為(0,G,O)，藍色圖層像素值表示為(0,0,B)；

②去除昏黃霧天道路圖像的黃色圖層還原高透明度的藍天，因此首先獲得黃色圖層，根據(jù)圖層濾色原理，黃色圖層Y如下所示：

Y＝255-(M反相×N反相)/255

其中，M代表紅色圖層的像素顏色值，N代表綠色圖層的像素顏色值，Y表示濾色的結(jié)果，將紅色圖層和綠色圖層像素的標準色彩值設(shè)定于0～1之間的任一值，相乘后輸出，輸出的結(jié)果是比兩者的像素值都將要亮的黃色圖層Y；

③根據(jù)圖層濾色原理，獲得昏黃霧天道路圖像的去除黃色圖層的藍色通道圖層如下所示：

X＝255-(Z反相×Y反相)/255

其中，Z表示藍色圖層的像素顏色值,Y表示黃色圖層的像素顏色值,X表示經(jīng)過去除黃色圖層的藍色通道圖層；

④將紅色通道圖層、綠色圖層以及去除黃色圖層的藍色圖層進行三通道合成，最終獲得去除昏黃霧的清晰無霧圖像；

⑤昏黃霧天道路圖像批量信息恢復

工業(yè)攝像機(3)實時采集的視頻每隔60幀取一張昏黃霧天道路單幀圖像，對昏黃霧天道路單幀圖像重復步驟三中的①～④進行一次信息恢復處理，實現(xiàn)視頻序列的昏黃霧天道路圖像信息恢復；

⑥將昏黃霧天道路圖像信息恢復前后圖像對比，對于同一內(nèi)容的圖像，昏黃霧天道路圖像信息恢復后圖像的邊緣相對昏黃霧天道路圖像信息恢復前圖像邊緣灰度變化率為指標評價圖像清晰度，以每一行灰度值連續(xù)下降間隔像素點數(shù)最多的邊緣灰度變化率代表這一行的灰度變化率，計算并獲得圖像所有行灰度變化率均值，該均值超過給定閾值，重復步驟三的①～④再次進行圖像恢復，直至均值小于等于閾值，完成質(zhì)量評價，并將昏黃霧天道路圖像信息恢復后的清晰圖像存入車載顯示屏(13)的緩存中；

⑦昏黃霧天道路圖像信息恢復后的結(jié)果在車載顯示屏(13)上顯示

按下車載顯示屏(13)上的霧天道路信息恢復功能鍵，車載顯示屏(13)同步顯示緩存中最新的昏黃霧天道路圖像信息恢復之后的視覺增強圖像；

步驟四、構(gòu)建霧天車道保持安全駕駛預警策略

①車道線中車輛位置檢測模塊(11)對霧天恢復后的道路圖像進行車道線檢測，獲得車道線標識線參數(shù)，所述車道線標識線參數(shù)包括兩車道線在圖像坐標系的斜率和截距參數(shù)；

②利用車道線標識線參數(shù)和車輛內(nèi)部安裝的工業(yè)攝像機(3)的安裝高度、靶面尺寸以及焦距，獲得車輛在車道中的方向參數(shù)，所述方向參數(shù)為車輛偏離車道中心線的角度；

③將圖像坐標系中車道寬度與實際世界坐標系中道路寬度建立比例系數(shù)關(guān)系，通過該比例系數(shù)和車輛在車道中的方向參數(shù)，實時獲得當前車道寬度；

④利用三角幾何關(guān)系，利用車道線標識線參數(shù)和車輛在車道中的方向參數(shù)，獲得車輛在車道中的位置；

⑤獲得的車輛在車道中的方向參數(shù)和車輛在車道中的位置滿足車道偏離預警觸發(fā)，則進行聽覺預警和視覺預警，

車輛在車道中的方向參數(shù)滿足預警觸發(fā)，預警模塊(12)發(fā)出“請減速，駕駛狀況異常”的警告，并且報警燈設(shè)備(14)中紅色報警燈閃爍；

車輛在車道中的橫向位置滿足車道偏離預警觸發(fā)，預警模塊(12)發(fā)出“請保持車距”的警告，并且報警燈設(shè)備(14)中黃色報警燈閃爍；

車輛在車道中的方向參數(shù)和車輛在車道中的橫向位置均滿足預警觸發(fā)，預警模塊(12)發(fā)出“嘟嘟聲”并且報警燈設(shè)備(14)中紅色和黃色報警燈閃爍；

車輛在車道中的方向參數(shù)和車輛在車道中的位置均不滿足車道偏離預警，預警模塊(12)發(fā)出“恢復正常”的無警告模式，報警燈設(shè)備(14)不閃爍。