[發明專利]基于夜間環境感知的道路信息增強與駕駛預警方法

在審

• 申請號: 202011220517.3
• 申請日: 2020-11-05
• 公開（公告）號: CN112287861A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 陳梅;王秋鋮
• 申請（專利權）人: 山東交通學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T5/00;G08G1/095
• 代理公司: 長春市吉利專利事務所(普通合伙) 22206
• 代理人: 王楠楠;李曉莉

1.基于夜間環境感知的道路信息增強與駕駛預警方法，其特征在于，包括如下步驟：

步驟一、獲取實時圖像，建立夜間圖像分類器并進行實時圖像分類，得到有路燈夜間道路圖像和全黑夜間道路圖像；

步驟二、建立基于單尺度Retinex方法的全黑道路信息增強模型，對全黑夜間道路圖像進行增強處理，將全黑夜間道路圖像增強前后同一內容的圖像對比，以每一行灰度值連續上升間隔像素點數最多的邊緣灰度變化率代表這一行的灰度變化率，得出圖像所有行灰度變化率的均值，該均值小于等于閾值，則再次進行全黑夜間道路圖像增強過程；該均值超過給定閾值，則完成全黑夜間道路圖像增強質量評價，得到增強后的清晰全黑夜間道路圖像；

步驟三、建立基于McCann99 Retinex方法的夜間有路燈圖像增強模型，對有路燈夜間道路圖像進行增強處理，將有路燈夜間道路圖像增強前后同一內容的圖像對比，以每一行灰度值連續上升間隔像素點數最多的邊緣灰度變化率代表這一行的灰度變化率，得出圖像所有行灰度變化率的均值，該均值小于等于閾值，則再次進行有路燈夜間道路圖像增強過程；該均值超過給定閾值，則完成有路燈夜間道路圖像增強質量評價，得到增強后的清晰有路燈夜間道路圖像；

步驟四、構建夜間前方、側方車輛檢測安全駕駛預警策略，從而實現安全駕駛預警；

具體過程如下：

①對于夜間增強后的道路圖像，首先將增強后的道路圖像進行候選區域的提取，得到矩形目標候選區域數據庫圖像；

②利用深度學習中的卷積神經網絡RCNN網絡結構模型進行預訓練，具體輸入層為矩形目標候選區域數據庫圖像，利用圖像特征提取的特征提取層，提取候選區域的視覺特征，所述視覺特征包括邊緣、角點、紋理及顏色構成特征圖，在特征圖上進行檢測分類，實現預訓練；

③利用支持向量機SVM進行實時分類，輸入層為候選區域經過卷積神經網絡RCNN網絡結構模型所輸出的特征圖特征，輸出層輸出目標的分類類別，檢測是否屬于前方、側方車輛以及預測框位置信息；所述預測框位置信息是指檢測出圖像中前方、側方車輛的矩形框在圖像坐標系的四個角的坐標信息；

④當檢測出本車前方、側方出現車輛，則向駕駛員發出警告。

2.根據權利要求1所述的基于夜間環境感知的道路信息增強與駕駛預警方法，其特征在于：步驟一中，建立夜間圖像分類器并進行實時圖像分類的過程如下：

Ⅰ建立夜間道路圖像神經網絡分類器

①工業攝像機采集N張夜間道路圖像和非夜間道路圖像，并將采集到的圖像傳輸到夜間圖像分類模塊，其中包括N1張夜間道路圖像和N2張非夜間道路圖像，N、N1、N2均為自然數，在夜間圖像分類模塊中建立夜間圖像分類器的圖像訓練庫；

②通過夜間圖像分類器的圖像訓練庫離線訓練概率神經網絡分類器，概率神經網絡分類器根據提取的夜間圖像紋理、顏色、邊緣特征，對夜間道路圖像和非夜間道路圖像分類，并獲得夜間圖像特征，夜間道路圖像神經網絡分類器建立完成；

Ⅱ建立不同夜間亮度圖像分類器

①工業攝像機采集M張不同夜間能見度的道路圖像，其中包括M1張有路燈夜間道路圖像和M2張全黑夜間道路圖像，M、M1、M2均為自然數，在不同夜間能見度圖像分類模塊中建立不同夜間能見度圖像分類器的圖像訓練庫；

②通過不同夜間能見度圖像分類器的圖像訓練庫離線訓練高斯混合模型GMM分類器，高斯混合模型GMM分類器根據平均梯度特征，對比度特征及邊緣強度特征，提取不同夜間能見度圖像的平均梯度特征，對比度值及邊緣強度值，并根據平均梯度特征，對比度值及邊緣強度值對有路燈夜間圖像和全黑夜間圖像進行分類，不同夜間能見度圖像高斯混合模型GMM分類器建立完成；

③通過不同夜間能見度圖像分類器的圖像訓練庫離線訓練支持向量機SVM分類器，支持向量機SVM分類器根據HSV顏色空間的明度特征、圖像功率頻譜圖幅值特征，對有路燈夜間圖像和全黑夜間圖像進行分類，并提取不同夜間能見度圖像的圖像HSV顏色空間的明度值、圖像功率頻譜圖幅值特征，不同夜間能見度圖像支持向量機SVM分類器建立完成；

將不同夜間能見度圖像高斯混合模型GMM分類器分類出的有路燈夜間圖像與不同夜間能見度圖像支持向量機SVM分類器分類出的有路燈夜間圖像取并集，將不同夜間能見度圖像高斯混合模型GMM分類器分類出的全黑夜間圖像與不同夜間能見度圖像支持向量機SVM分類器分類出的全黑夜間圖像取并集，分別得到有路燈夜間道路圖像和全黑夜間道路圖像樣本庫；

Ⅲ實時圖像分類

①工業攝像機采集實時圖像；

②利用夜間道路圖像神經網絡分類器分類，得到夜間道路圖像；

③利用不同夜間能見度圖像高斯混合模型GMM分類器和不同夜間能見度圖像支持向量機SVM分類器分別對處理后的夜間道路圖像進行有路燈夜間圖像和全黑夜間圖像分類，并將不同夜間能見度圖像高斯混合模型GMM分類器分類出的有路燈夜間圖像與不同夜間能見度圖像支持向量機SVM分類器分類出的有路燈夜間圖像取并集，將不同夜間能見度圖像高斯混合模型GMM分類器分類出的全黑夜間圖像與不同夜間能見度圖像支持向量機SVM分類器分類出的全黑夜間圖像取并集，分別得到有路燈夜間道路圖像和全黑夜間道路圖像；

IV制定置信度評價標準

置信度評價標準采用基于L2范數的相對錯誤評價標準，基于L2范數的相對錯誤評價標準是將得到的實時有路燈夜間道路圖像與有路燈夜間圖像樣本庫中有路燈夜間道路圖像樣本的對應像素值相減，并對所得的差值求平方和，然后再對結果求平方根；用得到的平方根值除以圖像像素總數，得到平均誤差值；取閾值為0.5，平均誤差值小于0.5，可判斷當時圖像為有路燈夜間道路圖像；

同理，置信度評價標準采用基于L2范數的相對錯誤評價標準，基于L2范數的相對錯誤評價標準是將得到的實時全黑夜間道路圖像與全黑夜間圖像樣本庫中全黑夜間道路圖像樣本的對應像素值相減，并對所得的差值求平方和，然后再對結果求平方根；用得到的平方根值除以圖像像素總數，得到平均誤差值；取閾值為0.5，平均誤差值小于0.5，可判斷當時圖像為全黑夜間道路圖像。