[發明專利]一種車輛駕駛視野增強方法、設備及系統

在審

• 申請號: 202011016127.4
• 申請日: 2020-09-24
• 公開（公告）號: CN112184605A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 丁磊;姚聰
• 申請（專利權）人: 華人運通（上海）自動駕駛科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/73;G06K9/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種車輛駕駛視野增強方法，其特征在于，包括：

獲取車輛當前行駛的車道上的多個車道攝像頭對所述車道拍攝到的路面圖像；

從所述多個車道攝像頭拍攝到的路面圖像中確定包含有所述車輛的路面圖像；

對包含有所述車輛的路面圖像進行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿；

根據所述多個車道攝像頭拍攝到的所述路面圖像對所述車道進行路面的場景重建，得到所述車道的路面重建場景圖；

根據所述行駛位置及所述車輛行駛位姿，得到所述車輛在所述路面重建場景圖中的行駛視角畫面，并將所述行駛視角畫面發送至所述車輛的顯示裝置進行顯示。

2.根據權利要求1所述的車輛駕駛視野增強方法，其特征在于，所述對包含有所述車輛的路面圖像進行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿，包括：

對包含有所述車輛的所述路面圖像進行車輛及車道路面的識別，以識別出車輛在車道上的行駛位置；

將包含有所述車輛的所述路面圖像輸入訓練好的深度神經網絡中，以提取所述路面圖像中的車輛的特征關鍵點；其中，所述特征關鍵點包括所述車輛輪轂中心和車燈；

將獲取到的所述車輛的特征關鍵點與所述車輛的預設的車輛模型的特征關鍵點進行計算比對，得到車輛相對于所述車道的車輛行駛位姿。

3.根據權利要求1所述的車輛駕駛視野增強方法，其特征在于，在所述對包含有所述車輛的路面圖像進行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿之前，所述方法還包括：

獲取車輛的多張不同拍攝角度的車輛行駛圖像，形成訓練數據集；

提取所述車輛行駛圖像中的車輛的特征關鍵點，并對所述特征關鍵點進行標注；其中，所述特征關鍵點包括所述車輛輪轂中心和車燈；

搭建用于目標檢測的深度神經網絡，并將所述訓練數據集中的圖像輸入到深度神經網絡進行訓練，得到訓練好的深度神經網絡。

4.根據權利要求2所述的車輛駕駛視野增強方法，其特征在于，所述對包含有所述車輛的所述路面圖像進行車輛及車道路面的識別，以識別出車輛在車道上的行駛位置，包括：

獲取包含有所述車輛的所述路面圖像中的各個物體的圖像輪廓；

將所述各個物體的圖像輪廓與預設的車輛輪廓及預設的車道路面輪廓進行比對，以識別出所述路面圖像中的車輛及車道路面；

根據識別出的車輛及車道路面各自在所述路面圖像中的坐標，得到車輛在車道上的行駛位置。

5.一種車輛駕駛視野增強設備，其特征在于，包括：

路面圖像獲取模塊，用于獲取車輛當前行駛的車道上的多個車道攝像頭對所述車道拍攝到的路面圖像；

路面圖像選取模塊，用于從所述多個車道攝像頭拍攝到的路面圖像中確定包含有所述車輛的路面圖像；

路面圖像分析模塊，用于對包含有所述車輛的路面圖像進行圖像分析，以分析出車輛在所述車道上的行駛位置及相對于所述車道的車輛行駛位姿；

路面場景重建模塊，用于根據所述多個車道攝像頭拍攝到的所述路面圖像對所述車道進行路面的場景重建，得到所述車道的路面重建場景圖；

顯示控制模塊，用于根據所述行駛位置及所述車輛行駛位姿，得到所述車輛在所述路面重建場景圖中的行駛視角畫面，并將所述行駛視角畫面發送至所述車輛的顯示裝置進行顯示。

6.根據權利要求5所述的車輛駕駛視野增強設備，其特征在于，所述路面圖像分析模塊，具體包括：

圖像識別單元，用于對包含有所述車輛的所述路面圖像進行車輛及車道路面的識別，以識別出車輛在車道上的行駛位置；

車輛特征提取單元，用于將包含有所述車輛的所述路面圖像輸入訓練好的深度神經網絡中，以提取所述路面圖像中的車輛的特征關鍵點；其中，所述特征關鍵點包括所述車輛輪轂中心和車燈；

車輛行駛位姿分析單元，用于將獲取到的所述車輛的特征關鍵點與所述車輛的預設的車輛模型的特征關鍵點進行計算比對，得到車輛相對于所述車道的車輛行駛位姿。