[發明專利]一種汽車A柱盲區圖像顯示系統及方法

在審

• 申請號: 202010567378.5
• 申請日: 2020-06-19
• 公開（公告）號: CN111731187A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 李天軍;魏會奇;張麗;張慶;段元芳;劉翔
• 申請（專利權）人: 杭州視為科技有限公司
• 主分類號: B60R1/00
• 分類號: B60R1/00;B60R11/04
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種汽車A柱盲區圖像顯示系統，其特征在于，包括柔性顯示屏、CCD相機、紅外攝像頭、超廣角相機以及中央處理器，所述柔性顯示屏分別安裝于汽車內部兩側的A柱上，所述CCD相機和所述紅外攝像頭分別安裝于所述柔性顯示屏的上方，所述超廣角相機分別安裝于汽車外部兩側的A柱上，所述中央處理器封裝于汽車內部，所述CCD相機、紅外攝像頭和超廣角相機均與所述中央處理器電連接，所述中央處理器與所述柔性顯示屏電連接；

所述CCD相機或所述紅外攝像頭用于實時采集駕駛員的頭部圖像，所述超廣角相機用于實時采集A柱外部的圖像，所述中央處理器用于獲取所述頭部圖像，提取頭部圖像中的頭部姿態和人眼信息，并對所述頭部姿態和人眼信息進行分析處理，得到當前姿態下A柱盲區的范圍，并在A柱外部的圖像中截取A柱盲區圖像，經透視變換后得到最終的A柱盲區圖像，所述柔性顯示屏用于實時顯示最終的A柱盲區圖像。

2.一種汽車A柱盲區圖像顯示方法，其特征在于，包括：

圖像采集：實時采集駕駛員的頭部圖像，并采集同一時刻A柱外部的環境圖像；

姿態分析：對所述頭部圖像進行識別分析，獲取駕駛員的頭部姿態以及當前姿態下A柱盲區與人眼的夾角，并確定人眼的三維坐標；

模型訓練：建立廣義回歸神經網絡模型，將預先獲得的頭部姿態和人眼數據以及不同視角下對應的A柱盲區圖像坐標作為樣本數據對所述廣義回歸神經網絡模型進行訓練；

范圍確定：將所述A柱盲區與人眼的夾角以及所述人眼的三維坐標輸入訓練好的廣義回歸神經網絡模型，得到當前視角下A柱盲區圖像的坐標范圍；

圖像獲取：根據所述A柱盲區圖像的坐標范圍從所述A柱外部的環境圖像中截取對應的A柱盲區圖像，并對截取得到的所述A柱盲區圖像進行透視變換，得到最終的A柱盲區圖像；

圖像輸出：輸出最終的A柱盲區圖像，并進行實時顯示。

3.根據權利要求2所述的一種汽車A柱盲區圖像顯示方法，其特征在于，獲取駕駛員的頭部姿態以及當前姿態下A柱盲區與人眼的夾角的過程，具體包括：

從所述頭部圖像中提取人眼信息，并捕捉頭部姿態；

根據所述人眼信息確定人眼在圖像坐標系中的坐標，并將人眼在圖像坐標系中的坐標進行轉換，得到人眼在世界坐標系下的坐標；

根據所述人眼信息感知人眼距離A柱的距離，并獲取角膜反射參數；

根據所述人眼在世界坐標系下的坐標、人眼距離A柱的距離以及角膜反射參數對捕獲到的頭部姿態進行識別，并確定當前頭部姿態下A柱盲區與人眼的夾角。

4.根據權利要求3所述的一種汽車A柱盲區圖像顯示方法，其特征在于，將人眼在圖像坐標系中的坐標進行轉換，得到人眼在世界坐標系下的坐標的過程，使用的轉換公式為：

其中，(u,v,1)表示人眼在圖像坐標系中的坐標，(x_w,y_w,z_w)表示人眼在世界坐標系下的坐標；z_c表示圖像坐標系；α和β分別表示相機焦距在x坐標方向和y坐標方向所能容納的實際像素個數；R為3×3的正交單位矩陣；T為三維的平移向量；(x_m，y_m)為相機光心在像素坐標系下的投影點位置；M₁和M₂分別表示相機的內外參矩陣。

5.根據權利要求3所述的一種汽車A柱盲區圖像顯示方法，其特征在于，確定人眼的三維坐標的過程，具體包括：

對所述頭部圖像進行畸變校正；

根據校正后的頭部圖像通過立體匹配算法計算人眼與兩側相機的視差；

根據計算得到的視差以及相機參數信息計算得到人眼的三維坐標。

6.根據權利要求5所述的一種汽車A柱盲區圖像顯示方法，其特征在于，所述人眼的三維坐標(X，Y，Z)的計算公式為：

Z＝D+F

其中，(X_L，Y_L)為駕駛員瞳孔中心在左圖像的坐標；D為駕駛員眼睛距離相機光心之間的距離；F為焦距。

7.根據權利要求1所述的一種汽車A柱盲區圖像顯示方法，其特征在于，對截取得到的所述A柱盲區圖像進行透視變換，透視變換公式為：

其中，(u，v，1)為源目標點坐標，(x，y，z)為移動后的目標點坐標；

將四個已知坐標代入透視變換公式，得到各個系數的計算結果，計算公式為：