[發明專利]視覺盲區的場景圖像的生成方法、裝置、系統及終端設備

在審

• 申請號: 201711377917.3
• 申請日: 2017-12-19
• 公開（公告）號: CN109934076A
• 公開（公告）日: 2019-06-25
• 發明（設計）人: 黃亮;齊新迎
• 申請（專利權）人: 廣州汽車集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/40
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃曉慶

1.一種視覺盲區的場景圖像的生成方法，其特征在于，包括：

獲取目標視覺盲區對應的盲區場景圖像，所述盲區場景圖像是基于觀察者的當前視線方向對所述目標視覺盲區對應的三維場景圖像進行投影變換獲得；

獲取所述觀察者的當前視野圖像，所述當前視野圖像包含形成所述目標視覺盲區的遮擋物對應的圖像；

基于所述遮擋物對應的圖像在所述當前視野圖像中確定與所述盲區場景圖像匹配的目標位置；

基于所述匹配的目標位置對所述當前視野圖像與所述盲區場景圖像進行合成處理，顯示合成處理后的圖像。

2.根據權利要求1所述的方法，其特征在于，確定所述觀察者的當前視線方向的方式，包括：

獲取觀察者的當前狀態圖像，所述當前狀態圖像用于表征所述觀察者當前的眼部情況及頭部姿態；

基于所述當前狀態圖像確定所述觀察者的內眼角當前所處的第一位置、外眼角當前所處的第二位置、以及當前頭部姿態；

基于所述第一位置、所述第二位置以及所述當前頭部姿態，計算所述觀察者的眼球中心當前所處的第三位置；

對所述當前狀態圖像進行識別，獲得所述觀察者的虹膜中心當前所處的第四位置；

基于所述第三位置和所述第四位置確定所述觀察者的當前視線方向。

3.根據權利要求1所述的方法，其特征在于，基于觀察者的當前視線方向對所述目標視覺盲區對應的三維場景圖像進行投影變換的方式，包括：

基于所述觀察者的當前視線方向確定當前投影線的方向；

確定當前投影平面，所述投影平面為形成所述目標視覺盲區的遮擋物所在的平面；

基于所述當前投影線的方向與所述當前投影平面，對所述三維場景圖像進行投影變換。

4.根據權利要求1所述的方法，其特征在于，所述基于所述遮擋物在所述當前視野圖像中確定與所述盲區場景圖像匹配的目標位置的步驟，包括：

在所述當前視野圖像中確定遮擋區域，所述遮擋區域為所述遮擋物對應的圖像所在的區域；

提取位于所述遮擋區域的邊緣的特征點；

基于各所述特征點在所述當前視野圖像中確定與所述盲區場景圖像匹配的目標位置。

5.根據權利要求1至4任一項所述的方法，其特征在于：

所述目標視覺盲區對應的三維場景圖像在滿足盲區檢測啟動條件后獲得，所述盲區檢測啟動條件包括車輛方向盤的當前轉角角度大于第一角度閾值和/或觀察者的當前視角調整量大于第二角度閾值；

其中，所述目標視覺盲區基于車輛方向盤的當前轉角方向和/或觀察者的當前視角調整方向進行選定。

6.根據權利要求5所述的方法，其特征在于，所述第一角度閾值基于當前車輛行駛信息確定，所述車輛行駛信息包括車輛行駛速度和/或車輛與障礙物之間的距離。

7.一種視覺盲區的場景圖像的生成裝置，其特征在于，包括：

盲區圖像獲取模塊，用于獲取目標視覺盲區對應的盲區場景圖像，所述盲區場景圖像是基于觀察者的當前視線方向對所述目標視覺盲區對應的三維場景圖像進行投影變換獲得；

視野圖像獲取模塊，用于獲取所述觀察者的當前視野圖像，所述當前視野圖像包含形成所述目標視覺盲區的遮擋物對應的圖像；

目標位置確定模塊，用于基于所述遮擋物對應的圖像在所述當前視野圖像中確定與所述盲區場景圖像匹配的目標位置；以及，

合成圖像顯示模塊，用于基于所述匹配的目標位置對所述當前視野圖像與所述盲區場景圖像進行合成處理，顯示合成處理后的圖像。

8.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時，使得所述處理器執行如權利要求1至6中任一項所述方法的步驟。

9.一種終端設備，包括存儲器和處理器，其特征在于，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如權利要求1至6中任一項所述方法的步驟。

10.一種視覺盲區的場景圖像的生成系統，其特征在于，包括車外攝像裝置、車內攝像頭、信號處理器、以及如權利要求9所述的終端設備；

所述車外攝像裝置用于采集目標視覺盲區對應的攜帶原始場景圖像及所述原始場景圖像的深度信息的場景信息；

所述車內攝像頭用于采集觀察者的當前狀態圖像；

所述信號處理器用于基于所述場景信息生成所述目標視覺盲區對應的三維場景圖像，并基于所述觀察者的當前狀態圖像確定所述觀察者的當前視線方向，再基于所述當前視線方向對所述三維場景圖像進行投影變換，以生成目標視覺盲區對應的盲區場景圖像，并將所述盲區場景圖像發送至所述終端設備。