[發明專利]環視全景圖像生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110272148.0
• 申請日: 2021-03-12
• 公開（公告）號: CN113066003A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種環視全景圖像生成方法、裝置、電子設備及存儲介質，其中方法包括：獲取多個拍攝裝置采集到的多方向上的第一圖像和目標物周圍全景俯視圖像，多個拍攝裝置置于目標物上；根據多方向上的第一圖像和目標物周圍全景俯視圖像，設計神經網絡模型，多方向上的第一圖像作為神經網絡的輸入，目標物周圍全景俯視圖像作為神經網絡的輸出；獲取多個拍攝裝置采集到的多方向上的第二圖像，運用神經網絡模型，輸出環視全景圖像。攝像機安裝角度可以多樣，避免了傳統方式固定攝像頭固定視角的缺陷，能夠更好地還原目標物周圍環境，增加俯視界面的可視視野，提高安全性，減少安全隱患，可普遍適用于車輛、船舶、飛行器等物體。

技術領域

本發明涉及圖像處理技術領域，更具體地說，涉及一種環視全景圖像生成方法、裝置、電子設備及存儲介質。

背景技術

隨著我國經濟的飛速發展，交通運輸車輛不斷增多，由此產生的交通問題越來越成為人們關注的問題。統計研究表明，90％以上的交通事故源于駕駛員錯誤判斷和決策，作為人-車-路交通系統的重要組成部分，人類受身體狀態、駕駛盲區、反應時間、駕駛經驗等局限，已經成為此系統的一個薄弱環節。駕駛員不能及時準確地獲得相對全面的當前車輛環境信息，從而出現疏忽和判斷失誤等危險情況。全國道路交通事故原因的統計資料表明：機動車駕駛員縱向間距保持不夠、疏忽大意、判斷失誤和操作不當占事故原因的比重有逐年增加的趨勢。據統計，在道路交通事故形態中，追尾碰撞、偏離車道引起的碰撞、側翻以及超速而引起的交通事故，占全部事故的比重達到40％，事故后果也往往比較嚴重。

因此，現有技術亟待有很大的進步。

發明內容

本發明要解決的技術問題在于駕駛員不能及時準確地獲得相對全面的當前車輛環境信息，從而出現疏忽和判斷失誤等危險情況，針對現有技術的上述的缺陷，一方面，本發明提供一種環視全景圖像生成方法，包括：

獲取多個拍攝裝置采集到的目標物多方向上的第一圖像和目標物周圍環視全景俯視圖像，所述多個拍攝裝置置于所述目標物上；

根據所述第一圖像和所述環視全景俯視圖像，設計神經網絡模型，所述第一圖像作為所述神經網絡的輸入，所述環視全景俯視圖像作為所述神經網絡的輸出；

獲取所述多個拍攝裝置采集到的目標物多方向上的第二圖像，運用所述神經網絡模型，輸出目標物環視全景圖像。

優選地，所述獲取多個拍攝裝置采集到的目標物多方向上的第一圖像和目標物周圍環視全景俯視圖像，所述多個拍攝裝置置于所述目標物上包括：

在所述目標物前后左右四個方向放置魚眼相機，拍攝所述目標物周圍圖像；

使用標準鏡頭攝像頭，在所述目標物中心上方拍攝俯瞰圖像；

對所述第一圖像和所述環視全景俯視圖像進行預處理。

優選地，所述神經網絡模型包括生成網絡和辨別網絡，所述生成網絡用于將潛在空間中的隨機點即隨機向量作為輸入，并將其解碼為合成圖像：所述辨別網絡用于將圖像作為輸入，并預測圖像是來自訓練集真實圖像還是由生成器網絡創建。

優選地，所述對所述第一圖像和所述環視全景俯視圖像進行預處理包括：

對所述第一圖像和所述環視全景俯視圖像進行灰度化和二值化。

優選地，所述目標物為車輛、輪船、飛行器。

相應地，本發明還提供了一種環視全景圖像生成裝置，包括：

訓練圖像獲取模塊，用于獲取多個拍攝裝置采集到的目標物多方向上的第一圖像和目標物周圍環視全景俯視圖像，所述多個拍攝裝置置于目標物上；

神經網絡模型建立模塊，用于根據所述多方向上的圖像和所述目標物周圍全景俯視圖像，設計神經網絡模型，所述第一圖像作為所述神經網絡的輸入，所述環視全景俯視圖像作為所述神經網絡的輸出；