[發(fā)明專利]車輛周視點云的生成方法、深度估計模型訓(xùn)練方法及裝置在審
| 申請?zhí)枺?/td> | 202110904714.5 | 申請日： | 2021-08-07 |
| 公開（公告）號： | CN113628265A | 公開（公告）日： | 2021-11-09 |
| 發(fā)明（設(shè)計）人： | 王夢圓;朱紅梅;孟文明;張騫;黃暢 | 申請（專利權(quán)）人： | 北京地平線信息技術(shù)有限公司 |
| 主分類號： | G06T7/55 | 分類號： | G06T7/55;G06T17/00 |
| 代理公司： | 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657 | 代理人： | 毛麗琴 |
| 地址： | 100094 北京市海淀*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 車輛 視點 生成 方法 深度 估計 模型 訓(xùn)練 裝置 | ||
本申請公開了一種車輛周視點云的生成方法、深度估計模型訓(xùn)練方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備。其中，一種車輛周視點云的生成方法，該方法包括：確定來自車輛的多個圖像采集裝置采集的多個視角的多幅同步幀圖像；確定所述多幅同步幀圖像各自的深度信息；根據(jù)所述多個視角各自對應(yīng)的圖像采集裝置的采集參數(shù)、幀同步圖像和深度信息，生成該視角對應(yīng)的點云數(shù)據(jù)；基于所述多個視角各自對應(yīng)的點云數(shù)據(jù)，確定所述車輛的周視點云。本申請實施例僅依靠圖像采集裝置(例如，相機)的自監(jiān)督生成周視點云，無需部署激光雷達(dá)，部署成本低，圖像采集裝置受天氣、空氣等影響小，采集的圖像更清晰，最終確定的點云數(shù)據(jù)更準(zhǔn)確。
技術(shù)領(lǐng)域
本申請涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種車輛周視點云的生成方法、深度估計模型訓(xùn)練方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備。
背景技術(shù)
在自動駕駛中，智能車輛的周視點云可以表征出其周圍環(huán)境的幾何結(jié)構(gòu)和深度信息。目前，通過周視點云方式實現(xiàn)智能車輛的3D(3-Dimension)感知已成為主流。相關(guān)技術(shù)中，主要采用激光雷達(dá)獲取智能車輛的點云信息，由于其能直接提供一個3D的場景而被廣泛應(yīng)用。但是，采用激光雷達(dá)獲取點云信息，也有較多缺點：例如激光雷達(dá)部署成本較高，探測距離有限，且受天氣、空氣等環(huán)境因素影響較大。
發(fā)明內(nèi)容
為了解決上述技術(shù)問題，提出了本申請。本申請的實施例提供了一種車輛周視點云的生成方法、深度估計模型訓(xùn)練方法及裝置、計算機可讀存儲介質(zhì)、電子設(shè)備。
根據(jù)本申請的第一個方面，提供了一種車輛周視點云的生成方法，所述方法包括：
確定來自車輛的多個圖像采集裝置采集的多個視角的多幅同步幀圖像；
確定所述多幅同步幀圖像各自的深度信息；
根據(jù)所述多個視角各自對應(yīng)的圖像采集裝置的采集參數(shù)、幀同步圖像和深度信息，生成該視角對應(yīng)的點云數(shù)據(jù)；
基于所述多個視角各自對應(yīng)的點云數(shù)據(jù)，確定所述車輛的周視點云。
根據(jù)本申請的第二個方面，提供了一種深度估計模型訓(xùn)練方法，其中，包括：
從第一視頻流中確定第一幀圖像及與所述第一幀圖像相鄰的第二幀圖像；
確定所述第一幀圖像和所述第二幀圖像之間的幀間運動信息；
通過深度估計神經(jīng)網(wǎng)絡(luò)確定所述第一幀圖像的深度信息；
根據(jù)所述幀間運動信息、所述第一幀圖像的深度信息、采集所述第一視頻流的圖像采集裝置的預(yù)設(shè)采集參數(shù)，確定所述第一幀圖像的重構(gòu)圖像；
基于所述第一幀圖像及所述重構(gòu)圖像，訓(xùn)練所述深度估計神經(jīng)網(wǎng)絡(luò)。
根據(jù)本申請的第三個方面，提供了一種車輛周視點云的生成裝置，包括：
第一確定模塊，用于確定來自車輛的多個圖像采集裝置采集的多個視角的多幅同步幀圖像；
第二確定模塊，用于確定所述多幅同步幀圖像各自的深度信息；
第一點云模塊，用于根據(jù)所述多個視角各自對應(yīng)的圖像采集裝置的采集參數(shù)、幀同步圖像和深度信息，生成該視角對應(yīng)的點云數(shù)據(jù)；
第二點云模塊，用于基于所述多個視角各自對應(yīng)的點云數(shù)據(jù)，確定所述車輛的周視點云。
根據(jù)本申請的第四個方面，提供了一種深度估計模型訓(xùn)練裝置，其中，包括：
圖像確定模塊，用于從第一視頻流中確定第一幀圖像及與所述第一幀圖像相鄰的第二幀圖像；
幀間運動信息確定模塊，用于確定所述第一幀圖像和所述第二幀圖像之間的幀間運動信息；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京地平線信息技術(shù)有限公司，未經(jīng)北京地平線信息技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110904714.5/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
