[發(fā)明專利]車輛周視點云的生成方法、深度估計模型訓(xùn)練方法及裝置在審
| 申請?zhí)枺?/td> | 202110904714.5 | 申請日： | 2021-08-07 |
| 公開（公告）號： | CN113628265A | 公開（公告）日： | 2021-11-09 |
| 發(fā)明（設(shè)計）人： | 王夢圓;朱紅梅;孟文明;張騫;黃暢 | 申請（專利權(quán)）人： | 北京地平線信息技術(shù)有限公司 |
| 主分類號： | G06T7/55 | 分類號： | G06T7/55;G06T17/00 |
| 代理公司： | 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657 | 代理人： | 毛麗琴 |
| 地址： | 100094 北京市海淀*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 車輛 視點 生成 方法 深度 估計 模型 訓(xùn)練 裝置 | ||
1.一種車輛周視點云的生成方法，其中，所述方法包括：
確定來自車輛的多個圖像采集裝置采集的多個視角的多幅同步幀圖像；
確定所述多幅同步幀圖像各自的深度信息；
根據(jù)所述多個視角各自對應(yīng)的圖像采集裝置的采集參數(shù)、幀同步圖像和深度信息，生成該視角對應(yīng)的點云數(shù)據(jù)；
基于所述多個視角各自對應(yīng)的點云數(shù)據(jù)，確定所述車輛的周視點云。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：
從所述多個視角中確定出第一視角以及與所述第一視角相鄰的第二視角；
確定所述第一視角與所述第二視角之間的重疊深度信息；
針對所述重疊深度信息，對所述重疊深度信息進(jìn)行去重處理。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述確定所述第一視角及第二視角之間的重疊深度信息，包括：
將所述第一視角與第二視角之間具有相同像素值的圖像的深度信息確定為所述第一視角與第二視角的重疊深度信息。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述針對所述重疊深度信息，對所述重疊深度信息進(jìn)行去重處理，包括：
基于所述第一視角對應(yīng)的深度信息、所述第一視角對應(yīng)的圖像采集裝置與所述第二視角對應(yīng)的圖像采集裝置的外參，對所述第一視角的圖像進(jìn)行圖像重投影，以得到所述第二視角的變換圖像；
基于所述第二視角對應(yīng)的深度信息、所述第二視角對應(yīng)的圖像采集裝置與所述第一視角對應(yīng)的圖像采集裝置的外參，對所述第二視角的圖像進(jìn)行圖像重投影，以得到所述第一視角的變換圖像；
確定所述第一視角的變換圖像與所述第二視角的變換圖像的像素距離是否在預(yù)設(shè)范圍內(nèi)；
刪除所述重疊深度信息中的、所述像素距離不在預(yù)設(shè)范圍內(nèi)的像素。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述多個視角各自對應(yīng)的圖像采集裝置的采集參數(shù)、幀同步圖像和深度信息，生成該視角對應(yīng)的點云數(shù)據(jù)，包括：
對所述多個視角中任一視角對應(yīng)的圖像采集裝置的內(nèi)參、幀同步圖像和深度信息進(jìn)行矩陣乘法運(yùn)算，生成該視角對應(yīng)的點云數(shù)據(jù)。
6.一種深度估計模型訓(xùn)練方法，其中，包括：
從第一視頻流中確定第一幀圖像及與所述第一幀圖像相鄰的第二幀圖像；
確定所述第一幀圖像和所述第二幀圖像之間的幀間運(yùn)動信息；
通過深度估計神經(jīng)網(wǎng)絡(luò)確定所述第一幀圖像的深度信息；
根據(jù)所述幀間運(yùn)動信息、所述第一幀圖像的深度信息、采集所述第一視頻流的圖像采集裝置的預(yù)設(shè)采集參數(shù)，確定所述第一幀圖像的重構(gòu)圖像；
基于所述第一幀圖像及所述重構(gòu)圖像，訓(xùn)練所述深度估計神經(jīng)網(wǎng)絡(luò)。
7.根據(jù)權(quán)利要求6所述的方法，其中，根據(jù)所述幀間運(yùn)動信息、所述第一幀圖像的深度信息、采集所述第一視頻流的圖像采集裝置的預(yù)設(shè)采集參數(shù)，確定所述第一幀圖像的重構(gòu)圖像，包括：
確定所述第一視頻流的圖像采集裝置的內(nèi)參；
基于所述圖像采集裝置的內(nèi)參確定所述圖像采集裝置的預(yù)設(shè)采集參數(shù)；
基于所述幀間運(yùn)動信息、所述第一幀圖像的深度信息、采集所述第一視頻流的圖像采集裝置的預(yù)設(shè)采集參數(shù)進(jìn)行逆投影成像運(yùn)算，確定所述第一幀圖像的第一重構(gòu)圖像。
8.一種車輛周視點云的生成裝置，包括：
第一確定模塊，用于確定來自車輛的多個圖像采集裝置采集的多個視角的多幅同步幀圖像；
第二確定模塊，用于確定所述多幅同步幀圖像各自的深度信息；
第一點云模塊，用于根據(jù)所述多個視角各自對應(yīng)的圖像采集裝置的采集參數(shù)、幀同步圖像和深度信息，生成該視角對應(yīng)的點云數(shù)據(jù)；
第二點云模塊，用于基于所述多個視角各自對應(yīng)的點云數(shù)據(jù)，確定所述車輛的周視點云。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京地平線信息技術(shù)有限公司，未經(jīng)北京地平線信息技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110904714.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
