[發(fā)明專(zhuān)利]網(wǎng)絡(luò)訓(xùn)練及場(chǎng)景重建方法、裝置、機(jī)械、系統(tǒng)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202211124733.7
• 申請(qǐng)日: 2022-09-15
• 公開(kāi)（公告）號(hào): CN115512042A
• 公開(kāi)（公告）日: 2022-12-23
• 發(fā)明（設(shè)計(jì)）人: 金誠(chéng);陳贏峰;范長(zhǎng)杰;胡志鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06V10/75;G06V10/774
• 代理公司: 北京超凡宏宇專(zhuān)利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 彭星

本申請(qǐng)?zhí)峁┮环N網(wǎng)絡(luò)訓(xùn)練及場(chǎng)景重建方法、裝置、機(jī)械、系統(tǒng)及設(shè)備，涉及圖像處理技術(shù)領(lǐng)域。該訓(xùn)練方法包括：獲取預(yù)設(shè)工程機(jī)械上雙目相機(jī)采集的預(yù)設(shè)工程作業(yè)場(chǎng)景的多組樣本雙目圖像；對(duì)多組樣本雙目圖像進(jìn)行處理，得到預(yù)設(shè)工程作業(yè)場(chǎng)景的稀疏點(diǎn)云；根據(jù)雙目相機(jī)的相機(jī)參數(shù)，對(duì)稀疏點(diǎn)云進(jìn)行稠密建圖，得到多組樣本雙目圖像對(duì)應(yīng)的多組稠密深度圖；對(duì)每組稠密深度圖進(jìn)行處理，得到每組樣本雙目圖像對(duì)應(yīng)的一個(gè)樣本視差圖；根據(jù)多組樣本雙目圖像以及對(duì)應(yīng)的樣本視差圖進(jìn)行模型訓(xùn)練，得到立體匹配網(wǎng)絡(luò)。本申請(qǐng)可以降低三維場(chǎng)景重建的成本、提高實(shí)時(shí)性，且實(shí)現(xiàn)基于高質(zhì)量點(diǎn)云完成三維場(chǎng)景重建。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種網(wǎng)絡(luò)訓(xùn)練及場(chǎng)景重建方法、裝置、機(jī)械、系統(tǒng)及設(shè)備。

背景技術(shù)

基于圖像的三維目標(biāo)與場(chǎng)景重建是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向之一。

在大量的工程作業(yè)場(chǎng)景中，主要依靠各種大型的工程機(jī)械進(jìn)行作業(yè)任務(wù)，由于工程作業(yè)場(chǎng)景的環(huán)境惡劣，現(xiàn)有的工程作業(yè)場(chǎng)景中主要依靠操作人員的工作經(jīng)驗(yàn)操控工程機(jī)械進(jìn)行作業(yè)，工作的危險(xiǎn)度較高，因此，對(duì)工程作業(yè)場(chǎng)景進(jìn)行三維場(chǎng)景重建，以便操作人員更好的了解工程作業(yè)場(chǎng)景的情況，降低工作的危險(xiǎn)度。

現(xiàn)有的三維場(chǎng)景重建方案主要分為：激光點(diǎn)云三維重建、多視角三維重建和雙目相機(jī)三維重建，但是這些方案都存在不同的缺陷問(wèn)題。其中，激光點(diǎn)云三維重建激光雷達(dá)成本高，且成像效果受天氣影響，所產(chǎn)生的點(diǎn)云效果不佳；多視角三維重建技術(shù)生成點(diǎn)云效果雖然好，但是針對(duì)大型的工程作業(yè)場(chǎng)景，由于會(huì)構(gòu)建大量的點(diǎn)云信息，需要消耗大量的計(jì)算資源，導(dǎo)致很難滿(mǎn)足工程作業(yè)現(xiàn)場(chǎng)對(duì)三維場(chǎng)景重建的實(shí)時(shí)性要求；雙目相機(jī)三維重建技術(shù)雖然成本低、計(jì)算速度快，但由于其生成的點(diǎn)云效果嚴(yán)重依賴(lài)兩個(gè)相機(jī)之間的視差估計(jì)結(jié)果，面對(duì)工程作業(yè)場(chǎng)景這樣環(huán)境空曠、且光照變化劇烈的場(chǎng)景，所生成的點(diǎn)云效果精確度差，不利于進(jìn)行三維重建。

發(fā)明內(nèi)容

本發(fā)明的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種網(wǎng)絡(luò)訓(xùn)練及場(chǎng)景重建方法、裝置、機(jī)械、系統(tǒng)及設(shè)備，以便實(shí)現(xiàn)降低三維場(chǎng)景重建的成本、提高實(shí)時(shí)性，且實(shí)現(xiàn)基于高質(zhì)量點(diǎn)云完成三維場(chǎng)景重建。

為實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例采用的技術(shù)方案如下：

第一方面，本申請(qǐng)實(shí)施例提供了一種立體匹配網(wǎng)絡(luò)的訓(xùn)練方法，所述方法包括：

獲取預(yù)設(shè)工程機(jī)械上雙目相機(jī)采集的預(yù)設(shè)工程作業(yè)場(chǎng)景的多組樣本雙目圖像；

對(duì)所述多組樣本雙目圖像進(jìn)行處理，得到所述預(yù)設(shè)工程作業(yè)場(chǎng)景的稀疏點(diǎn)云；

根據(jù)所述雙目相機(jī)的相機(jī)參數(shù)，對(duì)所述稀疏點(diǎn)云進(jìn)行稠密建圖，得到所述多組樣本雙目圖像對(duì)應(yīng)的多組稠密深度圖；

對(duì)每組稠密深度圖進(jìn)行處理，得到所述每組樣本雙目圖像對(duì)應(yīng)的一個(gè)樣本視差圖；

根據(jù)所述多組樣本雙目圖像以及對(duì)應(yīng)的樣本視差圖進(jìn)行模型訓(xùn)練，得到所述立體匹配網(wǎng)絡(luò)。

第二方面，本申請(qǐng)實(shí)施例還提供一種三維場(chǎng)景重建方法，所述方法包括：

獲取預(yù)設(shè)工程機(jī)械上雙目相機(jī)采集的預(yù)設(shè)工程作業(yè)場(chǎng)景的雙目圖像；

采用預(yù)先訓(xùn)練的立體匹配網(wǎng)絡(luò)，對(duì)所述雙目圖像進(jìn)行處理，得到所述雙目圖像對(duì)應(yīng)的視差圖，所述立體匹配網(wǎng)絡(luò)為采用如上述第一方面任一所述的立體匹配網(wǎng)絡(luò)的訓(xùn)練方法得到的；

根據(jù)所述雙目相機(jī)的配置參數(shù)，對(duì)所述視差圖進(jìn)行處理，得到所述預(yù)設(shè)工程作業(yè)場(chǎng)景的三維點(diǎn)云數(shù)據(jù)；

根據(jù)所述三維點(diǎn)云數(shù)據(jù)和預(yù)設(shè)視角方向，進(jìn)行場(chǎng)景渲染，得到所述預(yù)設(shè)工程作業(yè)場(chǎng)景在所述預(yù)設(shè)視角方向的三維場(chǎng)景圖像。

第三方面，本申請(qǐng)實(shí)施例還提供一種立體匹配網(wǎng)絡(luò)的訓(xùn)練裝置，所述裝置包括：