[發(fā)明專利]場景數(shù)據(jù)獲取方法及模型訓(xùn)練方法、裝置及計(jì)算機(jī)設(shè)備

有效

• 申請?zhí)枺?/td>: 202011194459.1
• 申請日: 2020-10-30
• 公開（公告）號: CN112150575B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設(shè)計(jì)）人: 羅茜;趙明國;熊友軍
• 申請（專利權(quán)）人: 深圳市優(yōu)必選科技股份有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T15/20;G06T15/06;G06N3/0464;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 梁韜

1.一種場景數(shù)據(jù)獲取方法，其特征在于，包括：

獲取實(shí)際場景內(nèi)的布景因素，其中，所述布景因素包括環(huán)境因素、物體因素和光照因素；

根據(jù)所述環(huán)境因素和所述物體因素，搭建所述實(shí)際場景對應(yīng)的虛擬仿真場景；

根據(jù)所述光照因素，對所述虛擬仿真場景進(jìn)行圖形化渲染，其中，所述虛擬仿真場景為三維場景；

確定預(yù)設(shè)視角在所述虛擬仿真場景內(nèi)對應(yīng)的視錐空間；

利用所述預(yù)設(shè)視角對應(yīng)的視錐空間采集所述虛擬仿真場景內(nèi)的二維圖像及圖像關(guān)聯(lián)的特征真實(shí)值；

采用結(jié)構(gòu)性領(lǐng)域隨機(jī)化技術(shù)對所述虛擬仿真場景進(jìn)行隨機(jī)化處理，其中，隨機(jī)化處理的依據(jù)包括全局變量、機(jī)器人的運(yùn)動軌跡、虛擬相機(jī)相對機(jī)器人的自由度、不同移動物體出現(xiàn)在機(jī)器人本體運(yùn)動軌跡中的任一種；

再次采集所述虛擬仿真場景內(nèi)的二維圖像及圖像關(guān)聯(lián)的特征真實(shí)值；

將全部所述二維圖像及圖像關(guān)聯(lián)的特征真實(shí)值作為所述實(shí)際場景對應(yīng)的場景數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述預(yù)設(shè)視角對應(yīng)的視錐空間采集所述虛擬仿真場景內(nèi)的二維圖像及圖像關(guān)聯(lián)的特征真實(shí)值的步驟，包括：

在所述虛擬仿真場景內(nèi)，提取位于所述視錐空間內(nèi)的目標(biāo)像素點(diǎn)及各目標(biāo)像素點(diǎn)的特征數(shù)據(jù)；

根據(jù)所述視錐空間內(nèi)的目標(biāo)像素點(diǎn)及各目標(biāo)像素點(diǎn)的特征數(shù)據(jù)，確定所述預(yù)設(shè)視角對應(yīng)的二維圖像及圖像關(guān)聯(lián)的特征真實(shí)值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定預(yù)設(shè)視角在所述虛擬仿真場景內(nèi)對應(yīng)的視錐空間的步驟，包括：

定位用于采集二維圖像的虛擬相機(jī)所在的位置；

將所述虛擬相機(jī)所在的位置作為原點(diǎn)，根據(jù)所述虛擬相機(jī)的相機(jī)平面邊緣線確定X軸和Y軸，將所述預(yù)設(shè)視角的中心軸線作為Z軸建立相機(jī)坐標(biāo)系；

在所述相機(jī)坐標(biāo)系中，以所述虛擬相機(jī)所在的位置為所述視錐空間的原點(diǎn)，根據(jù)所述虛擬相機(jī)的相機(jī)平面和所述預(yù)設(shè)視角確定所述視錐空間對應(yīng)的空間范圍。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述視錐空間內(nèi)的目標(biāo)像素點(diǎn)及各目標(biāo)像素點(diǎn)的特征數(shù)據(jù)，確定所述預(yù)設(shè)視角對應(yīng)的二維圖像及圖像關(guān)聯(lián)的特征真實(shí)值的步驟，包括：

確定所述虛擬相機(jī)在所述視錐空間內(nèi)的成像平面；

將所述視錐空間內(nèi)的全部目標(biāo)像素點(diǎn)均投影到所述成像平面，得到特征疊加之后的像素點(diǎn)集合作為所述二維圖像，并利用各目標(biāo)像素點(diǎn)的特征數(shù)據(jù)獲取圖像關(guān)聯(lián)的特征真實(shí)值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述視錐空間內(nèi)的全部目標(biāo)像素點(diǎn)均投影到所述成像平面，得到特征疊加之后的像素點(diǎn)集合作為所述二維圖像，并利用各目標(biāo)像素點(diǎn)的特征數(shù)據(jù)獲取圖像關(guān)聯(lián)的特征真實(shí)值的步驟，包括：

檢測所述視錐空間內(nèi)每個物體對應(yīng)的全部邊界頂點(diǎn)；

將所述物體的全部邊界頂點(diǎn)投影到所述成像平面上，得到所述物體對應(yīng)的投影區(qū)域；

根據(jù)所述物體對應(yīng)的投影區(qū)域，確定所述物體對應(yīng)的邊界框，并形成所述二維圖像的特征真實(shí)值；

所述將所述視錐空間內(nèi)的全部目標(biāo)像素點(diǎn)均投影到所述成像平面，得到特征疊加之后的像素點(diǎn)集合，作為所述二維圖像的步驟之后，所述方法還包括：

在所述二維圖像中所述物體的邊界框上添加所述物體的真實(shí)值標(biāo)簽。

6.一種模型訓(xùn)練方法，其特征在于，利用權(quán)利要求1至5中任一項(xiàng)所述的場景數(shù)據(jù)獲取方法獲取的場景數(shù)據(jù)進(jìn)行模型訓(xùn)練；所述方法包括：

利用全部所述二維圖像及圖像關(guān)聯(lián)的特征值訓(xùn)練基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)，得到機(jī)器人視覺感知模型；

將所述機(jī)器人視覺感知模型加載到實(shí)際場景中的機(jī)器人。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述機(jī)器人視覺感知模型加載到實(shí)際場景中的機(jī)器人的步驟之后，所述方法還包括：

采集所述實(shí)際場景中的真實(shí)圖像；

利用所述真實(shí)圖像作為訓(xùn)練數(shù)據(jù)再次訓(xùn)練所述機(jī)器人視覺感知模型，得到優(yōu)化后的機(jī)器人視覺感知模型。