[發(fā)明專利]一種基于無人貨柜場(chǎng)景的仿真空間模型訓(xùn)練數(shù)據(jù)生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010986973.2
• 申請(qǐng)日: 2020-09-18
• 公開（公告）號(hào): CN112149348A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 程楊武;鄧博洋
• 申請(qǐng)（專利權(quán)）人: 北京每日優(yōu)鮮電子商務(wù)有限公司
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06K9/62;G06T15/00;G06T17/00;G06T19/00
• 代理公司: 北京華專卓海知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11664
• 代理人: 王一

1.一種基于無人貨柜場(chǎng)景的仿真空間模型訓(xùn)練數(shù)據(jù)生成方法，其特征在于，包括：

搭建場(chǎng)景，所述場(chǎng)景包括仿真場(chǎng)景或圖片場(chǎng)景，所述仿真場(chǎng)景包括通過渲染搭建的柜內(nèi)外模擬場(chǎng)景，所述圖片場(chǎng)景包括通過圖像采集設(shè)備采集到的柜內(nèi)外真實(shí)場(chǎng)景；

對(duì)物品進(jìn)行建模，并將建模后的物品放置于所述場(chǎng)景中，得到仿真空間模型；所述物品包括目標(biāo)商品，且每一目標(biāo)商品的展示部分不小于展示閾值；

調(diào)整仿真空間模型的擾動(dòng)因素，生成仿真空間模型的訓(xùn)練數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述物品還包括遮擋物和/或非目標(biāo)商品，所述遮擋物用于對(duì)所述目標(biāo)商品的展示部分進(jìn)行遮擋。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述仿真空間模型包括：

背景層，用于加載所述場(chǎng)景；

商品層，用于加載所述目標(biāo)商品；

前景層，用于加載所述遮擋物和/或非目標(biāo)商品。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：

設(shè)置所述商品層中所述目標(biāo)商品之間的第一遮擋關(guān)系最大值，使所述商品層中的目標(biāo)商品被遮擋的部分不超過所述第一遮擋關(guān)系最大值；

設(shè)置所述前景層中所述遮擋物與目標(biāo)商品的第二遮擋關(guān)系最大值，使所述前景層中的目標(biāo)商品被遮擋的部分不超過所述第二遮擋關(guān)系最大值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)物品進(jìn)行建模，包括：

計(jì)算物品表面的反光率，將反光率小于預(yù)設(shè)反光率閾值的物品作為第一類物品，反光率不小于預(yù)設(shè)反光率閾值的物品作為第二類物品，對(duì)物品進(jìn)行分類；

對(duì)所述第一類物品進(jìn)行掃描建模，得到第一模型；

對(duì)所述第二類物品進(jìn)行主動(dòng)建模，得到第二模型；

所述掃描建模，包括：

獲取所述第一類物品的多角度旋轉(zhuǎn)視頻；

根據(jù)視頻對(duì)所述第一類物品進(jìn)行稀疏建模，得到稀疏點(diǎn)云；

對(duì)所述稀疏點(diǎn)云進(jìn)行稠密化，得到稠密點(diǎn)云；

對(duì)所述稠密點(diǎn)云進(jìn)行模型化和貼圖，得到具有紋理的初步第一模型；

對(duì)所述初步第一模型進(jìn)行去噪處理，得到第一模型；

所述主動(dòng)建模，包括：

獲取所述第二類物品的若干表面圖片，所述表面圖片的分辨率高于預(yù)設(shè)的分辨率最低值；

根據(jù)獲取到的第二類物品的表面圖片進(jìn)行建模，得到M0模型，所述M0模型與所述第二類物品具有一致的形狀特征；

對(duì)所述M0模型添加色彩紋理信息，得到M1模型，所述M1模型與所述第二類物品具有一致的形狀和色彩特征；

對(duì)所述M1模型調(diào)整材質(zhì)屬性，得到第二模型，所述第二模型與所述第二類物品具有一致的形狀、色彩特征和材質(zhì)屬性。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)整仿真空間模型的擾動(dòng)因素，包括：

對(duì)所述圖像采集設(shè)備的采集角度進(jìn)行調(diào)整，和/或

對(duì)所述柜內(nèi)外模擬場(chǎng)景進(jìn)行切換，和/或

對(duì)所述柜內(nèi)外真實(shí)場(chǎng)景進(jìn)行切換，和/或

對(duì)光照強(qiáng)度進(jìn)行調(diào)整，和/或

對(duì)光源位置進(jìn)行調(diào)整，和/或

對(duì)色溫進(jìn)行調(diào)整，和/或

對(duì)物品進(jìn)行增減，和/或

對(duì)物品進(jìn)行替換，和/或

對(duì)物品的放置位置進(jìn)行調(diào)整，和/或

對(duì)物品的放置姿態(tài)進(jìn)行調(diào)整，和/或

對(duì)物品的遮擋關(guān)系進(jìn)行調(diào)整。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，識(shí)別所述仿真空間模型中的物品，提取并建立物品的坐標(biāo)信息和標(biāo)簽信息之間的映射關(guān)系。