[發(fā)明專利]物體功能性預(yù)測(cè)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810618106.6
• 申請(qǐng)日: 2018-06-15
• 公開（公告）號(hào): CN108921952B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 胡瑞珍;黃惠;張皓
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06T19/20
• 分類號(hào): G06T19/20
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 何平

1.一種物體功能性預(yù)測(cè)方法，所述方法包括：

獲取待預(yù)測(cè)物體和多個(gè)候選場(chǎng)景；

將待預(yù)測(cè)物體和當(dāng)前候選場(chǎng)景輸入距離度量模型，所述距離度量模型根據(jù)已訓(xùn)練的場(chǎng)景特征子網(wǎng)絡(luò)計(jì)算得到當(dāng)前候選場(chǎng)景對(duì)應(yīng)的特征向量，根據(jù)所述待預(yù)測(cè)物體和所述當(dāng)前候選場(chǎng)景對(duì)應(yīng)的特征向量輸出所述待預(yù)測(cè)物體到所述當(dāng)前候選場(chǎng)景的距離，其中距離度量模型的模型參數(shù)包括由已訓(xùn)練的物體特征子網(wǎng)絡(luò)確定的參數(shù)，所述已訓(xùn)練的場(chǎng)景特征子網(wǎng)絡(luò)和物體特征子網(wǎng)絡(luò)通過以下步驟訓(xùn)練得到：構(gòu)建功能相似性網(wǎng)絡(luò)，所述功能相似性網(wǎng)絡(luò)包括物體特征子網(wǎng)絡(luò)和至少2個(gè)場(chǎng)景特征子網(wǎng)絡(luò)，其中各個(gè)基本場(chǎng)景特征子網(wǎng)絡(luò)共享網(wǎng)絡(luò)參數(shù)；獲取訓(xùn)練數(shù)據(jù)集合，所述訓(xùn)練數(shù)據(jù)集合中的各個(gè)訓(xùn)練數(shù)據(jù)包括孤立物體數(shù)據(jù)、正場(chǎng)景數(shù)據(jù)和負(fù)場(chǎng)景數(shù)據(jù)，其中正場(chǎng)景體現(xiàn)的功能與孤立物體功能相同，負(fù)場(chǎng)景體現(xiàn)的功能與孤立物體功能不同；根據(jù)所述訓(xùn)練數(shù)據(jù)集合對(duì)所述功能相似性網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)所述功能相似性網(wǎng)絡(luò)的輸出計(jì)算代價(jià)函數(shù)，調(diào)整所述功能相似性網(wǎng)絡(luò)的參數(shù)，直到所述代價(jià)函數(shù)滿足收斂條件，得到已訓(xùn)練的功能相似性網(wǎng)絡(luò)；

根據(jù)所述距離度量模型得到待預(yù)測(cè)物體到各個(gè)候選場(chǎng)景的距離；

根據(jù)待預(yù)測(cè)物體到各個(gè)候選場(chǎng)景的距離確定所述待預(yù)測(cè)物體對(duì)應(yīng)的目標(biāo)場(chǎng)景；

根據(jù)所述目標(biāo)場(chǎng)景得到所述待預(yù)測(cè)物體對(duì)應(yīng)的功能性預(yù)測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述功能相似性網(wǎng)絡(luò)通過推斷孤立的三維物體的交互上下文來預(yù)測(cè)功能。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述功能相似性網(wǎng)絡(luò)對(duì)應(yīng)的物體特征子網(wǎng)絡(luò)的輸出為高斯模型對(duì)應(yīng)的參數(shù)，所述代價(jià)函數(shù)為關(guān)于孤立物體與正場(chǎng)景之間對(duì)應(yīng)的功能相似性期望、孤立物體與負(fù)場(chǎng)景之間對(duì)應(yīng)的功能相似性期望的函數(shù)，所述功能相似性期望通過以下公式計(jì)算得到：

其中，ε(x,Y)表示孤立物體x與場(chǎng)景Y之間對(duì)應(yīng)的功能相似性期望值，p是高斯分布，N是所述高斯模型對(duì)應(yīng)的高斯數(shù)量，{φ_k,μ_k,σ_k}是所述高斯模型中第k個(gè)高斯的參數(shù)，其中φ_k表示權(quán)重，μ_k表示均值和σ_k表示方差，f_Y是由所述功能相似性網(wǎng)絡(luò)對(duì)應(yīng)的場(chǎng)景特征子網(wǎng)絡(luò)計(jì)算得到的場(chǎng)景Y對(duì)應(yīng)的特征向量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)所述已訓(xùn)練的場(chǎng)景特征子網(wǎng)絡(luò)計(jì)算不同場(chǎng)景之間的功能性差異；

根據(jù)所述已訓(xùn)練的物體特征子網(wǎng)絡(luò)計(jì)算不同物體之間的功能性差異。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)場(chǎng)景得到所述待預(yù)測(cè)物體對(duì)應(yīng)的功能性預(yù)測(cè)結(jié)果之后，還包括：

根據(jù)所述功能性預(yù)測(cè)結(jié)果確定所述待預(yù)測(cè)物體對(duì)應(yīng)的功能標(biāo)簽；

將所述待預(yù)測(cè)物體和所述待預(yù)測(cè)物體對(duì)應(yīng)的功能標(biāo)簽輸入已訓(xùn)練的上下文生成網(wǎng)絡(luò)模型；

所述已訓(xùn)練的上下文生成網(wǎng)絡(luò)模型通過生成子網(wǎng)絡(luò)生成對(duì)應(yīng)的目標(biāo)場(chǎng)景；

所述已訓(xùn)練的上下文生成網(wǎng)絡(luò)模型通過放置子網(wǎng)絡(luò)生成所述待預(yù)測(cè)物體對(duì)應(yīng)的放置參數(shù)；

根據(jù)所述目標(biāo)場(chǎng)景和所述放置參數(shù)，得到以所述待預(yù)測(cè)物體為中心物體的交互上下文場(chǎng)景。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

將所述交互上下文場(chǎng)景、所述功能標(biāo)簽輸入已訓(xùn)練的分割網(wǎng)絡(luò)；

所述分割網(wǎng)絡(luò)計(jì)算得到所述交互上下文場(chǎng)景對(duì)應(yīng)的體素化場(chǎng)景中各個(gè)體素對(duì)應(yīng)的功能性概率；

根據(jù)各個(gè)體素對(duì)應(yīng)的功能性概率將所述交互上下文場(chǎng)景對(duì)應(yīng)的體素化場(chǎng)景分割為不同交互類型對(duì)應(yīng)的體素集合。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

獲取當(dāng)前體素集合對(duì)應(yīng)的當(dāng)前交互類型，獲取與所述當(dāng)前交互類型對(duì)應(yīng)的候選替換物體；

根據(jù)相似性算法從所述候選替換物體中檢索得到所述當(dāng)前體素集合對(duì)應(yīng)的目標(biāo)替換物體；

在所述交互上下文場(chǎng)景對(duì)應(yīng)的體素化場(chǎng)景中用所述目標(biāo)替換物體替換所述當(dāng)前體素集合。