[發(fā)明專利]自行車三維模型重建方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110286477.0
• 申請(qǐng)日: 2021-03-17
• 公開(kāi)（公告）號(hào): CN112883494B
• 公開(kāi)（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 劉燁斌;林思有;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F30/15
• 分類號(hào): G06F30/15;G06F30/27;G06N3/04;G06N3/08;G06T17/00;G06F111/04
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 韓海花

本發(fā)明提出一種自行車三維模型重建方法和裝置，其中，方法包括：根據(jù)預(yù)設(shè)的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)RGB圖像對(duì)應(yīng)的目標(biāo)基礎(chǔ)幾何體，并根據(jù)目標(biāo)基礎(chǔ)幾何體組成候選三維模型，其中，RGB圖像中包含自行車圖像區(qū)域；將候選三維模型投影到RGB圖像中，確定候選三維模型與RGB圖像對(duì)應(yīng)的對(duì)齊點(diǎn)；根據(jù)對(duì)齊點(diǎn)確定候選三維模型的紋理特征，并根據(jù)紋理特征生成候選三維模型的紋理生成自行車三維模型。由此，可以實(shí)現(xiàn)結(jié)構(gòu)化的，具有細(xì)粒度幾何與紋理特征的自行車三維模型的構(gòu)建。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種自行車三維模型重建方法和裝置。

背景技術(shù)

目前，從RGB圖像進(jìn)行三維模型重建是計(jì)算機(jī)視覺(jué)中的重要問(wèn)題。近兩三年來(lái)，深度學(xué)習(xí)方法已經(jīng)在三維模型重建中取得了重要進(jìn)展。一些完全依賴于深度學(xué)習(xí)的方法，如PIFu(Pixel-Aligned Implicit Function)，在重建過(guò)程中僅僅從RGB圖像的像素出發(fā)，而沒(méi)有考慮到目標(biāo)模型的幾何先驗(yàn)特征，容易導(dǎo)致幾何不一致的結(jié)果。近期另一些利用基本幾何模型來(lái)擬合整體的方法，如VP(Volumetric Primitives)，SIF(Structured ImplicitFunction)等，一方面證明了這一類方法的可行性，但另一方面由于其選擇的幾何形狀在拓?fù)渖蠁我唬浔磉_(dá)能力受限，并且不能很好的表征細(xì)節(jié)或幾何上奇異的部分。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此，本發(fā)明的第一個(gè)目的在于提出一種自行車三維模型重建方法，以實(shí)現(xiàn)結(jié)構(gòu)化的，具有細(xì)粒度幾何與紋理特征的自行車三維模型的構(gòu)建。

本發(fā)明的第二個(gè)目的在于提出一種自行車三維模型重建裝置。

本發(fā)明的第三個(gè)目的在于提出一種計(jì)算機(jī)設(shè)備。

本發(fā)明的第四個(gè)目的在于提出一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的第五個(gè)目的在于提出一種計(jì)算機(jī)程序產(chǎn)品。

為達(dá)上述目的，本發(fā)明第一方面實(shí)施例提出了一種自行車三維模型重建方法，包括：根據(jù)預(yù)設(shè)的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)RGB圖像對(duì)應(yīng)的目標(biāo)基礎(chǔ)幾何體，并根據(jù)所述目標(biāo)基礎(chǔ)幾何體組成候選三維模型，其中，所述RGB圖像中包含自行車圖像區(qū)域；

將所述候選三維模型投影到所述RGB圖像中，確定所述候選三維模型與所述RGB圖像對(duì)應(yīng)的對(duì)齊點(diǎn)；

根據(jù)所述對(duì)齊點(diǎn)確定所述候選三維模型的紋理特征，并根據(jù)所述紋理特征生成所述候選三維模型的紋理生成自行車三維模型。

為達(dá)上述目的，本發(fā)明第二方面實(shí)施例提出了一種自行車三維模型重建裝置，包括：組成模塊，用于根據(jù)預(yù)設(shè)的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)RGB圖像對(duì)應(yīng)的目標(biāo)基礎(chǔ)幾何體，并根據(jù)所述目標(biāo)基礎(chǔ)幾何體組成候選三維模型，其中，所述RGB圖像中包含自行車圖像區(qū)域；

確定模塊，用于將所述候選三維模型投影到所述RGB圖像中，確定所述候選三維模型與所述RGB圖像對(duì)應(yīng)的對(duì)齊點(diǎn)；

模型生成模塊，用于根據(jù)所述對(duì)齊點(diǎn)確定所述候選三維模型的紋理特征，并根據(jù)所述紋理特征生成所述候選三維模型的紋理生成自行車三維模型。

為達(dá)上述目的，本發(fā)明第三方面實(shí)施例提出了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如上述第一方面實(shí)施例所述的自行車三維模型重建方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明第四方面實(shí)施例提出了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面實(shí)施例所述的自行車三維模型重建方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明第五方面實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上述第一方面實(shí)施例所述的自行車三維模型重建方法。