[發(fā)明專利]一種基于紋理合成的三維模型自動(dòng)上色方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711012500.7
• 申請(qǐng)日: 2017-10-26
• 公開（公告）號(hào): CN109712223B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 劉俊成;連宙輝;肖建國(guó)
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06T15/04
• 分類號(hào): G06T15/04;G06T11/00;G06T17/20;G06T19/20;G06K9/62
• 代理公司: 北京萬(wàn)象新悅知識(shí)產(chǎn)權(quán)代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于紋理合成的三維模型自動(dòng)上色方法，采用紋理合成方法對(duì)給定模型和圖像進(jìn)行紋理合成，并通過(guò)網(wǎng)格投影恢復(fù)模型表面的紋理坐標(biāo)，由此實(shí)現(xiàn)根據(jù)用戶給定的圖像合成模型貼圖，方便快捷地實(shí)現(xiàn)對(duì)三維模型進(jìn)行自動(dòng)上色；包括：紋理圖像處理階段、三維模型處理階段和紋理合成階段；

(一)在紋理圖像處理階段，對(duì)用戶輸入的紋理圖像進(jìn)行預(yù)處理，包括圖像分解、區(qū)域分割處理，得到不同區(qū)域劃分和紋理圖像的像素點(diǎn)集；

(二)在三維模型處理階段，對(duì)用戶輸入的三維模型進(jìn)行預(yù)處理，包括三維模型切割、渲染；均勻采樣視角方向并渲染每個(gè)采樣視角下的模型圖，提取模型圖特征并與用戶輸入的紋理圖像進(jìn)行匹配；得到不同區(qū)域劃分和渲染圖的像素點(diǎn)集；包括如下步驟：

21)視角確定：均勻采樣視角方向并渲染每個(gè)采樣視角下的模型圖，提取模型圖特征并與用戶輸入的紋理圖進(jìn)行匹配；

22)模型分割：根據(jù)三維模型的幾何特征對(duì)其進(jìn)行分割，得到不同的子部件或區(qū)域；

23)根據(jù)模型分割結(jié)果對(duì)渲染圖進(jìn)行區(qū)域標(biāo)注；

24)對(duì)該標(biāo)注的區(qū)域劃分模型渲染圖進(jìn)行均勻采樣，得到渲染圖的像素點(diǎn)集；

在步驟21)中，視角的選取采用“足球烯”頂點(diǎn)分布結(jié)構(gòu)作為攝像機(jī)矩陣渲染三維模型，在得到的渲染圖中，提取梯度分布直方圖特征，同時(shí)提取紋理圖像的梯度分布直方圖，選取使二者歐式距離最小的視角方向，作為紋理圖像的視角估計(jì)；

在步驟22)中，利用形狀直徑函數(shù)對(duì)三維模型進(jìn)行分割，得到三維模型的不同子部件；模型的三角網(wǎng)格頂點(diǎn)與渲染圖像素之間具有對(duì)應(yīng)關(guān)系；

在步驟23)中，利用模型的三角網(wǎng)格頂點(diǎn)與渲染圖像素之間具有對(duì)應(yīng)關(guān)系，將三維模型分割的結(jié)果通過(guò)索引映射到模型渲染圖上，得到模型渲染圖中每個(gè)像素的區(qū)域標(biāo)注；

(三)在紋理合成階段進(jìn)行三維模型著色；包括如下步驟：

31)將模型渲染圖與紋理圖像進(jìn)行匹配：根據(jù)紋理圖像處理和三維模型處理產(chǎn)生的結(jié)果，對(duì)紋理圖像的像素點(diǎn)集和渲染圖的像素點(diǎn)集進(jìn)行匹配并重建區(qū)域?qū)?yīng)關(guān)系；

32)根據(jù)區(qū)域?qū)?yīng)關(guān)系生成紋理合成指導(dǎo)，利用紋理合成方法，合成模型在視角方向和其背面的紋理圖像；

33)分別對(duì)可見面進(jìn)行紋理合成和紋理坐標(biāo)恢復(fù)；

34)生成全局紋理坐標(biāo)與模型紋理圖，對(duì)邊緣與縫隙進(jìn)行補(bǔ)全；

35)渲染并生成最終效果圖，由此實(shí)現(xiàn)基于紋理合成的三維模型自動(dòng)上色。

2.如權(quán)利要求1所述自動(dòng)上色方法，其特征是，所述紋理合成方法具體采用PatchMatch紋理合成方法。

3.如權(quán)利要求1所述自動(dòng)上色方法，其特征是，在(一)在紋理圖像處理階段的處理具體步驟如下：

11)根據(jù)用戶輸入的前景分割完畢的或只有簡(jiǎn)單背景的紋理圖像，利用圖像分解方法對(duì)該圖像進(jìn)行分解，分解得到彩色圖和光照?qǐng)D；

12)利用四叉樹分解法，將步驟11)得到的彩色圖分解為多個(gè)具有相近顏色的圖像塊；

13)提取圖像塊顏色特征，并在該特征空間進(jìn)行維度約減，得到像素級(jí)顏色特征圖；

14)利用圖分割技術(shù)分割步驟13)得到的像素級(jí)顏色特征圖，得到不同區(qū)域劃分；

15)對(duì)用戶輸入的紋理圖像進(jìn)行均勻采樣，得到紋理圖像的像素點(diǎn)集。

4.如權(quán)利要求3所述自動(dòng)上色方法，其特征是，在步驟11)中，具體采用圖像分解方法將圖像分解為一對(duì)彩色圖和光照?qǐng)D；

在步驟12)中，圖像逐步被均勻四等分，在初始狀態(tài)下，圖像分別被長(zhǎng)、寬兩條邊的中線分割為四個(gè)子部分；對(duì)于其中每一個(gè)子部分，遞歸地執(zhí)行圖像四等分，直至圖像塊中的色彩分布的方差小于設(shè)置的方差閾值；

在步驟14)中，將步驟11)得到的彩色圖的每個(gè)像素視作頂點(diǎn)，采用四鄰域鄰接關(guān)系作為圖的邊，構(gòu)成一個(gè)無(wú)向圖；可利用圖分割算法對(duì)無(wú)向圖進(jìn)行分割；

在步驟15)中，具體采用飛鏢投擲算法對(duì)圖像進(jìn)行均勻采樣。

5.如權(quán)利要求1所述自動(dòng)上色方法，其特征是，在步驟31)中，具體使用一致性點(diǎn)集漂移算法，對(duì)兩個(gè)像素點(diǎn)集進(jìn)行匹配得到基于像素的對(duì)應(yīng)關(guān)系；具體采用大多數(shù)投票機(jī)制，對(duì)于每個(gè)模型區(qū)域，選擇其中最多數(shù)的采樣點(diǎn)所對(duì)應(yīng)的紋理圖像的色塊，得到基于區(qū)域的對(duì)應(yīng)關(guān)系；并采用基于區(qū)域的對(duì)應(yīng)代替基于像素的對(duì)應(yīng)關(guān)系。