[發(fā)明專利]一種基于紋理合成的三維模型自動上色方法

有效

• 申請?zhí)枺?/td>: 201711012500.7
• 申請日: 2017-10-26
• 公開（公告）號: CN109712223B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 劉俊成;連宙輝;肖建國
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T11/00;G06T17/20;G06T19/20;G06K9/62
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理有限公司 11360
• 代理人: 黃鳳茹

本發(fā)明公布了一種基于紋理合成的三維模型自動上色方法，采用紋理合成方法對給定模型和圖像進行紋理合成，并通過網(wǎng)格投影恢復(fù)模型表面的紋理坐標，由此實現(xiàn)根據(jù)用戶給定的圖像合成模型貼圖，方便快捷地實現(xiàn)對三維模型進行自動上色；包括：紋理圖像處理階段、三維模型處理階段和紋理合成階段。本發(fā)明方法可以方便快捷地對三維模型進行自動上色，無需手動進行網(wǎng)格參數(shù)化或手工設(shè)計紋理貼圖，只需輸入二維圖像和待上色的三維模型，即可自動地合成模型貼圖。本發(fā)明適合海量模型的自動上色工程，極大簡化了模型著色的難度，也非常適合個性化的模型制作與展示。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能和計算機圖形處理技術(shù)，尤其涉及一種基于紋理合成的三維模型自動上色方法。

背景技術(shù)

三維模型是計算機中用來表示和存儲真實世界中三維物體的形式，一般由多邊形面片連接構(gòu)成。相對于傳統(tǒng)的二維圖像來說，三維模型能帶給人們更強的真實感和立體感。使用計算機進行三維模型處理一直以來是圖形學(xué)的主要研究部分，主要應(yīng)用包括計算機輔助設(shè)計(CAD)、3D計算機游戲，三維動畫電影制作，以及近年來興起的三維打印技術(shù)，再到如今發(fā)展勢頭強勁的虛擬現(xiàn)實與增強現(xiàn)實技術(shù)，都需要大量的三維模型作為其數(shù)據(jù)基礎(chǔ)，要求計算機有能力處理三維模型。

隨著三維建模技術(shù)和三維掃描技術(shù)，特別是消費級RGBD攝像機的普及，三維模型的數(shù)量在互聯(lián)網(wǎng)上與日俱增。比較典型的三維模型庫如斯坦福大學(xué)開發(fā)的ShapeNet、3DWarehouse，都是包含百萬級三維模型的模型庫。模型庫中有一些模型是采用建模軟件如Maya、Sketchup的CAD建模而得到的，有些則是利用3D激光掃描儀、深度攝像頭等捕獲設(shè)備對真實物體進行三維重建而得到的。然而，這些海量的模型絕大部分都是沒有顏色和紋理信息的“白模型”。而顏色信息對于物體的重要性不言而喻，不論是三維展示、打印或是視覺判斷，被合理上色的三維模型都要比只有幾何信息的白模型更優(yōu)越。有一些附帶顏色信息的三維模型也是基于頂點著色，由于三維模型頂點的稀疏性，這種方法只能賦予三維模型一些簡單粗糙的顏色，并不能使模型富有強烈的真實感。

目前對三維模型進行上色的主流方法是紋理貼圖技術(shù)。該技術(shù)對三維網(wǎng)格進行參數(shù)化至二維表面，設(shè)計者通過對二維表面直接進行繪制得到模型的紋理圖像。最后，三維網(wǎng)格上的頂點會被賦予紋理貼圖的UV坐標作為顏色索引，最終顯示上色后的三維模型。這種方法考慮了三維模型頂點的稀疏性特征，相比頂點著色，紋理貼圖能夠生成更為精細的著色效果而不需對原網(wǎng)格進行細分等操作。

然而，手工設(shè)計三維模型的紋理貼圖并非易事，需要設(shè)計者經(jīng)過專業(yè)的訓(xùn)練，在參數(shù)化的三維網(wǎng)格上進行直接繪制。這一方面對設(shè)計者美工設(shè)計的基礎(chǔ)有一定的要求，另一方面，即使是專業(yè)設(shè)計人員也需要花費較長的時間和精力去設(shè)計一張精良的模型貼圖。因此，這種方法要求較高、效率低下，效果欠佳，難以滿足與日俱增的三維模型處理的需要。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于紋理合成的三維模型自動上色方法，利用紋理合成技術(shù)，通過三維模型處理、紋理合成等方法，對給定的模型和圖像進行紋理合成，并通過網(wǎng)格投影恢復(fù)模型表面的紋理坐標，由此實現(xiàn)根據(jù)用戶給定的圖像合成模型貼圖，方便快捷的對三維模型進行自動上色。

本發(fā)明提供的技術(shù)方案是：

一種基于紋理合成的三維模型自動上色方法，采用紋理合成方法(如基于PatchMatch紋理合成)對給定的模型和圖像進行紋理合成，并通過網(wǎng)格投影恢復(fù)模型表面的紋理坐標，由此實現(xiàn)根據(jù)用戶給定的圖像合成模型貼圖，方便快捷的對三維模型進行自動上色；包括：紋理圖像處理階段、三維模型處理階段和紋理合成階段；

(一)紋理圖像處理階段

在此階段，對用戶輸入的紋理圖像進行預(yù)處理，主要進行圖像分解、區(qū)域分割等步驟。具體步驟如下：