[發(fā)明專利]一種基于單幅自然圖像重建積云三維形狀的方法

在審

• 申請?zhí)枺?/td>: 201710669930.X
• 申請日: 2017-08-08
• 公開（公告）號: CN107564095A
• 公開（公告）日: 2018-01-09
• 發(fā)明（設(shè)計）人: 梁曉輝;姜涵;張一鳴;張自立
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/13;G06T7/136
• 代理公司: 北京科迪生專利代理有限責(zé)任公司11251
• 代理人: 楊學(xué)明,顧煒

技術(shù)領(lǐng)域

本發(fā)明屬于計算機圖形學(xué)領(lǐng)域，特別是云建模領(lǐng)域，具體涉及一種基于單幅自然圖像重建積云三維形狀的方法。

背景技術(shù)

云作為一種常見的自然現(xiàn)象，其形狀千變?nèi)f化，形成、發(fā)展和消散的過程極其復(fù)雜，云的建模一直是具有挑戰(zhàn)性的工作。經(jīng)典的云建模方法大體分為兩類，即基于過程的方法和基于物理仿真的方法。前者主要利用分形理論和噪聲紋理等手段建模云的形狀，能夠構(gòu)建逼真的云，但是建模過程依賴頻繁的參數(shù)調(diào)整。為了減少甚至避免參數(shù)設(shè)定，研究人員開始嘗試基于物理仿真的方法，即通過模擬簡化的流體運動方程來仿真云的生成過程。基于物理的方法通過設(shè)定初始邊界條件能夠建模時域連續(xù)的云。然而，由于初始邊界條件和最終的云形狀成高度非線性關(guān)系，期望構(gòu)建滿意的云形狀仍然需要多次調(diào)整參數(shù)。

隨著計算機軟硬件和虛擬現(xiàn)實技術(shù)的發(fā)展，尤其是照相機及衛(wèi)星等傳感器的蓬勃發(fā)展使得自然圖像、衛(wèi)星云圖等數(shù)據(jù)變得越來越易于獲取，基于數(shù)據(jù)驅(qū)動的云建模方法逐漸成為研究熱點。該類方法不同于傳統(tǒng)的建模方法，其建模基于客觀數(shù)據(jù)，從而能夠在一定程度上反映數(shù)據(jù)的真實信息并表達相對準確的物理意義。在利用自然圖像建模云方面，Dobashi等人首先從單幅圖像建模多種類型的云。隨后，Yuan等人提出了一個簡化的單散射模型，并借助該模型逆向求解積云的三維形狀。與自然圖像不同，衛(wèi)星云圖常常被用于構(gòu)建大尺度的云系。對于衛(wèi)星云圖，Dobashi等人首先利用一個簡化的模型模擬大尺度的颶風(fēng)。近年來，Yuan等人提出利用遙感理論從低分辨率衛(wèi)星圖像中估計云參數(shù)，從而構(gòu)建大尺度云系的三維形狀。然而，他們的方法不適用于積云的建模。一方面是因為低分辨率衛(wèi)星圖像很難記錄積云的信息，另一方面是因為該方法依賴于參數(shù)設(shè)定，導(dǎo)致幾何厚度的誤差過大，甚至超過了積云的典型大小。

自然圖像作為真實世界云場景的直觀展現(xiàn)，在日常生活中非常普遍且易于捕獲，無論是虛擬逼真的云場景還是建模具有氣象學(xué)意義的云場景，自然圖像都具有無可比擬的優(yōu)勢，因而成為目前研究工作者建模云的重要數(shù)據(jù)源之一。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題為：克服現(xiàn)有技術(shù)的不足，提供一種基于單幅自然圖像重建積云三維形狀的方法，能夠從單幅自然圖像中，構(gòu)建積云的三維形狀，并恢復(fù)積云的表面細節(jié)。在此基礎(chǔ)上，優(yōu)化云的形狀，形成云的粒子模型并進行繪制。實驗表明，本發(fā)明提出的方法能夠從積云圖像中構(gòu)建自然的積云形狀，并保留與圖像一致的表面細節(jié)，方法簡單有效。

本發(fā)明解決上述的技術(shù)問題采用的技術(shù)方案為：一種基于單幅自然圖像重建積云三維形狀的方法，實現(xiàn)步驟如下：

步驟(1)、明暗約束，利用云體表面明暗信息能在一定程度上反應(yīng)形狀特征，將云像素聚類劃分為幾個高度區(qū)域，結(jié)合明暗恢復(fù)形狀算法獲得約束從而指導(dǎo)大范圍內(nèi)的形狀估計；

步驟(2)、邊界約束，利用閾值方法提取積云輪廓信息估計相關(guān)區(qū)域的形狀，利用邊緣檢測算法得到積云自遮擋信息恢復(fù)三維形狀的表面細節(jié)，由于輪廓和自遮擋邊界的相同特性，將兩種邊界結(jié)合獲得云體邊界約束；

步驟(3)、深度計算，假設(shè)積云表面為朗伯體反射，利用二階球面諧波函數(shù)進行光照建模，約束光照參數(shù)，并通過多尺度優(yōu)化方法迭代求解步驟(1)、(2)得到的明暗約束和邊界約束，從而求得積云深度圖；

步驟(4)、粒子采樣及繪制，利用步驟(3)得到的積云深度圖構(gòu)建積云表面三維網(wǎng)格，將網(wǎng)格模型離散化后計算云體內(nèi)頂點的距離場，自適應(yīng)采樣表面粒子和內(nèi)部粒子，形成積云的粒子模型，并采用多次前向散射模型對積云的粒子模型進行繪制。最終實現(xiàn)與輸入自然圖像相似的建模結(jié)果。

進一步的，所述步驟(1)中明暗約束的具體內(nèi)容如下：

步驟(A1)、當(dāng)視點與陽光在云體同一側(cè)時，云體亮度強的區(qū)域的平均高度大于相鄰的云體亮度相對較弱的區(qū)域的高度，根據(jù)像素亮度和坐標(biāo)信息將云像素采用K-means聚類方法劃分為幾個分區(qū)；

步驟(A2)、對于分區(qū)后的云塊區(qū)域，計算各區(qū)域的平均亮度值，則每個區(qū)域的平均高度與該區(qū)域的平均亮度成正比，與明暗恢復(fù)形狀算法結(jié)合獲得明暗約束，指導(dǎo)大范圍內(nèi)的形狀估計。

進一步的，所述步驟(2)中邊界約束的步驟具體如下：

步驟(B1)、對于積云邊界中的輪廓邊界，利用云和天空背景的色彩差異，結(jié)合閾值法將圖像像素分割為云像素和背景像素，然后檢測云像素的輪廓邊界；