[發(fā)明專(zhuān)利]物體表面反射屬性提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010903356.1
• 申請(qǐng)日: 2020-09-01
• 公開(kāi)（公告）號(hào): CN111951292B
• 公開(kāi)（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 王欣;王豫嵩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 吉林大學(xué)
• 主分類(lèi)號(hào): G06T7/13
• 分類(lèi)號(hào): G06T7/13;G06T5/30;G06T7/90;G06T15/50;G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張春輝

本申請(qǐng)公開(kāi)了一種物體表面反射屬性提取方法，該方法中提出一種基于柏林噪聲的合成數(shù)據(jù)集，生成具有低頻和高頻特征分布的紋理，支持?jǐn)?shù)據(jù)集樣本的生成，解決訓(xùn)練數(shù)據(jù)不足的問(wèn)題，同時(shí)該方法基于柏林噪聲進(jìn)行樣本數(shù)據(jù)的合成，可以表達(dá)出近似真實(shí)樣本的數(shù)據(jù)集合，進(jìn)一步提高了網(wǎng)絡(luò)的泛化性；另外，該方法中還提出一種基于VGG?19和U?Net網(wǎng)絡(luò)模型的自編碼器網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)對(duì)特征圖進(jìn)行直方圖匹配，通過(guò)空洞卷積策略進(jìn)行特征提取，結(jié)合弱監(jiān)督和渲染技術(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)于提取的物體表面反射屬性精度以及質(zhì)量均實(shí)現(xiàn)了有效的提升。本申請(qǐng)還提供了一種物體表面反射屬性提取裝置、設(shè)備及一種可讀存儲(chǔ)介質(zhì)，具有上述有益效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種物體表面反射屬性提取方法、裝置、設(shè)備及一種可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

真實(shí)物體的三維建模包括三維幾何建模和表面反射屬性建模。三維幾何建模可以利用三維掃描儀進(jìn)行數(shù)據(jù)收集，或通過(guò)美術(shù)工作者利用Maya、3DMax等專(zhuān)業(yè)的建模軟件來(lái)進(jìn)行模型制作。而物體的表面反射屬性建模過(guò)程十分復(fù)雜，不同樣本的表面反射屬性不盡相同，在表面反射屬性建模中存在著諸多難點(diǎn)，如由于輸入圖像的亮度分布不均勻、分辨率不足、圖像細(xì)節(jié)模糊等因素都會(huì)影響生成結(jié)果的質(zhì)量和準(zhǔn)確性，如何穩(wěn)定可靠地生成質(zhì)量較高、圖像細(xì)節(jié)不丟失的表面反射屬性一直是研究難點(diǎn)。

目前，對(duì)于表面反射屬性建模研究的方法主要分為兩類(lèi)：一類(lèi)是基于傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)方法，另一類(lèi)是基于深度學(xué)習(xí)的方法。

其中，傳統(tǒng)的獲取物體表面反射屬性的方法存在著諸多問(wèn)題和局限性，例如需要特殊的專(zhuān)業(yè)采集儀器進(jìn)行樣本檢測(cè)、采集過(guò)程過(guò)于專(zhuān)業(yè)和復(fù)雜以及不能實(shí)現(xiàn)參數(shù)化等。

近些年來(lái)隨著人工智能的不斷發(fā)展，深度學(xué)習(xí)在三維重建、圖像風(fēng)格遷移、圖像超分辨率增強(qiáng)和紋理合成等領(lǐng)域都展現(xiàn)出了不錯(cuò)的效果，也有研究者將神經(jīng)網(wǎng)絡(luò)引入到物體表面反射屬性建模問(wèn)題中。基于深度學(xué)習(xí)的方法則是利用卷積神經(jīng)網(wǎng)絡(luò)，對(duì)單張圖像進(jìn)行預(yù)測(cè)，并通過(guò)添加各種條件的限制進(jìn)行性能優(yōu)化，神經(jīng)網(wǎng)絡(luò)會(huì)假設(shè)輸入是一個(gè)已知幾何形狀的均勻物體，并利用自然光照以及圖像的先驗(yàn)分布進(jìn)行預(yù)測(cè)，可以實(shí)現(xiàn)預(yù)測(cè)特定樣本的表面反射屬性，神經(jīng)網(wǎng)絡(luò)中對(duì)于自動(dòng)優(yōu)化參數(shù)的設(shè)置，采用一種基于批標(biāo)準(zhǔn)化自動(dòng)優(yōu)化的方法。測(cè)試樣本采用的是手機(jī)等移動(dòng)設(shè)備拍攝的圖像。測(cè)試階段將圖像輸入到網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)會(huì)生成對(duì)應(yīng)的表面反射屬性。通過(guò)觀察并計(jì)算生成結(jié)果和標(biāo)簽值的差值，進(jìn)行網(wǎng)絡(luò)性能的評(píng)估。較為常用的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法為Valentin算法。Valentin網(wǎng)絡(luò)是一種基于深度學(xué)習(xí)的方法，功能是對(duì)單張圖像進(jìn)行表面反射屬性估計(jì)。該模型利用大量具有空間變化的標(biāo)簽圖像去訓(xùn)練一個(gè)預(yù)先設(shè)計(jì)好的初始卷積神經(jīng)網(wǎng)絡(luò)，每一個(gè)訓(xùn)練的樣本圖像包括漫反射貼圖(Albedo map)、法線貼圖(Normal map)、高光貼圖(Specular)和粗糙度貼圖(Roughness)。Valentin網(wǎng)絡(luò)模型結(jié)構(gòu)遵循U-Net自編碼器結(jié)構(gòu)，對(duì)輸入的單張圖像進(jìn)行表面反射屬性預(yù)測(cè)，訓(xùn)練后得到了相應(yīng)的表面反射屬性。

但是，在利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行處理、生成漫反射貼圖時(shí)，會(huì)產(chǎn)生明暗不均勻、光照過(guò)強(qiáng)、過(guò)暗或損失特征分布信息等問(wèn)題，針對(duì)某一局部高強(qiáng)度點(diǎn)光源，無(wú)法準(zhǔn)確分析其高光結(jié)構(gòu)，會(huì)將高光誤認(rèn)為是紋理自身顏色，同時(shí)輸出尺寸增加時(shí)，還會(huì)導(dǎo)致優(yōu)化和合成過(guò)程在迭代中逐漸不穩(wěn)定，丟失紋理規(guī)律性。

因此，如何穩(wěn)定實(shí)現(xiàn)物體表面反射屬性的精準(zhǔn)提取，是本領(lǐng)域技術(shù)人員急需解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種物體表面反射屬性提取方法，該方法可以穩(wěn)定實(shí)現(xiàn)物體表面反射屬性的精準(zhǔn)提取；本申請(qǐng)的另一目的是提供一種物體表面反射屬性提取裝置、設(shè)備及一種可讀存儲(chǔ)介質(zhì)。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N物體表面反射屬性提取方法，包括：

確定目標(biāo)物體的表面圖像；

對(duì)所述表面圖像進(jìn)行歸一化處理；