[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)人體自由視點(diǎn)視頻的生成方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110310140.9
• 申請(qǐng)日: 2021-03-23
• 公開(kāi)（公告）號(hào): CN113096144B
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 劉燁斌;李哲;于濤
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T7/13
• 分類號(hào): G06T7/13;G06T7/181;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 韓海花

1.一種基于神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)人體自由視點(diǎn)視頻的生成方法，其特征在于，包括：

重建單個(gè)人體的預(yù)掃描模型；

通過(guò)多個(gè)RGB相機(jī)對(duì)所述單個(gè)人體拍攝，獲取RGB圖像序列；

對(duì)所述預(yù)掃描模型使進(jìn)行變形，使得變形后的所述預(yù)掃描模型與每幀RGB圖像匹配；

對(duì)所述預(yù)掃描模型采樣，并在每一個(gè)采樣點(diǎn)處定義一個(gè)隱碼，并基于神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化隱碼與網(wǎng)絡(luò)參數(shù)；

獲取任意渲染視角，基于所述任意渲染視角生成自由視點(diǎn)視頻；

所述對(duì)所述預(yù)掃描模型使進(jìn)行變形，使得變形后的所述預(yù)掃描模型與每幀RGB圖像匹配，包括：

基于所述預(yù)掃描模型對(duì)所述每幀RGB圖像進(jìn)行運(yùn)動(dòng)跟蹤，獲取所述每幀RGB圖像對(duì)應(yīng)的同拓?fù)淠Ｐ停?/p>

建立能量函數(shù)(1)，通過(guò)最優(yōu)化求解出所述預(yù)掃描模型的非剛性變形參數(shù)；

E＝E_color+E_silhouette+λ_smoothE_smooth (1)

其中，是顏色項(xiàng)，其中，M是所述預(yù)掃描模型的頂點(diǎn)集合，v是其中一個(gè)頂點(diǎn)，是經(jīng)過(guò)非剛性變形后的頂點(diǎn)位置，c_v是頂點(diǎn)顏色，π(·)表示投影函數(shù)，ColorImg(·)代表在彩色圖像上采樣獲得相應(yīng)的RGB值；是輪廓項(xiàng)，其中，Boundary(M)表示M中靠近圖像輪廓的頂點(diǎn)集合，DtImg是對(duì)輸入輪廓做距離變換得到的圖像；E_smooth為正則項(xiàng)；

獲取所有幀RGB圖像下同拓?fù)涞乃鲱A(yù)掃描模型。

2.如權(quán)利要求1所述的方法，其特征在于，所述重建單個(gè)人體的預(yù)掃描模型，包括：

使用多相機(jī)系統(tǒng)或掃描儀重建出所述單個(gè)人體的預(yù)掃描模型。

3.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述預(yù)掃描模型采樣，并在每一個(gè)采樣點(diǎn)處定義一個(gè)隱碼，并基于神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化隱碼與網(wǎng)絡(luò)參數(shù)，包括：

對(duì)所述預(yù)掃描模型進(jìn)行采樣，獲取系列采樣點(diǎn)對(duì)于每個(gè)采樣點(diǎn)定義一個(gè)隱碼

定義f_d(·)和f_c(·)為設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò)，對(duì)于所述每幀RGB圖像的所有空間點(diǎn)，對(duì)于任意空間點(diǎn)體密度公式為：σ＝f_d(z)；顏色公式為：c＝f_c(z，x，d)；其中，z表示x所在位置的隱碼，由插值得到，表示渲染視角；

輸入多相機(jī)采集視角，通過(guò)體渲染獲取渲染圖像與真實(shí)采集圖像構(gòu)建誤差函數(shù)

基于公式(2)聯(lián)合訓(xùn)練隱碼與網(wǎng)絡(luò)參數(shù)。

4.如權(quán)利要求1所述的方法，其特征在于，所述基于所述任意渲染視角生成自由視點(diǎn)視頻，包括：

獲取所述任意渲染視角對(duì)應(yīng)的輸入網(wǎng)絡(luò)參數(shù)；

基于所述輸入網(wǎng)絡(luò)參數(shù)生成所述自由視點(diǎn)視頻。