[發(fā)明專利]交互式人臉三維建模方法及裝置

在審

• 申請?zhí)枺?/td>: 201810990686.1
• 申請日: 2018-08-28
• 公開（公告）號: CN109345621A
• 公開（公告）日: 2019-02-15
• 發(fā)明（設(shè)計(jì)）人: 鄭從威
• 申請（專利權(quán)）人: 廣州智美科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/33;G06T7/50;G06T7/70
• 代理公司: 北京卓唐知識(shí)產(chǎn)權(quán)代理有限公司 11541
• 代理人: 唐海力;李志剛

本申請公開了一種交互式人臉三維建模方法及裝置。該方法包括使用深度攝像頭捕獲人臉深度圖，并實(shí)時(shí)計(jì)算用戶頭部轉(zhuǎn)動(dòng)姿態(tài)；發(fā)出交互指令引導(dǎo)用戶調(diào)整頭部轉(zhuǎn)動(dòng)角度并生成局部三維模型；以及實(shí)時(shí)渲染累積建立的所述局部三維模型。本申請解決了便攜性較差的技術(shù)問題。基于與用戶的交互在智能手機(jī)上能實(shí)時(shí)反饋出當(dāng)前建模的結(jié)果，包括對用戶頭部偏轉(zhuǎn)角度的跟蹤和累積的三維模型的疊加渲染效果，都有助于引導(dǎo)用戶完成掃描過程。本申請的裝置具有可移動(dòng)性強(qiáng)、成本低、快速實(shí)時(shí)的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本申請涉及三維建模技術(shù)領(lǐng)域，具體而言，涉及一種交互式人臉三維建模方法及裝置。

背景技術(shù)

三維建模是物體的多邊形表示，通常用計(jì)算機(jī)或者其它視頻設(shè)備進(jìn)行顯示。

申請人發(fā)現(xiàn)，現(xiàn)有的傳統(tǒng)三維建模技術(shù)中，大部分都是需要用到大型激光掃描設(shè)備，便攜性和成本都較高，不適用于普通消費(fèi)者。

針對相關(guān)技術(shù)中便攜性較差的問題，目前尚未提出有效的解決方案。

申請內(nèi)容

本申請的主要目的在于提供一種用于交互式人臉三維建模方法及裝置，以解決便攜性較差的問題。

為了實(shí)現(xiàn)上述目的，根據(jù)本申請的一個(gè)方面，提供了一種用于交互的圖像處理方法。

根據(jù)本申請的用于交互式人臉三維建模方法包括使用深度攝像頭捕獲人臉深度圖，并實(shí)時(shí)計(jì)算用戶頭部轉(zhuǎn)動(dòng)姿態(tài)；發(fā)出交互指令引導(dǎo)用戶調(diào)整頭部轉(zhuǎn)動(dòng)角度并生成局部三維模型；以及實(shí)時(shí)渲染累積建立的所述局部三維模型。

進(jìn)一步地，實(shí)時(shí)計(jì)算用戶頭部轉(zhuǎn)動(dòng)角度之前還包括如下的任一一種多種預(yù)操作：判斷彩色圖像中是否存在人臉；判斷人臉框是否落在取景框內(nèi)部；判斷用戶臉部到深度攝像頭之間的距離是否滿足條件；判斷用戶頭部是否端正。

進(jìn)一步地，向用戶發(fā)出交互指令引導(dǎo)用戶調(diào)整頭部轉(zhuǎn)動(dòng)角度并生成局部三維模型包括：在用戶頭部轉(zhuǎn)動(dòng)角度達(dá)到預(yù)設(shè)預(yù)設(shè)角度時(shí)，播放語音提示用戶向左轉(zhuǎn)頭部、向右轉(zhuǎn)頭部或者轉(zhuǎn)回到正臉；在用戶頭部轉(zhuǎn)動(dòng)過程中，不斷地捕獲不同角度的深度圖，根據(jù)實(shí)時(shí)計(jì)算得到的用戶頭部姿態(tài)，將深度圖融合到當(dāng)前已累積建立好的局部三維模型中。

進(jìn)一步地，實(shí)時(shí)渲染累積建立的所述局部三維模型還包括：實(shí)時(shí)地渲染當(dāng)前累積建立好的局部三維模型數(shù)據(jù)；獲取所述局部三維模型數(shù)據(jù)的平面渲染圖像；將所述平面渲染圖像疊加繪制到當(dāng)前深度攝像頭捕獲到彩色圖像上。

為了實(shí)現(xiàn)上述目的，根據(jù)本申請的另一方面，提供了一種用于交互的圖像處理裝置。

根據(jù)本申請的用于交互的圖像處理裝置包括：跟蹤模塊，用于實(shí)時(shí)計(jì)算用戶頭部轉(zhuǎn)動(dòng)角度；交互模塊，向用戶發(fā)出交互指令引導(dǎo)用戶調(diào)整頭部轉(zhuǎn)動(dòng)姿態(tài)并生成局部三維模型；以及渲染模塊，用于實(shí)時(shí)渲染累積建立的所述局部三維模型。

進(jìn)一步地，所述跟蹤模塊包括：配準(zhǔn)單元，將深度攝像頭捕獲到的最新深度圖與當(dāng)前累積建立好的局部三維模型配準(zhǔn)，計(jì)算出用戶當(dāng)前頭部姿態(tài)，從姿態(tài)中提取用戶當(dāng)前頭部角度。

進(jìn)一步地，所述交互模塊包括：交互提示單元，用于在用戶頭部轉(zhuǎn)動(dòng)姿態(tài)達(dá)到預(yù)設(shè)角度時(shí)，播放語音提示用戶向左轉(zhuǎn)頭部、向右轉(zhuǎn)頭部或者轉(zhuǎn)回到正臉，在用戶頭部轉(zhuǎn)動(dòng)過程中不斷捕獲不同角度的深度圖，根據(jù)跟蹤模塊實(shí)時(shí)計(jì)算得到頭部姿態(tài)，將深度圖融合到當(dāng)前累積建立好的局部三維模型中。

進(jìn)一步地，所述渲染模塊包括：實(shí)時(shí)渲染單元，用于實(shí)時(shí)地渲染當(dāng)前累積建立好的局部三維模型數(shù)據(jù)；獲取單元，用于得到所述局部三維模型數(shù)據(jù)的平面渲染圖像；疊加單元，用于將所述平面渲染圖像疊加繪制到當(dāng)前深度攝像頭捕獲到彩色圖像上。