[發(fā)明專利]通過拼接不重疊圖像構(gòu)建用戶面部圖像

在審

• 申請?zhí)枺?/td>: 201880070253.2
• 申請日: 2018-02-06
• 公開（公告）號(hào): CN111279390A
• 公開（公告）日: 2020-06-12
• 發(fā)明（設(shè)計(jì)）人: M·S·阿瑟瑞亞;W·J·艾倫;C·I·黃
• 申請（專利權(quán)）人: 惠普發(fā)展公司;有限責(zé)任合伙企業(yè)
• 主分類號(hào): G06T7/174
• 分類號(hào): G06T7/174;G06T7/292;G06F3/14
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 魏小薇;吳麗麗

一種裝置包括支撐件、第一攝像機(jī)和第二攝像機(jī)以及處理器。所述支撐件被配置為被安裝到用戶的頭部。第一攝像機(jī)被安裝到支撐件上并且被定位為捕獲用戶面部的第一圖像。第二攝像機(jī)被安裝到支撐件并且被定位為捕獲用戶面部的第二圖像，該第二圖像與第一圖像不重疊。處理器被安裝到支撐件，并且被編程以將第一圖像和第二圖像拼接在一起以構(gòu)建用戶面部的圖像。

背景技術(shù)

頭戴式顯示器(HMD)是可以包括顯示光學(xué)器件和/或攝像機(jī)的可穿戴設(shè)備。例如，HMD可以被用于虛擬現(xiàn)實(shí)應(yīng)用中，在該虛擬現(xiàn)實(shí)應(yīng)用中，安裝在HMD上的攝像機(jī)被用于獲取用戶面部的圖像。然后，獲取的圖像可以被用于構(gòu)建用戶的虛擬圖像。

附圖說明

圖1示出本公開的示例裝置的高級框圖；

圖2示出用于操作頭戴式顯示器的示例方法的流程圖；

圖3示出可以在執(zhí)行圖2的方法期間捕獲的圖像的示例；

圖4示出用于操作頭戴式顯示器的示例方法的流程圖；

圖5示出用于頭戴式顯示器的攝像機(jī)的靜態(tài)校準(zhǔn)的示例方法的流程圖；

圖6示出可以在執(zhí)行圖5的方法期間使用的校準(zhǔn)圖案的示例；

圖7示出用于頭戴式顯示器的攝像機(jī)的動(dòng)態(tài)校準(zhǔn)的示例方法的流程圖；以及

圖8示出裝置的示例。

具體實(shí)施方式

本公開廣義地描述用于通過使用不重疊圖像構(gòu)建用戶面部圖像的裝置、方法和非暫態(tài)計(jì)算機(jī)可讀介質(zhì)。如上所述，頭戴式顯示器(HMD)是可以包括顯示光學(xué)器件和/或攝像機(jī)的可穿戴設(shè)備。例如，HMD可以被用于虛擬現(xiàn)實(shí)應(yīng)用中，在該虛擬現(xiàn)實(shí)應(yīng)用中，安裝在HMD上的攝像機(jī)被用于獲取用戶面部的圖像。然后，獲取的圖像可以被用于構(gòu)建用戶的虛擬圖像。例如，虛擬圖像可以表現(xiàn)用于模擬捕獲的圖像中用戶面部表情的面部表情。模擬的面部表情又可以被用于使內(nèi)容或觸覺(haptics)適于用戶當(dāng)前的情緒、判定用戶對特定內(nèi)容的反應(yīng)、和/或?yàn)槎嗤婕矣螒蛑谱饔脩艋韯?dòng)畫等各種應(yīng)用。

為了在虛擬圖像中準(zhǔn)確模擬用戶面部表情，許多VR應(yīng)用依賴于面部標(biāo)志點(diǎn)的認(rèn)知(knowledge)。面部標(biāo)志點(diǎn)是用戶面部的具有已知的、獨(dú)特的位置和空間分隔的特征(例如，眼睛、鼻子、嘴等)。定位出(pinpoint)這些標(biāo)志點(diǎn)的位置并不總是簡單的任務(wù)。例如，當(dāng)由多個(gè)不同的攝像機(jī)獲取用戶面部的圖像時(shí)，由于深度差異、視場差異(可能不重疊)、遮擋、以及可能因攝像機(jī)而異的其它幾何畸變，可能難以檢測到標(biāo)志點(diǎn)。

本公開的示例提供用于對準(zhǔn)和拼接由HMD的多個(gè)攝像機(jī)捕獲的多個(gè)不重疊圖像以構(gòu)建穿戴HMD的用戶的單個(gè)面部圖像的方法。在圖像捕獲時(shí)，一組基準(zhǔn)(fiducial)(例如，參考標(biāo)記)被投影到用戶面部上，使得所述基準(zhǔn)在多個(gè)圖像中可見。然后，通過使用可以離線收集的攝像機(jī)參數(shù)，校正多個(gè)圖像的靜態(tài)畸變(由于例如鏡頭畸變、攝像機(jī)之間的相對旋轉(zhuǎn)和平移差、和/或由于攝像機(jī)的視場變化而導(dǎo)致的相對尺度(scale)差)。還通過使用在圖像捕獲時(shí)或緊挨著圖像捕獲之前收集的攝像機(jī)參數(shù)，校正多個(gè)圖像的動(dòng)態(tài)畸變(由于例如用戶關(guān)于攝像機(jī)的姿勢的差異、用戶面部輪廓的變化、以及從一個(gè)會(huì)話到另一會(huì)話用戶在HMD穿戴方式上的變化)。靜態(tài)畸變和動(dòng)態(tài)畸變的校正還校正多個(gè)圖像中的基準(zhǔn)的空間取向，這允許一個(gè)圖像中的基準(zhǔn)與另一個(gè)圖像中的對應(yīng)基準(zhǔn)匹配，由此使得圖像能夠彼此對準(zhǔn)或拼接在一起。可以按該方式對準(zhǔn)多個(gè)圖像，直到構(gòu)建用戶的單個(gè)面部圖像。隨后，面部標(biāo)志點(diǎn)可以位于該單個(gè)面部圖像中，并且被用于確定用戶面部表情。

在本發(fā)明的上下文中，術(shù)語“拼接”是指對準(zhǔn)兩個(gè)或更多個(gè)不重疊圖像以形成復(fù)合圖像的操作。由于兩個(gè)或更多個(gè)不重疊圖像不重疊，因此在復(fù)合圖像中可能存在間隙(例如，代表成像景物的在不重疊圖像中的任一個(gè)中不存在的部分)。因此，盡管拼接操作可以使不重疊圖像對準(zhǔn)使得它們彼此正確地取向和定位，拼接操作卻不能去除不重疊圖像之間自然存在的間隙。然而，可以在拼接之后，使用另外的操作來填充這些間隙。