[發明專利]增強現實方法和裝置

有效

• 申請號: 201711308889.X
• 申請日: 2017-12-11
• 公開（公告）號: CN109903392B
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 張偉華;吳江旭;李凡;彭剛林;張洪光;孔磊鋒
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/00;G06K9/32;G06K9/62
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

本發明公開了一種增強現實方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：采集目標的視頻信息，從中獲取目標的真實圖像信息及真實聲音信息；使用真實圖像信息確定基于圖像的至少一種目標狀態數據，使用真實聲音信息確定基于聲音的至少一種目標狀態數據；將基于圖像與基于聲音的同種目標狀態數據融合，得到目標畫像數據；獲取與目標畫像數據對應的虛擬信息，將虛擬信息疊加到目標的視頻信息中進行展示。該實施方式能夠分別根據目標的圖像信息與聲音信息識別其當前狀態，并將兩方面的識別結果融合得到準確的目標畫像，基于該目標畫像即可進行匹配于用戶狀態的虛擬信息展示，從而提升增強現實效果與用戶體驗。

技術領域

本發明涉及計算機技術領域，尤其涉及一種增強現實方法和裝置。

背景技術

增強現實是一種實時計算影像的位置及角度，以增加相應圖像、視頻、三維模型的技術，其能夠將真實世界中難以體驗的虛擬信息應用在真實世界，從而產生超越現實的效果。

實際應用中，增強現實技術被廣泛應用于網絡直播等環境，用于將各種虛擬信息與用戶圖像進行疊加，以豐富圖像內容，增加交互趣味性。圖1示出了增強現實技術在網絡直播中的幾個應用實例。在圖1中，用戶圖像上疊加的虛擬圖像依次是：兔耳朵、眼鏡、花環、發卡及星星。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

1.在現有技術中，難以實現準確的用戶畫像，因此用于疊加展示的虛擬信息往往與用戶當前狀態不相匹配，導致用戶體驗度較低。

2.在現有的增強現實技術中，無法根據用戶的情緒、年齡及性別展示適合的虛擬信息。例如，當用戶為心情愉悅的年輕女性時，虛擬信息為花環圖像及笑臉貼紙；當用戶改變為情緒低落的年長男性，虛擬信息仍為花環圖像及笑臉貼紙，這嚴重影響了增強現實效果。

發明內容

有鑒于此，本發明實施例提供一種增強現實方法和裝置，能夠分別根據目標的圖像信息與聲音信息識別其當前狀態，并將兩方面的識別結果融合得到準確的目標畫像，基于該目標畫像即可進行匹配于用戶狀態的虛擬信息展示，從而提升增強現實效果與用戶體驗。

為實現上述目的，根據本發明的一個方面，提供了一種增強現實方法。

本發明實施例的增強現實方法包括：采集目標的視頻信息，從中獲取目標的真實圖像信息以及真實聲音信息；使用所述真實圖像信息確定基于圖像的至少一種目標狀態數據，使用所述真實聲音信息確定基于聲音的至少一種目標狀態數據；將基于圖像與基于聲音的同種目標狀態數據融合，得到目標畫像數據；獲取與目標畫像數據對應的虛擬信息，將所述虛擬信息疊加到所述視頻信息中進行展示。

可選地，所述目標狀態數據包括以下至少一種：情緒數據、年齡數據以及性別數據；任一種目標狀態數據中的任一組均包括：目標狀態的判斷結果、以及與該判斷結果對應的置信度。

可選地，所述真實圖像信息包括：目標的面部圖像信息；以及，所述使用所述真實圖像信息確定基于圖像的至少一種目標狀態數據包括：從所述面部圖像信息中確定多個關鍵點的位置信息，利用所述位置信息對所述面部圖像信息進行傾斜校正；在經過校正的面部圖像信息中提取多個面部特征值輸入預先建立的圖像分類模型，得到基于圖像的至少一種目標狀態數據。

可選地，所述使用所述真實聲音信息確定基于聲音的至少一種目標狀態數據包括：提取所述真實聲音信息中的多個音頻特征參數，并對所述音頻特征參數進行聚類；將聚類后的音頻特征參數輸入預先建立的聲音分類模型，得到基于聲音的至少一種目標狀態數據。