[發(fā)明專利]增強現實方法和裝置

有效

• 申請?zhí)枺?/td>: 201711308889.X
• 申請日: 2017-12-11
• 公開（公告）號: CN109903392B
• 公開（公告）日: 2021-12-31
• 發(fā)明（設計）人: 張偉華;吳江旭;李凡;彭剛林;張洪光;孔磊鋒
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/00;G06K9/32;G06K9/62
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

1.一種增強現實方法，其特征在于，包括：

采集目標的視頻信息，從中獲取目標的真實圖像信息以及真實聲音信息；使用所述真實圖像信息確定基于圖像的至少一種目標狀態(tài)數據，使用所述真實聲音信息確定基于聲音的至少一種目標狀態(tài)數據；所述目標狀態(tài)數據包括：情緒數據、年齡數據以及性別數據；任一種目標狀態(tài)數據中的任一組均包括：目標狀態(tài)的判斷結果、以及與該判斷結果對應的置信度；

將基于圖像與基于聲音的同種目標狀態(tài)數據融合，得到目標畫像數據；獲取與目標畫像數據對應的虛擬信息，將所述虛擬信息疊加到所述視頻信息中進行展示；

所述將基于圖像與基于聲音的同種目標狀態(tài)數據融合，得到目標畫像數據包括：

對于基于圖像與基于聲音的任意兩組同種目標狀態(tài)數據：第一狀態(tài)數據與第二狀態(tài)數據；其中，第一狀態(tài)數據為基于圖像的、包括第一判斷結果以及第一置信度的目標狀態(tài)數據，第二狀態(tài)數據為基于聲音的、包括第二判斷結果以及第二置信度的目標狀態(tài)數據；

比較第一判斷結果與第二判斷結果是否相同：

在比較結果為相同時，檢測第一置信度與第二置信度之和是否大于第一置信閾值：若是，將第一判斷結果或第二判斷結果確定為目標畫像數據；

在比較結果為不同時，檢測第一置信度與第二置信度中的較大者是否大于第二置信閾值：若是，將所述較大者對應的判斷結果確定為目標畫像數據；第二置信閾值大于第一置信閾值。

2.根據權利要求1所述的方法，其特征在于，所述真實圖像信息包括：目標的面部圖像信息；以及，所述使用所述真實圖像信息確定基于圖像的至少一種目標狀態(tài)數據包括：

從所述面部圖像信息中確定多個關鍵點的位置信息，利用所述位置信息對所述面部圖像信息進行傾斜校正；

在經過校正的面部圖像信息中提取多個面部特征值輸入預先建立的圖像分類模型，得到基于圖像的至少一種目標狀態(tài)數據。

3.根據權利要求1所述的方法，其特征在于，所述使用所述真實聲音信息確定基于聲音的至少一種目標狀態(tài)數據包括：

提取所述真實聲音信息中的多個音頻特征參數，并對所述音頻特征參數進行聚類；

將聚類后的音頻特征參數輸入預先建立的聲音分類模型，得到基于聲音的至少一種目標狀態(tài)數據。

4.根據權利要求1-3任一所述的方法，其特征在于，所述虛擬信息包括以下至少一種：視覺信息、聽覺信息以及特定效果信息。

5.一種增強現實裝置，其特征在于，包括：

目標識別單元，用于采集目標的視頻信息，從中獲取目標的真實圖像信息以及真實聲音信息；使用所述真實圖像信息確定基于圖像的至少一種目標狀態(tài)數據，使用所述真實聲音信息確定基于聲音的至少一種目標狀態(tài)數據；所述目標狀態(tài)數據包括：情緒數據、年齡數據以及性別數據；任一種目標狀態(tài)數據中的任一組均包括：目標狀態(tài)的判斷結果、以及與該判斷結果對應的置信度；

融合展示單元，用于將基于圖像與基于聲音的同種目標狀態(tài)數據融合，得到目標畫像數據；獲取與目標畫像數據對應的虛擬信息，將所述虛擬信息疊加到所述視頻信息中進行展示；

所述融合展示單元進一步用于：對于基于圖像與基于聲音的任意兩組同種目標狀態(tài)數據：第一狀態(tài)數據與第二狀態(tài)數據；其中，第一狀態(tài)數據為基于圖像的、包括第一判斷結果以及第一置信度的目標狀態(tài)數據，第二狀態(tài)數據為基于聲音的、包括第二判斷結果以及第二置信度的目標狀態(tài)數據；比較第一判斷結果與第二判斷結果是否相同：在比較結果為相同時，檢測第一置信度與第二置信度之和是否大于第一置信閾值：若是，將第一判斷結果或第二判斷結果確定為目標畫像數據；在比較結果為不同時，檢測第一置信度與第二置信度中的較大者是否大于第二置信閾值：若是，將所述較大者對應的判斷結果確定為目標畫像數據；第二置信閾值大于第一置信閾值。

6.根據權利要求5所述的裝置，其特征在于，所述真實圖像信息包括：目標的面部圖像信息；以及，所述目標識別單元進一步用于：

從所述面部圖像信息中確定多個關鍵點的位置信息，利用所述位置信息對所述面部圖像信息進行傾斜校正；在經過校正的面部圖像信息中提取多個面部特征值輸入預先建立的圖像分類模型，得到基于圖像的至少一種目標狀態(tài)數據。