[發(fā)明專利]基于AR模型的交互方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910576731.3
• 申請日: 2019-06-28
• 公開（公告）號(hào): CN110321008B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 龐文杰
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V20/40;G06V40/20
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 朱穎;臧建明

1.一種基于AR模型的交互方法，其特征在于，所述方法應(yīng)用于終端設(shè)備，所述方法，包括：

獲取視頻流，并識(shí)別所述視頻流中的對象的關(guān)鍵點(diǎn)和關(guān)鍵點(diǎn)運(yùn)動(dòng)信息；

根據(jù)所述關(guān)鍵點(diǎn)與AR模型的動(dòng)作點(diǎn)之間的對應(yīng)關(guān)系，確定與所述關(guān)鍵點(diǎn)對應(yīng)的動(dòng)作點(diǎn)；

根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作，以控制所述AR模型進(jìn)行動(dòng)作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作，包括：

根據(jù)各所述關(guān)鍵點(diǎn)，確定不同的關(guān)鍵點(diǎn)之間的連動(dòng)關(guān)系；

根據(jù)所述連動(dòng)關(guān)系和各所述關(guān)鍵點(diǎn)的關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制與各所述關(guān)鍵點(diǎn)對應(yīng)的各動(dòng)作點(diǎn)進(jìn)行動(dòng)作。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)各所述關(guān)鍵點(diǎn)，確定不同的關(guān)鍵點(diǎn)之間的連動(dòng)關(guān)系，包括：

根據(jù)預(yù)設(shè)的數(shù)據(jù)庫，其中，所述數(shù)據(jù)庫中包括多個(gè)連動(dòng)關(guān)系，所述多個(gè)連動(dòng)關(guān)系中的每一個(gè)連動(dòng)關(guān)系為至少兩個(gè)關(guān)鍵點(diǎn)之間的關(guān)系，查詢各所述關(guān)鍵點(diǎn)所對應(yīng)的連動(dòng)關(guān)系。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，每一所述關(guān)鍵點(diǎn)為手指上的一預(yù)設(shè)點(diǎn)；

每一所述連動(dòng)關(guān)系為同一手指上的各預(yù)設(shè)點(diǎn)之間連動(dòng)關(guān)系，或者，每一所述連動(dòng)關(guān)系為不同手指之間的連動(dòng)關(guān)系。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，每一所述關(guān)鍵點(diǎn)為面部器官上的一預(yù)設(shè)點(diǎn)；

每一所述連動(dòng)關(guān)系為同一面部器官上的各預(yù)設(shè)點(diǎn)之間連動(dòng)關(guān)系，或者，每一所述連動(dòng)關(guān)系為不同面部器官之間的連動(dòng)關(guān)系。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作，包括：

根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，確定各所述關(guān)鍵點(diǎn)之間的連動(dòng)關(guān)系；

根據(jù)所述連動(dòng)關(guān)系，控制與各所述關(guān)鍵點(diǎn)對應(yīng)的各動(dòng)作點(diǎn)進(jìn)行動(dòng)作。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息為以下的任意一種或多種：關(guān)鍵點(diǎn)在三維空間中的坐標(biāo)位置、關(guān)鍵點(diǎn)在三維空間中的朝向、關(guān)鍵點(diǎn)的運(yùn)動(dòng)速度。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作，包括：

根據(jù)所述關(guān)鍵點(diǎn)和所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，確定所述對象的對象動(dòng)作；

根據(jù)預(yù)設(shè)的對象動(dòng)作與AR模型動(dòng)作之間的對應(yīng)關(guān)系，確定與所述對象動(dòng)作對應(yīng)的AR模型動(dòng)作；

根據(jù)與所述對象動(dòng)作對應(yīng)的AR模型動(dòng)作，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作。

9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的方法，其特征在于，所述獲取視頻流，包括：

通過所述終端設(shè)備上的圖像攝像頭，采集所述視頻流；

或者，通過所述終端設(shè)備上的紅外攝像頭，采集所述對象的熱力圖，根據(jù)所述熱力圖生成所述視頻流。

10.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的方法，其特征在于，在根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作，以控制所述AR模型進(jìn)行動(dòng)作之后，還包括：

根據(jù)預(yù)設(shè)的動(dòng)作點(diǎn)與語音提示信息之間的對應(yīng)關(guān)系，確定并顯示與所述AR模型的動(dòng)作點(diǎn)對應(yīng)的語音提示信息，其中，所述語音提示信息用于表征所述AR模型的動(dòng)作點(diǎn)正在進(jìn)行動(dòng)作。

11.一種終端設(shè)備，其特征在于，所述終端設(shè)備，包括：

獲取單元，用于獲取視頻流；

識(shí)別單元，用于識(shí)別所述視頻流中的對象的關(guān)鍵點(diǎn)和關(guān)鍵點(diǎn)運(yùn)動(dòng)信息；

確定單元，用于根據(jù)所述關(guān)鍵點(diǎn)與AR模型的動(dòng)作點(diǎn)之間的對應(yīng)關(guān)系，確定與所述關(guān)鍵點(diǎn)對應(yīng)的動(dòng)作點(diǎn)；

控制單元，用于根據(jù)所述關(guān)鍵點(diǎn)運(yùn)動(dòng)信息，控制所述AR模型的動(dòng)作點(diǎn)進(jìn)行動(dòng)作，以控制所述AR模型進(jìn)行動(dòng)作。