[發(fā)明專利]注視點(diǎn)預(yù)測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910328525.0
• 申請(qǐng)日: 2019-04-23
• 公開（公告）號(hào): CN110335306B
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 劉瓊;楊鈾;石翔
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張子青;劉芳

本發(fā)明實(shí)施例提供一種注視點(diǎn)預(yù)測(cè)方法及裝置，包括：獲取三維場(chǎng)景的三維空間信息、以及所述三維場(chǎng)景中移動(dòng)對(duì)象的至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息，所述標(biāo)注點(diǎn)為所述移動(dòng)對(duì)象的肢體上的預(yù)設(shè)點(diǎn)；根據(jù)所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息，確定所述移動(dòng)對(duì)象的三維視線向量，所述三維視線向量用于指示所述移動(dòng)對(duì)象在三維場(chǎng)景中的視線的方向；根據(jù)所述三維視線向量和所述三維空間信息，確定所述移動(dòng)對(duì)象的注視點(diǎn)。用于在三維場(chǎng)景中預(yù)測(cè)移動(dòng)對(duì)象的注視點(diǎn)，進(jìn)而提高機(jī)器人的可靠性。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及機(jī)器視覺領(lǐng)域，尤其涉及一種注視點(diǎn)預(yù)測(cè)方法及裝置。

背景技術(shù)

目前，機(jī)器人可以協(xié)助用戶的工作。在機(jī)器人協(xié)助用戶工作的過程中，機(jī)器人可以根據(jù)用戶的活動(dòng)，確定用戶的注視點(diǎn)，從而根據(jù)用戶的注視點(diǎn)，協(xié)助用戶工作。

機(jī)器人協(xié)助用戶工作的過程中，需要用戶面對(duì)機(jī)器人，使得機(jī)器人可以獲取用戶的眼部幾何特征(例如，眼部輪廓、眼角開合度、瞳孔方向等)，并根據(jù)獲取到的眼部幾何特征預(yù)測(cè)用戶的注視點(diǎn)。然而，在實(shí)際應(yīng)用中，用戶的一些活動(dòng)通過需要背對(duì)機(jī)器人進(jìn)行，在用戶背對(duì)機(jī)器人時(shí)，機(jī)器人無法獲取到用戶的眼部幾何特征，從而導(dǎo)致機(jī)器人無法確定用戶的注視點(diǎn)，進(jìn)而導(dǎo)致機(jī)器人協(xié)助用戶工作失敗，降低了機(jī)器人的可靠性。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種注視點(diǎn)預(yù)測(cè)方法及裝置，用于在三維場(chǎng)景中預(yù)測(cè)移動(dòng)對(duì)象的注視點(diǎn)，提高機(jī)器人的可靠性，進(jìn)而提高機(jī)器人協(xié)助用戶工作的魯棒性。

第一方面，本發(fā)明實(shí)施例提供一種注視點(diǎn)預(yù)測(cè)方法，包括：

獲取三維場(chǎng)景的三維空間信息、以及所述三維場(chǎng)景中移動(dòng)對(duì)象的至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息，所述標(biāo)注點(diǎn)為所述移動(dòng)對(duì)象的肢體上的預(yù)設(shè)點(diǎn)；

根據(jù)所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息，確定所述移動(dòng)對(duì)象的三維視線向量，所述三維視線向量用于指示所述移動(dòng)對(duì)象在所述三維場(chǎng)景中的視線的方向；

根據(jù)所述三維視線向量和所述三維空間信息，確定所述移動(dòng)對(duì)象的注視點(diǎn)。

在一種可能的實(shí)施方式中，所述根據(jù)所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息，確定所述移動(dòng)對(duì)象的三維視線向量，包括：

獲取每個(gè)標(biāo)注點(diǎn)所在的肢體類型；

根據(jù)所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息和每個(gè)標(biāo)注點(diǎn)所在的肢體類型，確定所述移動(dòng)對(duì)象的三維視線向量。

在另一種可能的實(shí)施方式中，所述根據(jù)所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息和每個(gè)標(biāo)注點(diǎn)所在的肢體類型，確定所述移動(dòng)對(duì)象的三維視線向量，包括：

獲取預(yù)設(shè)模型，所述預(yù)設(shè)模型為根據(jù)多組樣本數(shù)據(jù)訓(xùn)練得到的，每組樣本數(shù)據(jù)包括至少兩個(gè)樣本三維位置信息、每個(gè)樣本三維位置信息對(duì)應(yīng)的樣本肢體類型和樣本三維視線向量；

所述預(yù)設(shè)模型根據(jù)所述至少兩個(gè)標(biāo)注點(diǎn)所在的肢體類型對(duì)所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息，進(jìn)行處理，得到所述移動(dòng)對(duì)象的三維視線向量。

在另一種可能的實(shí)施方式中，所述根據(jù)所述三維視線向量和所述三維空間信息，確定所述移動(dòng)對(duì)象的注視點(diǎn)，包括：

根據(jù)所述三維空間信息，獲取所述三維場(chǎng)景中每個(gè)環(huán)境對(duì)象的三維坐標(biāo)；

根據(jù)所述三維視線向量和所述每個(gè)環(huán)境對(duì)象的三維坐標(biāo)，確定所述移動(dòng)對(duì)象的注視點(diǎn)，所述注視點(diǎn)為所述視線向量經(jīng)過的第一環(huán)境對(duì)象的三維坐標(biāo)，所述視線方向的起始位置為所述移動(dòng)對(duì)象的頭部標(biāo)注點(diǎn)。

在另一種可能的實(shí)施方式中，所述至少兩個(gè)標(biāo)注點(diǎn)的三維位置信息為所述至少兩個(gè)標(biāo)注點(diǎn)的三維坐標(biāo)。

第二方面，本發(fā)明實(shí)施例提供一種注視點(diǎn)預(yù)測(cè)裝置，包括第一獲取模塊、第一確定模塊和第二確定模塊，其中，