[發(fā)明專利]視覺交互方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110663631.1
• 申請(qǐng)日: 2021-06-15
• 公開（公告）號(hào): CN113283246A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 張健
• 申請(qǐng)（專利權(quán)）人: 咪咕文化科技有限公司;中國移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06F40/35
• 分類號(hào): G06F40/35;G06F16/48;G06F16/44;G06F16/9535
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 陳文斌

1.一種視覺交互方法，其特征在于，用于服務(wù)器，所述方法包括：

接收終端設(shè)備發(fā)送的用戶觀看目標(biāo)多媒體時(shí)的互動(dòng)數(shù)據(jù)；

基于所述互動(dòng)數(shù)據(jù)，獲得目標(biāo)問題；

基于所述目標(biāo)問題，調(diào)用訓(xùn)練獲得的視覺問答模型，以獲取所述目標(biāo)問題的推薦答案信息；

將所述推薦答案信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備輸出所述推薦答案信息對(duì)應(yīng)的答案選項(xiàng)，并在接收到的對(duì)所述答案選項(xiàng)中目標(biāo)答案選項(xiàng)的選擇操作時(shí)，輸出所述目標(biāo)答案選項(xiàng)對(duì)應(yīng)的目標(biāo)答案。

2.如權(quán)利要求1所述的方法，其特征在于，所述互動(dòng)數(shù)據(jù)包括音頻數(shù)據(jù)和第一視線數(shù)據(jù)；所述基于所述互動(dòng)數(shù)據(jù)，獲得目標(biāo)問題的步驟，包括：

基于所述第一視線數(shù)據(jù)，判斷所述用戶是否在預(yù)設(shè)播放時(shí)間段內(nèi)持續(xù)關(guān)注所述目標(biāo)多媒體；

若是，則獲取所述預(yù)設(shè)播放時(shí)間段的目標(biāo)視頻數(shù)據(jù)；并將所述音頻數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)，對(duì)所述文本數(shù)據(jù)進(jìn)行語義識(shí)別，獲得語義識(shí)別結(jié)果；

基于所述語義識(shí)別結(jié)果，判斷所述用戶的意圖；

若所述意圖為互動(dòng)問答，基于所述目標(biāo)視頻數(shù)據(jù)和所述語義識(shí)別結(jié)果，獲得目標(biāo)問題。

3.如權(quán)利要求1所述的方法，其特征在于，所述接收終端設(shè)備發(fā)送的用戶觀看目標(biāo)多媒體的互動(dòng)數(shù)據(jù)的步驟之前，所述方法還包括：

獲取針對(duì)所述目標(biāo)多媒體的歷史互動(dòng)提問數(shù)據(jù)以及根據(jù)所述提問數(shù)據(jù)獲得的歷史推薦答案信息；

基于所述歷史互動(dòng)提問數(shù)據(jù)以及所述歷史推薦答案信息，訓(xùn)練獲得所述視覺問答模型。

4.如權(quán)利要求1所述的方法，其特征在于，所述接收終端設(shè)備發(fā)送的用戶觀看目標(biāo)多媒體時(shí)的互動(dòng)數(shù)據(jù)的步驟之后，所述方法還包括：

對(duì)所述互動(dòng)數(shù)據(jù)進(jìn)行存儲(chǔ)；

所述將所述推薦答案信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備輸出所述推薦答案信息對(duì)應(yīng)的答案選項(xiàng)，并在接收到的對(duì)所述答案選項(xiàng)中目標(biāo)答案選項(xiàng)的選擇操作時(shí)，輸出所述目標(biāo)答案選項(xiàng)對(duì)應(yīng)的目標(biāo)答案的步驟之后，所述方法還包括：

利用所述目標(biāo)答案以及存儲(chǔ)的所述互動(dòng)數(shù)據(jù)，對(duì)所述視覺問答模型進(jìn)行更新。

5.一種視覺交互方法，其特征在于，用于終端設(shè)備，所述方法包括：

獲取用戶觀看目標(biāo)多媒體時(shí)的互動(dòng)數(shù)據(jù)；

將所述互動(dòng)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器基于所述互動(dòng)數(shù)據(jù)，獲得目標(biāo)問題；基于所述目標(biāo)問題，調(diào)用訓(xùn)練獲得的視覺問答模型，以獲取所述目標(biāo)問題的推薦答案信息；

接收所述服務(wù)器發(fā)送的所述推薦答案信息，并輸出所述推薦答案信息對(duì)應(yīng)的答案選項(xiàng)；

在接收到的對(duì)所述答案選項(xiàng)中目標(biāo)答案選項(xiàng)的選擇操作時(shí)，輸出所述目標(biāo)答案選項(xiàng)對(duì)應(yīng)的目標(biāo)答案。

6.如權(quán)利要求5所述的方法，其特征在于，所述在接收到的對(duì)所述答案選項(xiàng)中目標(biāo)答案選項(xiàng)的選擇操作時(shí)，輸出所述目標(biāo)答案選項(xiàng)對(duì)應(yīng)的目標(biāo)答案的步驟之后，所述方法還包括：

獲取所述用戶觀看所述目標(biāo)答案的第二視線數(shù)據(jù)；

基于所述第二視線數(shù)據(jù)，獲得表征所述用戶對(duì)所述目標(biāo)答案感興趣程度的關(guān)注度值；

若所述關(guān)注度值大于關(guān)注度閾值，則確定所述目標(biāo)答案為正確答案。

7.一種視覺交互裝置，其特征在于，用于服務(wù)器，包括：

數(shù)據(jù)接收模塊，用于接收終端設(shè)備發(fā)送的用戶觀看目標(biāo)多媒體時(shí)的互動(dòng)數(shù)據(jù)；

問題獲得模塊，用于基于所述互動(dòng)數(shù)據(jù)，獲得目標(biāo)問題；

答案獲得模塊，用于基于所述目標(biāo)問題，調(diào)用訓(xùn)練獲得的視覺問答模型，以獲取所述目標(biāo)問題的推薦答案信息；

答案推送模塊，用于將所述推薦答案信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備輸出所述推薦答案信息對(duì)應(yīng)的答案選項(xiàng)，并在接收到的對(duì)所述答案選項(xiàng)中目標(biāo)答案選項(xiàng)的選擇操作時(shí)，輸出所述目標(biāo)答案選項(xiàng)對(duì)應(yīng)的目標(biāo)答案。