[發(fā)明專利]視覺交互方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110663631.1
• 申請日: 2021-06-15
• 公開（公告）號: CN113283246A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計）人: 張健
• 申請（專利權(quán)）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F16/48;G06F16/44;G06F16/9535
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 陳文斌

本申請公開了一種視覺交互方法、裝置、設(shè)備及存儲介質(zhì)，該方法通過通過在服務(wù)器端接收終端設(shè)備發(fā)送的用戶觀看目標多媒體時的互動數(shù)據(jù)；基于所述互動數(shù)據(jù)，獲得目標問題；基于所述目標問題，調(diào)用訓(xùn)練獲得的視覺問答模型，以獲取所述目標問題的推薦答案信息；將所述推薦答案信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備輸出所述推薦答案信息對應(yīng)的答案選項，并在接收到的對所述答案選項中目標答案選項的選擇操作時，輸出所述目標答案選項對應(yīng)的目標答案。互動方式更靈活，可交互的內(nèi)容更多，交互限制性更小，用戶的體驗更好，解決現(xiàn)有技術(shù)中交互的內(nèi)容受限，無法滿足用戶的需求的技術(shù)問題。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種視覺交互方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著社會的進步，人們對各種體驗的要求越來越高。在視頻播放服務(wù)中，用戶的需求已經(jīng)從單純的觀看逐漸演變?yōu)閰⑴c互動。目前，在觀看視頻時的互動方式除了常見的彈幕或評論外，還有基于用戶的輸入進行視頻跳轉(zhuǎn)的互動，這種互動方式僅限于視頻的跳轉(zhuǎn)，交互的內(nèi)容受限，無法滿足用戶的需求。

上述內(nèi)容僅用于輔助理解本申請的技術(shù)方案，并不代表承認上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本申請的主要目的在于提供一種視覺交互方法、裝置、設(shè)備及存儲介質(zhì)，旨在解決相關(guān)技術(shù)中視頻分段播放的方式無法滿足用戶的實時需求的問題。

為實現(xiàn)上述目的，本申請實施例提供一種視覺交互方法，用于服務(wù)器，所述方法包括：

接收終端設(shè)備發(fā)送的用戶觀看目標多媒體時的互動數(shù)據(jù)；

基于所述互動數(shù)據(jù)，獲得目標問題；

基于所述目標問題，調(diào)用訓(xùn)練獲得的視覺問答模型，以獲取所述目標問題的推薦答案信息；

將所述推薦答案信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備輸出所述推薦答案信息對應(yīng)的答案選項，并在接收到的對所述答案選項中目標答案選項的選擇操作時，輸出所述目標答案選項對應(yīng)的目標答案。

可選地，所述互動數(shù)據(jù)包括音頻數(shù)據(jù)和第一視線數(shù)據(jù)；所述基于所述互動數(shù)據(jù)，獲得目標問題的步驟，包括：

基于所述第一視線數(shù)據(jù)，判斷所述用戶是否在預(yù)設(shè)播放時間段內(nèi)持續(xù)關(guān)注所述目標多媒體；

若是，則獲取所述預(yù)設(shè)播放時間段的目標視頻數(shù)據(jù)；并將所述音頻數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)，對所述文本數(shù)據(jù)進行語義識別，獲得語義識別結(jié)果；

基于所述語義識別結(jié)果，判斷所述用戶的意圖；

若所述意圖為互動問答，基于所述目標視頻數(shù)據(jù)和所述語義識別結(jié)果，獲得目標問題。

可選地，所述接收終端設(shè)備發(fā)送的用戶觀看目標多媒體的互動數(shù)據(jù)的步驟之前，所述方法還包括：

獲取針對所述目標多媒體的歷史互動提問數(shù)據(jù)以及根據(jù)所述提問數(shù)據(jù)獲得的歷史推薦答案信息；

基于所述歷史互動提問數(shù)據(jù)以及所述歷史推薦答案信息，訓(xùn)練獲得所述視覺問答模型。

可選地，所述基于所述互動數(shù)據(jù)，獲得目標問題的步驟之后，所述方法還包括：

對所述互動數(shù)據(jù)進行存儲；

所述將所述推薦答案信息發(fā)送給所述終端設(shè)備，以使所述終端設(shè)備輸出所述推薦答案信息對應(yīng)的答案選項，并在接收到的對所述答案選項中目標答案選項的選擇操作時，輸出所述目標答案選項對應(yīng)的目標答案的步驟之后，所述方法還包括：

利用所述目標答案以及存儲的所述互動數(shù)據(jù)，對所述視覺問答模型進行更新。

此外，為實現(xiàn)上述目的，本申請實施例還提供一種視覺交互方法，用于終端設(shè)備，所述方法包括：