[發明專利]應用于視頻直播平臺的虛擬機器人多模態交互方法和系統

有效

• 申請號: 201710390460.3
• 申請日: 2017-05-27
• 公開（公告）號: CN107197384B
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 栗安
• 申請（專利權）人: 北京光年無限科技有限公司
• 主分類號: H04N21/475
• 分類號: H04N21/475;H04N21/4788;H04N21/442
• 代理公司: 北京聿華聯合知識產權代理有限公司 11611
• 代理人: 張文娟;朱繪

本發明公開了一種應用于視頻直播平臺的虛擬機器人多模態交互方法及系統，所述視頻直播平臺的應用配置有輔助直播的虛擬機器人，所述虛擬機器人具備多模態交互能力，所述輿情監測方法包括以下步驟：信息采集步驟，采集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監測步驟，調用文本語義理解能力并生成針對該特定直播間的輿情監測結果；情景事件響應步驟，判斷所述輿情監測結果表征的事件，調用多模態交互能力并通過所述虛擬機器人輸出多模態響應數據。本發明能夠對觀眾的觀看反饋信息進行實時監測和提示，利用虛擬機器人輔助視頻直播操作，時刻保持和用戶的粘性，改善了用戶體驗。

技術領域

本發明涉及互聯網直播平臺技術領域，尤其涉及一種應用于視頻直播平臺的虛擬機器人多模態交互方法和系統。

背景技術

隨著網絡直播行業的發展，用戶可以通過在網絡直播平臺上觀看、做活動等方式領取虛擬獎品，并將獲得的虛擬獎品贈送給自己喜歡的主播，進行互動，從而培養用戶的觀看習慣和平臺粘性。然而現有的網絡直播平臺的輿情監測技術還不完善，給用戶帶來的體驗感不佳，因此提高直播平臺的智能性，是現在急需解決的重要技術問題。

發明內容

本發明所要解決的技術問題之一是需要提供一種應用于視頻直播平臺的虛擬機器人多模態交互方法，所述視頻直播平臺的應用配置有輔助直播的虛擬機器人，所述虛擬機器人具備多模態交互能力，所述輿情監測方法包括以下步驟：信息采集步驟，采集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監測步驟，調用文本語義理解能力并生成針對該特定直播間的輿情監測結果；情景事件響應步驟，判斷所述輿情監測結果表征的事件，調用多模態交互能力并通過所述虛擬機器人輸出多模態響應數據。

優選地，在所述信息采集步驟中，所述輿情信息還包括：攝像頭所采集的直播圖像信息。

優選地，在所述輿情監測步驟中，進一步，對所述直播圖像信息進行人臉追蹤和/或人體檢測；調用視覺語義理解能力，確定當前特定直播間的主播狀態。

優選地，在所述情景事件響應步驟中，進一步，若判斷出所述特定直播間的主播處于離開狀態，調用多模態交互能力并通過所述虛擬機器人輸出直播表演，直至監測到主播處于直播狀態。

優選地，在所述輿情監測步驟中，進一步，對所述文本反饋信息進行情緒解析識別，確定觀看視頻的用戶的情緒反應。

優選地，在所述情景事件響應步驟中，進一步，當所述用戶的情緒為負面情緒時，則判斷所述輿情監測結果表征的事件為直播偏離事件，調用多模態交互能力通過并所述虛擬機器人向主播輸出直播偏離信息。

為了解決上述技術問題，本申請的實施例還提供了一種應用于視頻直播平臺的虛擬機器人多模態交互系統，所述虛擬機器人輔助直播且具備多模態交互能力，所述系統包括以下模塊：信息采集模塊，其采集當前特定直播間的直播的輿情信息，所述輿情信息包括：觀看的文本反饋信息；輿情監測模塊，其調用文本語義理解能力并生成針對該特定直播間的輿情監測結果；情景事件響應模塊，其判斷所述輿情監測結果表征的事件，調用多模態交互能力并通過所述虛擬機器人輸出多模態響應數據。

優選地，所述輿情信息還包括：攝像頭所采集的直播圖像信息。

優選地，所述輿情監測模塊，其進一步對所述直播圖像信息進行人臉追蹤和/或人體檢測；調用視覺語義理解能力，確定當前特定直播間的主播狀態。

優選地，所述情景事件響應模塊，其進一步，若判斷出所述特定直播間的主播處于離開狀態，調用多模態交互能力并通過所述虛擬機器人輸出直播表演，直至監測到主播處于直播狀態。

優選地，所述輿情監測模塊，其進一步對所述文本反饋信息進行情緒解析識別，確定觀看視頻的用戶的情緒反應。