[發明專利]在視頻播放期間進行自動聊天

有效

• 申請號: 202010108871.0
• 申請日: 2020-02-21
• 公開（公告）號: CN113301352B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 薛瑞;修馳;欒劍
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/234;H04N21/258;H04N21/4402;H04N21/45;H04N21/472;H04N21/4788;H04N21/81
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張立達

1.一種用于在視頻播放期間進行自動聊天的方法，包括：

獲得用戶側信息；

從所述視頻中檢測視頻信息；

至少基于所述用戶側信息和所述視頻信息來確定響應；以及

在會話中提供所述響應，

其中，所述確定響應包括：

將所述用戶側信息編碼成用戶側信息表示；

將所述視頻信息編碼成視頻信息表示；

至少基于所述用戶側信息表示和所述視頻信息表示來確定候選響應集合，包括：利用所述用戶側信息表示與所述視頻信息表示之間的相關性，以從根據多個候選響應確定方式所生成的多個候選響應集合中選擇所述候選響應集合、或者從多個候選響應確定方式中選擇用于生成所述候選響應集合的方式；以及

從所述候選響應集合中選擇所述響應。

2.如權利要求1所述的方法，其中，所述用戶側信息包括以下至少之一：用戶話語、環境信息、以及周圍事件信息。

3.如權利要求1所述的方法，其中，所述視頻信息包括以下至少之一：評論、場景信息、圖像幀、角色話語、以及背景音樂。

4.如權利要求1所述的方法，其中，所述將所述用戶側信息編碼成用戶側信息表示包括：

從所述用戶側信息中提取用戶側特征集合，所述用戶側特征集合包括以下至少之一：用戶話語表示、用戶話語情感表示、環境信息表示、以及周圍事件信息表示；以及

基于所述用戶側特征集合來生成所述用戶側信息表示。

5.如權利要求4所述的方法，其中，所述提取用戶側特征集合包括以下至少之一：

通過對所述用戶側信息中的用戶話語執行嵌入處理來生成所述用戶話語表示；

通過對所述用戶話語執行情感分類來生成所述用戶話語情感表示；

通過對所述用戶側信息中的環境信息執行環境信息分類來生成所述環境信息表示；以及

通過對所述用戶側信息中的周圍事件信息執行周圍事件信息分類來生成所述周圍事件信息表示。

6.如權利要求1所述的方法，其中，所述將所述視頻信息編碼成視頻信息表示包括：

從所述視頻信息中提取視頻特征集合，所述視頻特征集合包括以下至少之一：評論表示、場景信息表示、圖像類別表示、角色話語表示、以及背景音樂類別表示；以及

基于所述視頻特征集合來生成所述視頻信息表示。

7.如權利要求6所述的方法，其中，所述提取視頻特征集合包括以下至少之一：

通過對所述視頻信息中的評論執行嵌入處理來生成所述評論表示；

通過對所述視頻信息中的場景信息執行嵌入處理來生成所述場景信息表示；

通過對所述視頻信息中的圖像幀執行圖像分類來生成所述圖像類別表示；

通過對所述視頻信息中的角色話語執行嵌入處理來生成所述角色話語表示；以及

通過對所述視頻信息中的背景音樂執行背景音樂分類來生成所述背景音樂類別表示。

8.如權利要求1所述的方法，其中，所述將所述視頻信息編碼成視頻信息表示包括：

生成與所述視頻信息中的評論對應的評論表示；

生成與所述視頻信息中的場景信息對應的場景信息表示；以及

至少基于所述評論表示和/或所述場景信息表示來從緩存中檢索所述視頻信息表示。

9.如權利要求1所述的方法，其中，

所述候選響應集合是通過生成方式和/或檢索方式來確定的。

10.如權利要求9所述的方法，其中，所述確定候選響應集合還基于以下至少之一：

所述會話的上下文表示；

聊天機器人的個性化表示；以及

針對場景的定制化候選響應。