[發明專利]基于視頻圖像識別用戶意圖的方法及相關設備

有效

• 申請號: 202011612579.9
• 申請日: 2020-12-30
• 公開（公告）號: CN112733649B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 陳濤;彭釗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V30/148;G06V20/62;G06V10/764
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華

1.一種基于視頻圖像識別用戶意圖的方法，其特征在于，所述方法包括：

提取用戶的視頻圖像中的對話文本和用戶圖像，以及提取所述用戶圖像中預設位置對應的表情特征和肢體特征；

提取所述對話文本的第一文本向量，并將所述第一文本向量編碼為第一編碼特征，將所述第一編碼特征映射到目標空間得到第一特征點；

使用計算模型計算所述第一特征點與所述目標空間中的多個第二特征點之間的多個特征度量值，并根據所述多個特征度量值對應的意圖類別計算得到第一用戶意圖，其中，所述計算模型為：其中，W_ij為所述特征度量值，d_ij為所述第一特征點與第二特征點之間的距離，σ為超參；

將所述表情特征輸入至預先訓練好的表情識別模型中得到表情識別結果，將所述肢體特征輸入至預先訓練好的肢體識別模型中得到動作識別結果；

根據所述表情識別結果和所述動作識別結果確定第二用戶意圖；及

通過設置所述第一用戶意圖的權重和所述第二用戶意圖的權重來確定用戶的目標意圖。

2.如權利要求1所述的基于視頻圖像識別用戶意圖的方法，其特征在于，所述方法還包括：

獲取多個意圖類別對應的多個意圖文本；

提取所述意圖文本的第二文本向量；

將所述第二文本向量編碼為第二編碼特征；

根據同一個意圖類別對應的多個第二編碼特征計算得到第一離散度矩陣；

根據多個意圖類別對應的多個第二編碼特征計算得到第二離散度矩陣；

基于所述第一離散度矩陣和所述第二離散度矩陣構建目標矩陣；

計算所述目標矩陣的多個特征值；及

根據所述目標矩陣及所述多個特征值計算所述目標空間。

3.如權利要求1所述的基于視頻圖像識別用戶意圖的方法，其特征在于，所述根據所述多個特征度量值對應的意圖類別計算得到第一用戶意圖包括：

從所述多個特征度量值中篩選大于預設度量閾值的多個目標特征度量值；

確定所述多個目標特征度量值對應的目標意圖類別；

計算同一個目標意圖類別對應的目標特征度量值的個數；

確定最大個數對應的目標意圖類別為所述第一用戶意圖。

4.如權利要求1所述的基于視頻圖像識別用戶意圖的方法，其特征在于，根據所述表情識別結果和所述動作識別結果確定第二用戶意圖包括：

將獲取的表情識別結果與表情與意圖關系對照表中的表情信息進行匹配，以確定與所述獲取的表情識別結果相對應的意圖信息；

將獲取的動作識別結果與肢體動作與意圖關系對照表中的動作信息進行匹配，以確定與所述獲取的動作識別結果相對應的意圖信息；

根據所述獲取的表情識別結果相對應的意圖信息和所述獲取的動作識別結果相對應的意圖信息作為所述第二用戶意圖。

5.如權利要求4所述的基于視頻圖像識別用戶意圖的方法，其特征在于，根據所述第一用戶意圖和所述第二用戶意圖確定用戶的目標意圖包括：

若所述視頻圖像中沒有對話文本，確定所述用戶的目標意圖為所述第二用戶意圖；或者

若所述視頻圖像中沒有表情特征和肢體特征，確定所述用戶的目標意圖為所述第一用戶意圖。

6.如權利要求5所述的基于視頻圖像識別用戶意圖的方法，其特征在于，所述方法還包括：

從意圖標簽知識庫中查詢與所述目標意圖對應的多個話術；

按照預設的優先級拼接所述多個話術得到目標話術；

根據所述目標話術進行下一輪的對話。