[發明專利]基于視頻圖像識別用戶意圖的方法及相關設備

有效

• 申請號: 202011612579.9
• 申請日: 2020-12-30
• 公開（公告）號: CN112733649B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 陳濤;彭釗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V30/148;G06V20/62;G06V10/764
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華

本發明涉及人工智能技術領域，提供一種基于視頻圖像識別用戶意圖的方法及相關設備，所述方法包括：提取用戶的視頻圖像中的對話文本和用戶的圖像，以及提取所述用戶圖像中預設位置對應的表情特征和肢體特征；提取所述對話文本的第一文本向量，并將所述第一文本向量編碼為第一編碼特征，將所述第一編碼特征映射到目標空間得到第一特征點；使用計算模型計算所述第一特征點與所述目標空間中的多個第二特征點之間的多個特征度量值，并根據所述多個特征度量值對應的意圖類別計算得到第一用戶意圖；將所述表情特征和肢體特征確定第二用戶意圖；及根據所述第一用戶意圖和所述第二用戶意圖確定用戶的目標意圖。通過本發明可以提供更加優質準確的服務。

技術領域

本發明涉及計算機技術領域，具體涉及一種基于視頻圖像識別用戶意圖的方法及相關設備。

背景技術

目前，對于國內的各大銀行機構，銀行業務辦理大廳都設有人工詢問業務辦理的窗口和數量不一的業務辦理窗口。在業務辦理高峰期的時候，常常容易出現排號過多，造成大量業務咨詢或者辦理人員排隊等候的局面。由此出現了咨詢人員通過智能語音終端執行銀行業務操作。然而，在一些環境不太好的場景(例如噪音太大)下，所述智能語音終端識別咨詢人員的意圖的識別率較低。從而出現需要多次識別的現象，嚴重影響了客戶體驗和辦公效率，不利于滿意度分析。

發明內容

鑒于以上內容，有必要提出一種基于視頻圖像識別用戶意圖的方法及相關設備，可以解決以上問題。

本發明的第一方面提供一種基于視頻圖像識別用戶意圖的方法，所述方法包括：

提取用戶的視頻圖像中的對話文本和用戶的圖像，以及提取所述用戶圖像中預設位置對應的表情特征和肢體特征；

提取所述對話文本的第一文本向量，并將所述第一文本向量編碼為第一編碼特征，將所述第一編碼特征映射到目標空間得到第一特征點；

使用計算模型計算所述第一特征點與所述目標空間中的多個第二特征點之間的多個特征度量值，并根據所述多個特征度量值對應的意圖類別計算得到第一用戶意圖；

將所述表情特征輸入至預先訓練好的表情識別模型中得到表情識別結果，將所述肢體特征輸入至預先訓練好的肢體識別模型中得到動作識別結果；

根據所述表情識別結果和所述動作識別結果確定第二用戶意圖；及

根據所述第一用戶意圖和所述第二用戶意圖確定用戶的目標意圖。

根據本申請一些實施方式，所述方法還包括：

獲取多個意圖類別對應的多個意圖文本；

提取所述意圖文本的第二文本向量；

將所述第二文本向量編碼為第二編碼特征；

根據同一個意圖類別對應的多個第二編碼特征計算得到第一離散度矩陣；

根據多個意圖類別對應的多個第二編碼特征計算得到第二離散度矩陣；

基于所述第一離散度矩陣和所述第二離散度矩陣構建目標矩陣；

計算所述目標矩陣的多個特征值；

根據所述目標矩陣及所述多個特征值計算所述目標空間。

根據本申請一些實施方式，所述根據所述多個特征度量值對應的意圖類別計算得到第一用戶意圖包括：

從所述多個特征度量值中篩選大于預設度量閾值的多個目標特征度量值；

確定所述多個目標特征度量值對應的目標意圖類別；

計算同一個目標意圖類別對應的目標特征度量值的個數；

確定最大個數對應的目標意圖類別為所述第一用戶意圖。