[發明專利]客服質量的評價方法、裝置、存儲介質及設備

在審

• 申請號: 202210018451.2
• 申請日: 2022-01-07
• 公開（公告）號: CN114372701A
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 陳艷婷;暨光耀;張浩;吳曉茵
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06V20/40;G06V40/16;G10L15/16;G10L25/63;G06N3/04
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

本發明公開了一種客服質量的評價方法、裝置、存儲介質及設備。其中，該方法包括：獲取客服服務監控信息，其中，客服服務監控信息為目標對象在執行服務過程中生成的音頻信息和視頻信息；采用第一神經網絡模型，基于音頻信息計算得到音頻特征分類評價結果；采用第二神經網絡模型和第三神經網絡模型，基于視頻信息計算得到視頻特征分類評價結果，其中，音頻特征分類評價結果和視頻特征分類評價結果中均包括至少一個情緒特征的評價結果；根據音頻特征分類評價結果和視頻特征分類評價結果，確定與目標對象對應的客服質量評價結果。本發明解決了由于現有技術無法實現對客服質量進行準確識別與評價，造成的識別效率低且評價效果差的技術問題。

技術領域

本發明涉及金融科技領域，尤其涉及智能算法和智能識別技術領域，具體涉及一種客服質量的評價方法、裝置、存儲介質及設備。

背景技術

隨著網絡信息化的不斷發展，遠程視頻服務已得到廣泛應用，視頻客服服務過程的實時性，以及視頻客服大多缺乏有效的監管，發生了越來越多的違規行為。一方面現有的服務評價系統是通過客戶回復短信打分、客戶在交互界面上選擇滿意度來進行事后服務評價，更加智能的實時的評價手段寥寥無幾；另一方面，現有視頻分析任務通常是基于深度網絡模型的，而模型的訓練和推理帶來了巨大的計算壓力，同時由于視頻客服服務過程的即時性和音視頻數據的龐雜性，目前并沒有有效的方法對視頻客服的違規行為進行有效監控。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種客服質量的評價方法、裝置、存儲介質及設備，以至少解決由于現有技術無法實現對客服質量進行準確識別與評價，造成的識別效率低且評價效果差的技術問題。

根據本發明實施例的一個方面，提供了一種客服質量的評價方法，包括：獲取客服服務監控信息，其中，上述客服服務監控信息為目標對象在執行服務過程中生成的音頻信息和視頻信息；采用第一神經網絡模型，基于上述音頻信息計算得到音頻特征分類評價結果；采用第二神經網絡模型，基于上述視頻信息計算得到視頻特征分類評價結果，其中，上述音頻特征分類評價結果和上述視頻特征分類評價結果中均包括至少一個情緒特征的評價結果；根據上述音頻特征分類評價結果和上述視頻特征分類評價結果，確定與上述目標對象對應的客服質量評價結果。

可選的，上述采用第一神經網絡模型，基于上述音頻信息計算得到音頻特征分類評價結果，包括：獲取上述音頻信息中的語音序列；對上述語音序列進行分幀處理，提取上述語音序列的語音幀特征；對上述語音幀特征進行分段處理，得到上述語音序列的語音段特征；通過目標函數擬合上述語音段特征，得到上述語音序列的情感認知窗特征；基于上述語音幀特征、上述語音段特征以及上述情感認知窗特征，通過上述第一神經網絡模型，計算上述音頻特征分類評價結果。

可選的，上述第二神經網絡模型包括第三神經網絡模型和第四神經網絡模型，上述采用第二神經網絡模型，基于上述視頻信息計算得到視頻特征分類評價結果，包括：對上述視頻信息進行分幀處理，得到多幀視頻圖像；從每一幀上述視頻圖像中提取上述目標對象的面部圖像特征集；將上述面部圖像特征集分別輸入至上述第三神經網絡模型和上述第四神經網絡模型，得到上述視頻特征分類評價結果。

可選的，從每一幀上述視頻圖像中提取上述目標對象的面部圖像特征集，包括：采用目標分類器對每一幀上述視頻圖像進行分割處理，得到分割后的視頻圖像；采用第五神經網絡模型對上述分割后的視頻圖像進行提取處理，得到上述目標對象的面部圖像特征圖；通過上述第三神經網絡模型對上述面部圖像特征圖進行目標監測及精確定位處理，得到上述面部圖像特征圖對應的候選框區域；通過上述第四神經網絡模型對上述候選框區域進行最大池化處理，得到上述面部圖像特征集。

可選的，上述根據上述音頻特征分類評價結果和上述視頻特征分類評價結果，確定與上述目標對象對應的客服質量評價結果，包括：計算每一個上述情緒特征的評價結果對應的第一評價分數；對多個上述第一評價分數進行求和計算，得到第二評價分數；根據上述第二評價分數，確定上述客服質量評價結果。