[發明專利]一種ASR和NLU聯合訓練的電話客服質量評分技術及系統

在審

• 申請號: 202010884877.7
• 申請日: 2020-08-28
• 公開（公告）號: CN112053681A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 陳開冉;黎展;謝智權
• 申請（專利權）人: 廣州探跡科技有限公司
• 主分類號: G10L15/16
• 分類號: G10L15/16;G10L15/18;G10L15/26
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 顏希文;郝傳鑫

1.一種ASR和NLU聯合訓練的電話客服質量評分技術，其特征在于，包括：

獲取錄音數據；

根據所述錄音數據，基于說話人身份，獲取與說話人身份相對應的拼接向量；

對所述拼接向量進行自然語言理解訓練，獲取語音-語義向量V；

基于預設的N個任務場景，對語音-語義向量V做分類任務，獲取每個任務場景類別的置信度C；N≥1；

對語音-語義向量V進行編碼得到語義向量P，將語義向量P標準化后，輸入到一個全連接層里,經全連接層整合后與置信度C相乘，獲得評分。

2.如權利要求1所述的電話客服質量評分技術，其特征在于，

所述獲取與說話人身份相對應的拼接向量包括：

將錄音數據切分成n條語音；n≥2；

基于說話人身份，將n條所述語音分類標記；

將分類標記后的n條所述語音經自動語音識別訓練，獲取n個高維向量；

基于說話人身份分類，將n個高維向量按類別拼接，獲取拼接向量。

3.如權利要求2所述的電話客服質量評分技術，其特征在于，

所述將n條所述語音分類標記包括：

將n條所述語音分類標記為客戶語音和客服語音。

4.如權利要求2所述的電話客服質量評分技術，其特征在于，

獲取n個高維向量的方法包括：

將n條分類標記后的所述語音輸入到wave2vec模型，得到n個高維向量。

5.如權利要求2所述的電話客服質量評分技術，其特征在于，

所述基于說話人身份分類，將n高維向量按類別拼接，獲取拼接向量包括：

基于說話人身份，將n個高維向量分為x個客戶語音向量和y個客服語音向量；x+y＝n，x≥1，y≥1；

將全部所述客戶語音向量和全部所述客服語音向量拼接，得到的拼接向量V1；

將全部所述客戶語音向量拼接，得到的拼接向量V2；

將全部所述客服語音向量拼接，得到的拼接向量V3。

6.如權利要求5所述的電話客服質量評分技術，其特征在于，

所述對所述拼接向量進行自然語言理解訓練，得到語音-語義向量V，包括：

將所述拼接向量V1、所述拼接向量V2和所述拼接向量V3分別輸入到雙層的Transformer Block里，進行自注意力的編碼，經過后接全連接層統一輸出維度，拼接后得到一個語音-語義矩陣M；

對所述語音-語義矩陣M進行卷積神經網絡、池化以及dropout、全連接得到語音-語義向量V。

7.如權利要求1-6任一項所述的電話客服質量評分技術，其特征在于，

所述基于預設的N個任務場景，對所述語音-語義向量V做分類任務，包括：

將所述語音-語義向量V輸入到electra1分類模塊做分類任務。

8.如權利要求1-6任一項所述的電話客服質量評分技術，其特征在于，

所述對語音-語義向量V進行編碼得到語義向量P，包括：

將所述語音-語義向量V輸入到electra2編碼模塊，編碼后，得到語義向量P。

9.一種ASR和NLU聯合訓練的電話客服質量評分系統，其特征在于，包括：

獲取模塊，用于獲取錄音數據，基于說話人身份，將錄音數據切分成n條語音，并基于說話人身份，將n條所述語音分類標記；

自動語音識別模塊，用于將分類標記后的語音進行語音識別，獲取n個高維向量；

自然語言理解模塊，用于將n個高維向量按類別拼接，獲取拼接向量，并對拼接向量進行自然語言理解訓練，得到語音-語義向量V；其中所述類別為基于說話人身份分類；

評分模塊，用于根據預設的N個任務場景，對語音-語義向量V做分類任務，獲得每個任務場景類別的置信度C；對語音-語義向量V進行編碼得到語義向量P,將語義向量P標準化后，經全連接層整合后與置信度C相乘，獲得評分。