[發(fā)明專利]一種客服智能質(zhì)檢方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111287831.8
• 申請(qǐng)日: 2021-11-02
• 公開(kāi)（公告）號(hào): CN114051076A
• 公開(kāi)（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 王國(guó)偉;朱紅坤;賀光華;李奇隆
• 申請(qǐng)（專利權(quán)）人: 重慶川南環(huán)保科技有限公司
• 主分類號(hào): H04M3/22
• 分類號(hào): H04M3/22;H04M3/51;G10L25/63;G10L25/30;G10L15/26;G10L25/24
• 代理公司: 重慶西南華渝專利代理有限公司 50270
• 代理人: 陳香蘭

1.一種客服智能質(zhì)檢方法，其特征在于，包括：

獲取客服語(yǔ)音數(shù)據(jù)；

將所述客服語(yǔ)音數(shù)據(jù)輸入語(yǔ)音關(guān)鍵詞檢測(cè)模型獲得語(yǔ)音關(guān)鍵詞檢測(cè)結(jié)果，和/或，將所述客服語(yǔ)音數(shù)據(jù)輸入語(yǔ)音情緒檢測(cè)模型獲得語(yǔ)音情緒檢測(cè)結(jié)果；

所述將所述客服語(yǔ)音數(shù)據(jù)輸入語(yǔ)音關(guān)鍵詞檢測(cè)模型獲得語(yǔ)音關(guān)鍵詞檢測(cè)結(jié)果，具體包括：

步驟S1,獲取所述客服語(yǔ)音數(shù)據(jù)的第一聲學(xué)特征;

步驟S2，對(duì)所述第一聲學(xué)特征進(jìn)行第一二維卷積處理、最大池化處理、第一激活函數(shù)處理；

步驟S3，通過(guò)第一線性層將步驟S2的處理結(jié)果輸入多頭注意力機(jī)制進(jìn)行關(guān)鍵詞捕獲，通過(guò)第二線性層對(duì)捕獲的關(guān)鍵詞進(jìn)行處理獲得語(yǔ)音關(guān)鍵詞檢測(cè)結(jié)果；

所述將所述客服語(yǔ)音數(shù)據(jù)輸入語(yǔ)音情緒檢測(cè)模型獲得語(yǔ)音情緒檢測(cè)結(jié)果，具體包括：

步驟A，獲取所述客服語(yǔ)音數(shù)據(jù)的第二聲學(xué)特征、所述第二聲學(xué)特征的一階差分、所述第二聲學(xué)特征的二階差分，構(gòu)建三個(gè)通道分別為第二聲學(xué)特征、第二聲學(xué)特征的一階差分、第二聲學(xué)特征的二階差分的特征圖；

步驟B，對(duì)所述特征圖進(jìn)行第二二維卷積處理、批規(guī)范化處理；

步驟C，通過(guò)第三線性層對(duì)步驟B的處理結(jié)果進(jìn)行處理獲得語(yǔ)音情緒檢測(cè)結(jié)果。

2.如權(quán)利要求1所述的客服智能質(zhì)檢方法，其特征在于，當(dāng)將所述客服語(yǔ)音數(shù)據(jù)輸入語(yǔ)音關(guān)鍵詞檢測(cè)模型獲得語(yǔ)音關(guān)鍵詞檢測(cè)結(jié)果的步驟和將所述客服語(yǔ)音數(shù)據(jù)輸入語(yǔ)音情緒檢測(cè)模型獲得語(yǔ)音情緒檢測(cè)結(jié)果的步驟同時(shí)存在時(shí)，將步驟S3替換為：

將所述步驟S2的處理結(jié)果輸入雙向長(zhǎng)短期記憶網(wǎng)絡(luò)單元進(jìn)行語(yǔ)義捕獲；將步驟C替換為：

將步驟B的處理結(jié)果和步驟S3中雙向長(zhǎng)短期記憶網(wǎng)絡(luò)單元捕獲的語(yǔ)義進(jìn)行融合獲得第一融合特征，將第一融合特征通過(guò)第三線性層處理后獲得語(yǔ)音情緒檢測(cè)結(jié)果；

在步驟S3之后還包括步驟S4，所述步驟S4為：將多頭注意力機(jī)制捕獲的關(guān)鍵詞與第一融合特征進(jìn)行融合獲得第二融合特征，將第二融合特征通過(guò)第二線性層處理后獲得語(yǔ)音關(guān)鍵詞檢測(cè)結(jié)果。

3.一種客服智能質(zhì)檢裝置，其特征在于，包括客服語(yǔ)音數(shù)據(jù)獲取模塊，以及語(yǔ)音質(zhì)檢模型模塊，所述語(yǔ)音質(zhì)檢模型模塊包括語(yǔ)音關(guān)鍵詞檢測(cè)模型模塊和/或語(yǔ)音情緒檢測(cè)模型模塊；

所述語(yǔ)音關(guān)鍵詞檢測(cè)模型模塊包括依次連接的第一聲學(xué)特征獲取單元、第一二維卷積模塊、第一線性層、多頭注意力機(jī)制單元和第二線性層；所述第一聲學(xué)特征獲取單元獲取所述客服語(yǔ)音數(shù)據(jù)的第一聲學(xué)特征，所述第一二維卷積模塊對(duì)所述第一聲學(xué)特征進(jìn)行第一二維卷積處理、最大池化處理、激活函數(shù)處理，通過(guò)第一線性層將第一二維卷積模塊的處理結(jié)果輸入多頭注意力機(jī)制單元進(jìn)行關(guān)鍵詞捕獲，第二線性層對(duì)捕獲的關(guān)鍵詞進(jìn)行處理獲得語(yǔ)音關(guān)鍵詞檢測(cè)結(jié)果；

所述語(yǔ)音情緒檢測(cè)模型模塊包括依次連接的第二聲學(xué)特征獲取單元、第二二維卷積模塊和第三線性層；第二聲學(xué)特征獲取單元獲取所述客服語(yǔ)音數(shù)據(jù)的第二聲學(xué)特征、所述第二聲學(xué)特征的一階差分、所述第二聲學(xué)特征的二階差分，并構(gòu)建三個(gè)通道分別為第二聲學(xué)特征、第二聲學(xué)特征的一階差分、第二聲學(xué)特征的二階差分的特征圖；第二二維卷積模塊對(duì)所述特征圖進(jìn)行第二二維卷積處理、批規(guī)范化處理，第二二維卷積模塊的輸出結(jié)果通過(guò)第三線性層處理后獲得語(yǔ)音情緒檢測(cè)結(jié)果。

4.如權(quán)利要求3所述的客服智能質(zhì)檢裝置，其特征在于，所述語(yǔ)音關(guān)鍵詞檢測(cè)模型模塊和語(yǔ)音情緒檢測(cè)模型模塊兩者對(duì)客服語(yǔ)音數(shù)據(jù)進(jìn)行并行處理；

所述語(yǔ)音關(guān)鍵詞檢測(cè)模型模塊還包括雙向長(zhǎng)短期記憶網(wǎng)絡(luò)單元、第二融合單元，所述雙向長(zhǎng)短期記憶網(wǎng)絡(luò)單元對(duì)第一二維卷積模塊的輸出結(jié)果進(jìn)行語(yǔ)義捕獲；

所述語(yǔ)音情緒檢測(cè)模型模塊還包括第一融合單元，所述第一融合單元將雙向長(zhǎng)短期記憶網(wǎng)絡(luò)單元輸出的語(yǔ)義與第二二維卷積模塊的輸出結(jié)果進(jìn)行融合并將融合結(jié)果輸出至第三線性層；

所述第二融合單元對(duì)第一融合單元的輸出結(jié)果與多頭注意力機(jī)制單元的輸出結(jié)果進(jìn)行融合并將融合結(jié)果輸入至第二線性層。