[發明專利]語音通話的智能質檢方法及系統

在審

• 申請號: 201911402499.8
• 申請日: 2019-12-30
• 公開（公告）號: CN111128241A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 魏云波;張朋;周琦
• 申請（專利權）人: 上海浩琨信息科技有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L15/00;G10L15/02;G10L15/04;G10L15/06;G10L15/26;G10L15/30;G10L25/60;G10L25/72;G10L25/78;H04L29/08
• 代理公司: 上海坤元知識產權代理有限公司 31376
• 代理人: 董強

1.一種語音通話的智能質檢方法，其用于對語音媒體信息流中的語音信息進行識別、分析和反饋，其特征在于，通過如下步驟實現，

步驟一.建立互聯網端向手機端進行通信聯系的通道；

步驟二.通過通訊服務器實現語音媒體信息流的傳輸；

步驟三.對語音媒體信息流進行語音數據處理；

步驟四.對語音媒體信息流進行情感檢測分析；

步驟五.對語音媒體信息流進行語義分析；

步驟六.對步驟四或者步驟五所獲取的分析結論進行質量檢測；

步驟七.對步驟六中所獲取的檢測信息進行執行反饋。

2.根據權利要求1所述的一種語音通話的智能質檢方法，其特征在于，所述的步驟二中，通過通訊服務器實現語音媒體信息流的傳輸并使用電話軟交換平臺捕獲經由通道傳輸的媒體聲音流并將媒體聲音導出。

3.根據權利要求1或者2所述的一種語音通話的智能質檢方法，其特征在于，所述的步驟三當中通過如下步驟實現對語音媒體信息流進行語音數據處理：

步驟3.1預處理：通過預加重、分幀、加窗對步驟二所獲取的語音媒體信息流進行預處理；

步驟3.2語種識別：將分幀加窗后的信號轉換為語譜圖，使用深度卷積神經網絡針對語譜圖數據進行特征提取，并識別出相應語種；

步驟3.3提取聲學特征：對分幀加窗后的各幀信號進行快速傅里葉FFT變換得到相應的頻譜信號，并對語音信號的頻譜幅度譜取模平方得到語音信號的能量譜，能量譜通過一組梅爾濾波器組，計算每個濾波器的對數輸出能量，帶入離散余弦變換得到MFCC系數，提取動態差分參數，得到N維MFCC參數；

步驟3.4根據語種提取對應語音的聲學特征：根據不同語種特點，提取其他聲學特征，并根據不同語種實際使用情況選用聲學特征或對聲學特征進行混合處理；

步驟3.5靜音檢測：通過預訓練的基于深度神經網絡DNN和長短時記憶單元LSTM的混合網絡結構進行靜音檢測；

步驟3.6斷句：根據靜音檢測結果及該語種對應預設閾值將語音流進行斷句處理；

步驟3.7語音轉文字：通過聲學模型、語言模型其中一種或者其結合將語音轉為對應語種文本信息輸出。

4.根據權利要求1或者2所述的一種語音通話的智能質檢方法，其特征在于，所述的步驟四通過以下步驟實現情感檢測分析：將步驟3.3至步驟3.6所處理完畢的語音特征矩陣輸入已訓練的情感狀態概率檢測模型，得到對應的情感狀態序列，確定對應的情感狀態。

5.根據權利要求1或者2所述的一種語音通話的智能質檢方法，其特征在于，所述的步驟五通過如下方法實現語義分析，設置場景詞庫模型和質檢詞庫模型兩個部分，將步驟3.7所獲取的文本信息以及相應的信息節點代號輸入到場景詞庫模型中獲取關鍵詞，輸出文本信息對應的意圖序列；將文本信息以及相應的信息節點代號輸入到已訓練的質檢詞庫模型中，獲取質檢意圖序列；根據權重綜合分析出具體的語義信息。

6.根據權利要求1或者2所述的一種語音通話的智能質檢方法，其特征在于，所述的步驟六通過以下步驟實現對分析結論進行質量檢測：

步驟6.1設置質檢模型：將步驟四中所述情感檢測中得到情感狀態序列或者步驟五中所述語義分析獲得的意圖信息輸入到質檢模型，輸出質量預警序列，所述的質量預警序列包括預警類型及概率；

步驟6.2設置質檢觸發規則：設定不同預警類型對應質檢觸發閾值；

步驟6.3當步驟6.1中所述所得預警類型及概率達到步驟6.2所述設置的對應質檢觸發閾值，觸發執行反饋處理模塊。