[發明專利]基于多個預測模型的標點符號預測方法及相關設備

有效

• 申請號: 201910515571.1
• 申請日: 2019-06-14
• 公開（公告）號: CN110413987B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 李秀豐
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06N3/0464
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 高茹

1.一種基于多個預測模型的標點符號預測方法，其特征在于，包括以下步驟：

構建第一標點符號預測模型、第二標點符號預測模型及第三標點符號預測模型，并分別為所述第一標點符號預測模型、第二標點符號預測模型及第三標點符號預測模型預先配置預測概率權重，其中，所述第一標點符號預測模型為雙向遞歸神經網絡模型，所述第二標點符號預測模型為語音停頓標點符號預測模型，所述第三標點符號預測模型為關鍵詞匹配標點符號預測模型；

獲取待預測文本，將所述待預測文本輸入所述第一標點符號預測模型，基于雙向遞歸神經網絡模型中聯系所述待預測文本的前后文信息進行標點符號的預測，獲取所述第一標點符號預測模型的預測結果；

將所述待預測文本輸入所述第二標點符號預測模型，基于關鍵詞匹配標點符號預測模型中對所述待預測文本的關鍵詞詞頻進行標點符號的預測，獲取所述第二標點符號預測模型的預測結果；

將所述待預測文本輸入所述第三標點符號預測模型，基于關鍵詞匹配標點符號預測模型中對所述待預測文本的關鍵詞詞頻進行標點符號的預測，獲取所述第三標點符號預測模型的預測結果；

根據所述第一標點符號預測模型、第二標點符號預測模型及第三標點符號預測模型的預測結果及預測概率權重進行所述待預測文本的標點符號的預測。

2.如權利要求1所述的基于多個預測模型的標點符號預測方法，其特征在于，所述構建第一標點符號預測模型、第二標點符號預測模型及第三標點符號預測模型，包括：

構建雙向遞歸神經網絡標點符號預測模型、語音停頓標點符號預測模型及關鍵詞匹配標點符號預測模型，并在所述雙向遞歸神經網絡標點符號預測模型中創建注意力層，所述注意力層的注意力機制滿足公式：

其中，α_ij＝softmax(v_a^Ttanh(W_as_i-1+U_ah_j))，v_a^T為注意力矩陣，W_a為過往時刻的隱含層激活矩陣，s_i-1為過往時刻的隱含層激活的輸出，U_a為當前時刻的隱含層輸出矩陣，h_j為當前時刻的隱含層輸出，α_ij為注意力層的激活的輸出，c_i為經過注意力機制的輸出層輸出。

3.如權利要求2所述的基于多個預測模型的標點符號預測方法，其特征在于，所述將所述待預測文本輸入所述第一標點符號預測模型，獲取所述第一標點符號預測模型的預測結果，包括：

將所述待預測文本輸入雙向遞歸神經網絡標點符號預測模型，獲取所述雙向遞歸神經網絡標點符號預測模型的預測項及與所述預測項對應的預測概率；

將所述雙向遞歸神經網絡標點符號預測模型的預測項及與所述預測項對應的預測概率存儲在臨時緩存中。

4.如權利要求3所述的基于多個預測模型的標點符號預測方法，其特征在于，所述將所述待預測文本輸入所述第二標點符號預測模型，獲取所述第二標點符號預測模型的預測結果，包括：

將所述待預測文本輸入語音停頓標點符號預測模型，獲取所述語音停頓標點符號預測模型的預測項及與所述預測項對應的預測概率；

將所述語音停頓標點符號預測模型的預測項及與所述預測項對應的預測概率存儲在臨時緩存中。

5.如權利要求4所述的基于多個預測模型的標點符號預測方法，其特征在于，所述將所述待預測文本輸入所述第三標點符號預測模型，獲取所述第三標點符號預測模型的預測結果，包括：

將所述待預測文本輸入關鍵詞匹配標點符號預測模型，獲取所述關鍵詞匹配標點符號預測模型的預測項及與所述預測項對應的預測概率；

將所述關鍵詞匹配標點符號預測模型的預測項及與所述預測項對應的預測概率存儲在臨時緩存中。