[發明專利]基于ERNIE模型和DCNN模型的還款預測方法

在審

• 申請號: 202011181563.7
• 申請日: 2020-10-29
• 公開（公告）號: CN112200664A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 李電祥;陳學珉
• 申請（專利權）人: 上海暢圣計算機科技有限公司
• 主分類號: G06Q40/02
• 分類號: G06Q40/02;G06Q10/04;G06F40/30;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

1.一種基于ERNIE模型和DCNN模型的還款預測方法，其特征在于，包括：

利用文本數據集對ERNIE模型進行預訓練；

將預訓練后的ERNIE模型與DCNN模型進行層級連接，得到還款預測模型；

獲取電話催收過程中生成的語音數據，采用ASR技術將所述語音數據轉換為文本數據，并添加標簽，得到訓練樣本；

利用所述訓練樣本，對所述還款預測模型進行訓練；

將待測語音數據對應的文本數據輸入訓練完成的還款預測模型，得到預測結果。

2.如權利要求1所述的方法，其特征在于，在所述采用ASR技術將所述語音數據轉換為文本數據之后，還包括：

利用kenLM糾錯模塊或pycorrect糾錯模塊對所述文本數據進行糾錯。

3.如權利要求1所述的方法，其特征在于，所述利用文本數據集對ERNIE模型進行預訓練，包括：

根據文本數據集和多種掩碼策略，構造訓練集，所述多種掩碼策略包括字掩碼策略、詞掩碼策略、實體掩碼策略、隨機掩碼策略；

利用所述訓練集對所述ERNIE模型進行預訓練。

4.如權利要求3所述的方法，其特征在于，所述多種掩碼策略還包括句子掩碼策略，所述句子掩碼策略為：對于目標句子，隨機選擇起始位置進行掩碼，掩碼比例不超過所述目標句子句長的預設比例。

5.如權利要求1所述的方法，其特征在于，所述將待測語音數據對應的文本數據輸入訓練完成的還款預測模型，得到預測結果，包括：

將待測語音數據對應的文本數據輸入訓練完成的還款預測模型的ERNIE模型，得到語義表示；

將所述語義表示輸入訓練完成的還款預測模型的DCNN模型，得到預測結果。

6.如權利要求5所述的方法，其特征在于，所述DCNN模型包括寬卷積層、動態池化層、Folding層、全連接層，所述將所述語義表示輸入訓練完成的還款預測模型的DCNN模型，得到預測結果，包括：

利用寬卷積層對所述輸入語義層表示進行卷積操作,提取完整句子信息，得到卷積結果，其中所述完整句子信息包括句首信息和句尾信息；

利用動態池化層對所述卷積結果進行池化操作，得到池化結果；

利用Folding層對所述池化結果進行降維，得到降維結果；

利用全連接層將所述降維結果確定預測結果。

7.如權利要求5所述的方法，其特征在于，所述ERNIE模型包括文本編碼器和知識型編碼器，所述將待測語音數據對應的文本數據輸入訓練完成的還款預測模型的ERNIE模型，得到語義表示，包括：

利用文本編碼器根據所述文本數據生成文本信息，所述文本信息詞法信息和句法信息；

利用知識型編碼器將所述文本數據的知識信息整合到所述文本信息，得到語義表示。

8.一種基于ERNIE模型和DCNN模型的還款預測裝置，其特征在于，包括：

預訓練模塊：用于利用文本數據集對ERNIE模型進行預訓練；

模型構建模塊：用于將預訓練后的ERNIE模型與DCNN模型進行層級連接，得到還款預測模型；

訓練樣本生成模塊：用于獲取電話催收過程中生成的語音數據，采用ASR技術將所述語音數據轉換為文本數據，并添加標簽，得到訓練樣本；

模型訓練模塊：用于利用所述訓練樣本，對所述還款預測模型進行訓練；

預測模塊：用于將待測語音數據對應的文本數據輸入訓練完成的還款預測模型，得到預測結果。

9.一種基于ERNIE模型和DCNN模型的還款預測設備，其特征在于，包括：

存儲器：用于存儲計算機程序；

處理器：用于執行所述計算機程序，以實現如權利要求1-7任意一項所述的基于ERNIE模型和DCNN模型的還款預測方法。

10.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時用于實現如權利要求1-7任意一項所述的基于ERNIE模型和DCNN模型的還款預測方法。