[發明專利]基于ERNIE模型和DCNN模型的還款預測方法

在審

• 申請號: 202011181563.7
• 申請日: 2020-10-29
• 公開（公告）號: CN112200664A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 李電祥;陳學珉
• 申請（專利權）人: 上海暢圣計算機科技有限公司
• 主分類號: G06Q40/02
• 分類號: G06Q40/02;G06Q10/04;G06F40/30;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

本申請公開了一種基于ERNIE模型和DCNN模型的還款預測方法，該方法充分利用電話催收過程中生成的語音數據，并利用預訓練后的ERNIE模型生成語音數據的語義表示，最終利用DCNN模型根據該語義表示確定預測結果。由于ERNIE模型在預訓練過程中采用字掩碼、詞掩碼、實體掩碼和隨機掩碼四種掩碼策略，因此能夠學習到字層面、詞層面、實體層面等知識信息，使得模型能夠更好的捕捉到語義信息。而DCNN模型的寬卷積會使句子的長度增加，避免邊緣信息丟失，且DCNN模型的動態池化層，能夠保留原來序列的次序，顯著提升還款預測的準確性和可靠性。此外，本申請還提供了一種基于ERNIE模型和DCNN模型的還款預測裝置、設備及可讀存儲介質，其技術效果與上述方法相對應。

技術領域

本申請涉及自然語言處理技術領域，特別涉及一種基于ERNIE模型和DCNN模型的還款預測方法、裝置、設備及可讀存儲介質。

背景技術

隨著信用卡業務的規模的不斷擴大和借貸人群的不斷下沉，信用卡貸后催收業務面臨著新的挑戰。

傳統催收預測模型采用的數據為用戶的申請資料或當前貸后還款信息，基于這些數據預測過程包括：對當前申請資料信息進行預處理，得到當前資料信息的目標自變量特征信息；對此信息采用算法模型搭建，然后通過大量的數據訓練得到催收預測模型，從而達到提高預測精度的目的。但是，該方案沒有有效利用對用戶電話溝通過程中產生的大量語音數據，在催收過程中用戶的語音數據是真實且寶貴的，能夠為催收預測提供諸多有價值的信息，而這些信息是申請資料和貸后還款信息無法提供的。

隨著機器學習和深度學習的快速發展，從大規模的對話數據中學到有用信息成為可能。文本分類作為自然語言處理的一個重要分支，在近幾年里得到了快速發展，目前一般通過深度學習進行文本分類，基于深度學習的文本分類效果的好壞取決于對如何更好地提取出數據的潛在語義信息特征。傳統的機器學習通過one-hot編碼、TFIDF、LDA、LSA等算法提取數據潛在信息，但是這些算法存在維度災難的問題，而word2vec、glove、fasttext等詞向量模型雖然有著各自的優點，但是卻也存在依賴于輸入數據的質量與數量大小，對于不同領域的知識仍然存在需要重新進行訓練才能再次使用的尷尬處境。

使用大規模語料庫訓練出預訓練模型，然后針對不同任務再來對預訓練模型進行微調的方式有效解決了上述問題，其典型代表就是BERT(Bidirectional EncoderRepresentation from Transformers)模型及其泛化模型。而為了進一步提高分類任務的效果，使用BERT-CNN(Convolutional Neural Networks)模型是一種非常不錯的解決方案。但是，該方案至少存在以下兩個缺陷：

(1)BERT模型在進行掩碼過程中僅僅從字層面進行掩碼，沒有考慮到詞之間存在的相關性，對語言模型聯合概率存在偏差估計，同時存在預訓練過程和生成過程存在不一致的情況，從而會導致預測精度較差。

(2)CNN模型的卷積層的操作會使句子的長度變短，導致邊緣信息丟失，且CNN模型池化層的操作會打亂句子的順序。

綜上，如何充分利用電話催收過程中生成的語音數據，提升催收預測精度，并克服前述方案的缺陷，是亟待本領域技術人員解決的問題。

發明內容

本申請的目的是提供一種基于ERNIE模型和DCNN模型的還款預測方法、裝置、設備及可讀存儲介質，用以解決當前的催收預測方案沒有充分利用電話催收過程中的語音數據，導致預測精度較低的問題。其具體方案如下：

第一方面，本申請提供了一種基于ERNIE模型和DCNN模型的還款預測方法，包括：

利用文本數據集對ERNIE模型進行預訓練；

將預訓練后的ERNIE模型與DCNN模型進行層級連接，得到還款預測模型；