[發(fā)明專利]基于深度學習模型構(gòu)建智能聊天平臺的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110094940.1
• 申請日: 2021-01-25
• 公開（公告）號: CN112784028A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 肖雪;榮廣勝;李國濤
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 孫園園

1.一種基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，該方法具體如下：

數(shù)據(jù)預(yù)處理：對從開源獲取到的聊天語料數(shù)據(jù)進行數(shù)據(jù)預(yù)處理并訓練詞袋模型；

構(gòu)建并訓練模型：構(gòu)建深度學習模型seq2seq并對深度學習模型seq2seq進行訓練，對訓練后的深度學習模型seq2seq進行對話測試；

對模型進行部署應(yīng)用：根據(jù)訓練后的深度學習模型seq2seq進行部署應(yīng)用。

2.根據(jù)權(quán)利要求1所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，對從開源獲取到的聊天語料數(shù)據(jù)進行數(shù)據(jù)預(yù)處理具體如下：

結(jié)合語料實際情況和對話邏輯，對上下文語料中包含的特殊字符進行剔除；

對語料中上下文少于3個漢字的聊天語料進行刪除；

分別訓練語料中的上文模型和下文模型，篩選處聊天語料中詞頻大于5的token，保存上下文的詞袋模型，以供深度學習模型使用。

3.根據(jù)權(quán)利要求1所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，所述深度學習模型seq2seq包括Encoder架構(gòu)和Decoder架構(gòu)。

4.根據(jù)權(quán)利要求3所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，所述Encoder架構(gòu)為2層雙向的Bilstm結(jié)構(gòu)，每一層擁有128個神經(jīng)元，把Enoder輸出的最后兩層拼接起來構(gòu)成一個(batch_size,seq_len,128*2)的矩陣，作為Encoder最后的輸出。

5.根據(jù)權(quán)利要求3所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，所述Decoder架構(gòu)為1層的Bilstm結(jié)構(gòu)，每一層擁有128*2個神經(jīng)元,對第一個時間步使用Ecoder的輸入，通過attention層進行矩陣轉(zhuǎn)換，每一個時間步增加隨機函數(shù)，隨機使用teach-forcing層，對模型進行正確的指導(dǎo)，在每一個時間步最后添加soft_max函數(shù)，作為深度學習模型seq2seq本時間步的預(yù)測結(jié)果并進行保存，每個時間步采取同樣的方法進行，直到深度學習模型seq2seq預(yù)測到終止符或到序列指定長度。

6.根據(jù)權(quán)利要求3-5中任一所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，對深度學習模型seq2seq進行訓練具體如下：

針對訓練好的深度學習模型seq2seq構(gòu)建詞向量轉(zhuǎn)化器：作為深度學習模型seq2seq的輸入和輸出的轉(zhuǎn)化器，在深度學習模型seq2seq輸入時把漢字轉(zhuǎn)化為深度學習模型seq2seq可識別的數(shù)字；在深度學習模型seq2seq預(yù)測后，對深度學習模型seq2seq輸出的數(shù)字進行轉(zhuǎn)化，把深度學習模型seq2seq輸出的數(shù)字轉(zhuǎn)化為可讀的漢字語句；

輔加attention層：使用dot-attention，初始化一個(128*2，seq_len,num_layer)的矩陣，與encoder的輸出進行點乘，作為decoder每一個時間步的輸入；

輔加teach-forcing層：使用下文中每一個時間步正確的文字轉(zhuǎn)化后的向量替代上一個時間步預(yù)測的向量；

改進BeamSearch：采取折中的方法，每次搜索只保留最優(yōu)的K條路徑，搜索結(jié)果優(yōu)于貪心搜索；其中，時間復(fù)雜度能夠根據(jù)k的設(shè)置進行控制，同時通過增加懲罰項，對短句子進行降權(quán)。

7.根據(jù)權(quán)利要求1所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，對模型進行部署應(yīng)用具體如下：

使用django和vue搭建前后端分離的項目框架對深度學習模型seq2seq進行部署應(yīng)用；

使用django框架搭建后端平臺，接收前端傳輸?shù)牧奶靸?nèi)容，調(diào)用深度學習模型seq2seq進行預(yù)測，對預(yù)測的結(jié)果進行返回；

使用vue搭建前端框架，用于用戶交互及與后端交互。

8.根據(jù)權(quán)利要求1或7所述的基于深度學習模型構(gòu)建智能聊天平臺的方法，其特征在于，訓練后的模型進行部署應(yīng)用后，對深度學習模型seq2seq進行增量訓練，通過后期豐富的聊天語料及用戶聊天涉及到的各類情況，更新深度學習模型seq2seq。