[發明專利]一種基于句法結構和重排序的對話生成方法

有效

• 申請號: 201910791111.1
• 申請日: 2019-08-26
• 公開（公告）號: CN110489529B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 張海軍;崔嘯霆
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F40/211;G06F40/289;G06N3/08;G06N20/00
• 代理公司: 深圳市迪斯卓越專利代理事務所(普通合伙) 44443
• 代理人: 閔華明;李小艷

1.一種基于句法結構和重排序的對話生成方法，包括以下步驟：

A、詞性序列生成：通過使用詞性標注工具將中文對話語料轉化成詞性序列，然后使用編碼器-解碼器架構訓練出詞性序列生成模型，輸入一段詞性序列，生成出符合規則的新的詞性序列；

B、詞性轉移矩陣生成：通過詞性序列生成模型，利用BeamSearch方法得到生成序列集合，然后對集合內序列進行統計，得到當前詞性序列相應的詞性轉移矩陣；

C、SequenceToSequence對話生成模型的loss函數改進：根據詞性轉移矩陣，對原始對話生成過程中的SequenceToSequence模型loss函數進行改進，以達到提高生成質量的效果；

D、重排序步驟：對訓練得到的SequenceToSequence對話生成模型，在預測過程中計算所有生成候選序列的句法結構混亂度，根據得分進行重排序，返回重排序后的序列作為生成結果;

所述步驟B包括以下步驟：

B1、根據詞性序列生成模型，利用BeamSearch的方法，對每個句子生成相應的詞性序列候選集合；

B2、對詞性候選集合內的序列，依據2-gram、3-gram的方法進行統計，得到候選集合內所有相鄰詞性的組合以及出現的次數；

B3、根據B2統計的所有詞性組合及其出現的次數，構建詞性轉移矩陣;

所述步驟C包括以下步驟：

C1、根據詞性轉移矩陣構建新的模型loss函數，并應用于模型訓練過程；

C2、通過使用整理過后的中文對話數據進行模型的訓練。

2.根據權利要求1所述的方法，其特征在于：所述步驟A包括以下步驟：

A1、數據預處理：將所有中文訓練語料進行分詞，使用詞性標注工具，對分詞后序列進行詞性標注，得到中文對話語料對應的詞性序列數據；

A2、詞性序列生成：利用A1得到的詞性序列數據，使用SequenceToSequence模型，訓練一個詞性序列生成模型，實現輸入一個詞性序列，輸出一個對應的詞性序列。

3.根據權利要求1所述的方法，其特征在于：所述步驟D包括以下步驟：

D1、對語料庫進行分詞和句法結構分析，設置閾值抽取句法結構規則集合；

D2、使用BeamSearch技術，利用訓練得到的生成模型產生候選集合；

D3、依據D1得到的句法結構規則集合，對D2得到的候選集合進行評分，根據評分進行重新排序，返回排序后的結果。

4.根據權利要求1所述的方法，其特征在于：在進行步驟D時，對最終得到的對話生成模型產生的候選集合，利用抽取句法規則的方法計算候選集合得分，根據得分進行重排序，提高最終返回結果質量。