[發明專利]基于混合專家模型的復雜度可控的多樣化問題生成方法

在審

• 申請號: 202110099300.X
• 申請日: 2021-01-25
• 公開（公告）號: CN112668344A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 畢勝;程茜雅;漆桂林
• 申請（專利權）人: 東南大學
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

1.一種基于混合專家模型的復雜度可控的多樣化問題生成方法，其特征在于，該方法包括如下步驟：

1)挖掘問答數據集特征，提出一種自適應的問題復雜度的衡量方法；

2)使用該問題復雜度衡量方法對現有數據集中的數據進行復雜度標注，并劃分為訓練集、驗證集和測試集；

3)使用雙向LSTM網絡對給定文本和答案進行編碼；

4)使用LSTM網絡對編碼結果進行解碼，生成問題；

5)在解碼過程中使用隱向量建模不同復雜度的問題模板，從而指導滿足給定復雜度的問題生成；

6)使用混合專家模型選擇不同的文本內容，從而生成不同的問題，提升問題生成的多樣性。

2.根據權利要求書1所述的基于混合專家模型的復雜度可控的多樣化問題生成方法，其特征在于，所述步驟1)中，

從問題、文本以及兩者間的交互這三個角度提出了五種復雜度影響因素，并設計了一種自適應的問題復雜度的衡量方法，這五種因素包括：

1)問題中的從句個數從句個數越多，問題越復雜；

2)問題中的修飾定語數量定語越多，問題越難回答；

3)文本中句子的關聯程度關聯越高，問題越易回答；使用文本中句子的主題分布的相似度來表示句子關聯程度，首先訓練主題模型，計算每個句子的主題分布，然后使用Kullback-Leibler散度衡量這些主題分布的相似性，計算方式如下：

其中，t_i和t_j分別表示文本中第i個和第j個句子的主題分布，N是文本中的句子個數，最終，句子主題分布的相似度越高，句子關聯性就越高，問題就越簡單；

4)問題中的實體出現在文本中的頻率出現越高，問題越簡單；利用spaCy工具識別問題中的實體，并采用下列公式計算問題中的實體出現在文本中的頻率，為了確保的值與復雜度成正相關，使用倒數運算；

5)問題中的實體與答案span在文本中的平均距離越小，越易找到答案；計算問題中的實體與答案span在文本中的平均距離作為復雜度影響因子，距離越大，問題就越復雜；

對影響因子的值采用了歸一化的計算方法，消除過大值產生的影響，最終每個問題復雜度的得分cpx的計算公式如下：

其中，ω_i是第i個影響因子的權重。

3.根據權利要求2所述的基于混合專家模型的復雜度可控的多樣化問題生成方法，其特征在于，所述步驟5)中，

使用隱向量π∈{1,…,n_π}作為記憶模塊來建模問題的模板結構，每當選中一個π時，其對應的模板就會被用來指導問題生成；使用了兩個隱向量π^simple和π^complex，分別根據不同復雜度的問題選擇對應的模板。

4.根據權利要求2所述的基于混合專家模型的復雜度可控的多樣化問題生成方法，其特征在于，所述步驟6)中，

使用混合專家模型，選擇不同的模板進而建模不同的文本內容，最終生成不同的問題，提升問題生成的多樣性，具體來說，定義了隱向量z∈{1,…,n_z}表示一系列專家，其中每個專家關注不同的問題模板。