[發明專利]一種基于模板的序列生成模型生成問題的方法及裝置

在審

• 申請號: 202110181755.6
• 申請日: 2021-02-09
• 公開（公告）號: CN112836482A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 李玉娥;董黎剛;蔣獻;吳夢瑩;諸葛斌
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F40/30;G06F16/36;G06F16/35
• 代理公司: 杭州五洲普華專利代理事務所(特殊普通合伙) 33260
• 代理人: 朱林軍

1.一種基于模板的序列生成模型生成問題的方法，其特征在于，

構建文本抽取模型：對用于生成問題的文本輸入到聯合模型中，利用所述聯合模型對所述文本進行分類，得到預測文本；

構建文本關系識別模型：根據所述預測文本內容獲取文本語義特征向量，利用帶有關系標簽的訓練集訓練所述文本關系識別模型，其中根據所述文本關系識別模型中設置的字詞級和語句級的注意力機制對所述文本語義特征向量進行訓練，可獲得字向量和詞向量對應的輸入序列，根據所述對應的輸入序列對所述字向量和詞向量進行分類，獲取預測文本的預測關系標簽；

構建序列生成模型，所述序列生成模型包括編碼單元和模板解碼單元，輸入問題給所述編碼單元，并根據所述問題語義映射成對應的多元組向量，并將所述多元組向量依次輸入到模板解碼單元中，且由模板解碼單元輸出為問題模板，根據所述預測關系標簽對所述問題模板進行替換。

2.根據權利要求1所述的一種基于模板的序列生成模型生成問題的方法，其特征在于，所述文本關系識別模型包括輸入表示層、字詞級層、語句級層以及實體關系分類層，其中，

輸入層用于將輸入的文字轉換成向量的表示，用于獲取文本語義特征向量；

字詞級層學習用于學習所述文本上下文的內容信息，得到每個字詞對文本語義信息的重要程度；

語句級層學習用于根據上下文語句，給每個輸出字詞分配不同的權重，獲取字詞對語句信息的重要程度；

實體關系分類層對語句信息的重要程度進行歸一化處理，得到向量的關系標簽，從而對實體間的關系進行分類。

3.如權利要求1所述的一種基于模板的序列生成模型生成問題的方法，其特征在于，構建所述文本抽取模型步驟包括：

所述聯合模型為雙向長短記憶網絡模型和條件隨機場模型的聯合結構，所述文本抽取模型包括字詞向量表示、語句特征提取和語句級的序列標注三層結構，

其中對所述文本數據進行序列標注得到訓練集文本，

讀取所述訓練集文本作為雙向長短記憶網絡模型的輸入進行無監督訓練，使得雙向長短記憶網絡模型初始化所述訓練集文本的權值以及構建特征空間；

基于所述特征空間和文本的權值，利用條件隨機場模型對所述訓練集文本進行有監督學習；

使用歸一化函數獲得所述訓練集文本中各個字詞的分類概率；

利用得到的分類概率進行分類得到所述預測文本。

4.如權利要求1所述的一種基于模板的序列生成模型生成問題的方法，其特征在于，構建文本關系識別模型步驟包括：

將所述預測文本內容輸入到預訓練的Word2vec模型中將文字轉換成低維稠密的向量表示，其中所述向量表示為文本語義特征向量，將所述文本語義特征向量輸入至構建文本關系識別模型的字詞級層中，獲得所述文本語義特征向量包含的字義信息、詞義信息和上下文信息。

5.如權利要求1所述的一種基于模板的序列生成模型生成問題的方法，其特征在于，構建文本關系識別模型步驟還包括：

獲得文本語義特征向量后，將所述文本語義特征向量輸入至構建文本關系識別模型的語句級學習層中，獲得所述文本語義特征向量每個字詞的權值，根據加權平均值法得到每個字詞的attention值；

對所述attention值進行歸一化處理，得到所述文本語義特征向量的預測關系標簽，根據所述預測關系標簽對所述預測文本進行分類得到語句實體。

6.如權利要求1所述的一種基于模板的序列生成模型生成問題的方法，其特征在于，所述預測關系標簽采用HowNet定義的16種標簽和5種自定義標簽。

7.如權利要求1所述的一種基于模板的序列生成模型生成問題的方法，其特征在于，將所述輸入問題映射成對應的多元組向量時的內容至少包括主題實體、實體關系、實體，其中所述輸入問題是根據所述主題實體和所述實體關系提出，且能由所述實體回答。