[發明專利]一種基于模板的序列生成模型生成問題的方法及裝置

在審

• 申請號: 202110181755.6
• 申請日: 2021-02-09
• 公開（公告）號: CN112836482A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 李玉娥;董黎剛;蔣獻;吳夢瑩;諸葛斌
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F40/30;G06F16/36;G06F16/35
• 代理公司: 杭州五洲普華專利代理事務所(特殊普通合伙) 33260
• 代理人: 朱林軍

本發明公開了一種基于模板的序列生成模型生成問題的方法及系統，構建文本抽取模型對用于生成問題的文本進行分類，獲得預測文本；構建文本識別模型，文本識別模型將文本轉換成向量表示，基于向量表示和該模型中設置的字詞級和語句級注意力機制，獲得字向量和詞向量對應的輸入序列，基于所述輸入序列進行分類得到預測文本的預測關系標簽；構建序列生成模型，編碼單元接收問題并映射成多元向量輸入給模板解碼單元，對此時解碼單元輸出的問題模板，根據所述預測根據所述預測關系標簽對所述問題模板進行替換。

技術領域

本發明涉及人工智能自然語言處理技術領域，尤其涉及一種基于模板的序列生成模型生成問題的方法及裝置。

背景技術

目前，在自然語言處理領域中對中文問題生成的研究很大一部分都是基于模板或者基于規則的模型構建的知識圖譜，由于模板和規則的局限性，所生成的問題種類單一且語言缺乏靈活性。

基于規則的方法通常需要耗費大量的人力和時間，并且生成的問題通常存在語句不通順，與文章內容不匹配的問題?；谀０宓姆椒ㄉ傻膯栴}比較死板，類型單一，缺乏語言的多樣性，而且模板的好壞直接決生成問題的質量。單純基于序列模型的問題生成方法存在主題實體識別不明確等問題，同樣影響生成問題的質量。

發明內容

鑒于現有技術存在的上述問題，本發明設計了一種基于模板的序列生成模型生成問題的方法及裝置，把基于模板和基于序列生成模型的方法結合在一起，在知識圖譜中的序列生成模型中生成相關問題時，提高了生成問題的質量。

為實現上述目的，本發明提出了一種基于模板的序列生成模型生成問題的方法，包括：

構建文本抽取模型：對用于生成問題的文本內容輸入到聯合模型中，利用所述聯合模型對所述文本進行分類，得到預測文本；

構建文本關系識別模型：根據所述預測文本內容獲取文本語義特征向量，利用帶有關系標簽的訓練集訓練所述文本關系識別模型，其中根據所述文本關系識別模型中設置的字詞級和語句級的注意力機制對所述文本語義特征向量進行訓練，可獲得字向量和詞向量對應的輸入序列，根據所述對應的輸入序列對所述字向量和詞向量進行分類，獲取預測文本的預測關系標簽；

構建序列生成模型，所述序列生成模型包括編碼單元和模板解碼單元，輸入問題給所述編碼單元，并根據所述問題語義映射成對應的多元組向量，并將所述多元組向量依次輸入到模板解碼單元中，且由模板解碼單元的輸出為問題模板，根據所述預測關系標簽對所述問題模板進行替換。

可選的，所述文本關系識別模型包括輸入表示層、字詞級層、語句級層以及實體關系分類層，其中將文本語義信息對應的字向量和詞向量序列，其中，

輸入層用于將輸入的文字轉換成向量的表示，用于獲取文本語義特征向量；

字詞級層學習用于學習所述文本上下文的內容信息，得到每個字詞對文本語義信息的重要程度；

語句級層學習用于根據上下文語句，給每個輸出字詞分配不同的權重，獲取字詞對語句信息的重要程度；

實體關系分類層對語句信息的重要程度進行歸一化處理，得到向量的關系標簽，從而對實體間的關系進行分類。

可選的，構建所述文本抽取模型步驟包括：

所述聯合模型為雙向長短記憶網絡模型和條件隨機場模型的聯合結構，所述文本抽取模型包括字詞向量表示、語句特征提取和語句級的序列標注三層結構，

其中對所述文本數據進行序列標注得到訓練集文本，

讀取所述訓練集文本作為雙向長短記憶網絡模型的輸入進行無監督訓練，使得雙向長短記憶網絡模型初始化所述訓練集文本的權值以及構建特征空間；

基于所述特征空間和文本的權值，利用條件隨機場模型對所述訓練集文本進行有監督學習；