[發明專利]一種基于多層語義特征提取結構的問答文本匹配方法

有效

• 申請號: 202010554563.0
• 申請日: 2020-06-17
• 公開（公告）號: CN111831789B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 譚華;徐維超;陳昌潤
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F40/211;G06F40/289;G06F40/30;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

1.一種基于多層語義特征提取結構的問答文本匹配方法，其特征在于，包括以下步驟：

S1：獲取問題與回答文本數據集，并構建問題與錯誤回答對；

S2：將問題與回答文本數據集進行預處理得到初始矩陣；

S3：將問題與回答文本數據集中的問題文本與回答文本轉換成詞向量，所述詞向量用于表示文本詞匯的含義，將問題文本的詞向量、回答文本的詞向量分別結合形成問題文本句向量、回答文本句向量；

S4：構建文本匹配的深度學習模型的多層上下文編碼結構，將問題文本句向量、回答文本句向量輸入到所述的多層上下文編碼結構中進行編碼；

S5：使用卷積神經網絡對每層上下文編碼結構的輸出進行卷積提取問題文本與回答文本的句子特征表示；

S6：每一層上下文編碼結構的輸出經過卷積之后，使用最大池化層提取多層中的語義特征作為句子的最終語義特征表示，所述句子的最終語義特征表示包括：問題文本的句子特征表示和回答文本的句子特征表示；

S7：計算問題文本的句子特征表示和回答文本的句子特征表示的余弦相似度，將問題文本與所有的回答文本匹配完后，選取與問題文本匹配到的余弦相似度最大的回答文本作為答案輸出。

2.根據權利要求1所述的一種基于多層語義特征提取結構的問答文本匹配方法，其特征在于，所述問題與回答文本數據集包括問題及問題對應的正確答案、問題與錯誤回答，所述問題與錯誤回答是對每個問題從預設的答案池中隨機抽取一條不是問題的答案作為負樣本，構成問題與錯誤回答。

3.根據權利要求1所述的一種基于多層語義特征提取結構的問答文本匹配方法，其特征在于，問題與回答文本數據集進行預處理包括：

問答數據的清洗，分別對問題與回答數據集中的未登錄詞、停用詞、以及問題文本與回答文本字符數小于預設字符數的數據項進行清洗；

對清洗后的問題與回答文本數據集進行分詞操作和詞性標注操作。

4.根據權利要求1所述的一種基于多層語義特征提取結構的問答文本匹配方法，其特征在于，所述將問題與回答文本數據集中的問題文本與回答文本轉換成詞向量是通過BERT模型的預訓練模型的固定參數的詞向量神經網絡將問題文本與回答文本的詞轉化對應的詞向量并將問題文本與回答文本對應的詞向量構建成詞向量矩陣，所述詞向量矩陣行數為每個問題或回答文本的次數，列數為每個詞對應向量所指定的維數。

5.根據權利要求1所述的一種基于多層語義特征提取結構的問答文本匹配方法，其特征在于，所述深度學習模型的多層上下文編碼結構為自注意力機制Transformer單元，共有12層Transformer編碼結構，所述12層Transformer編碼結構依次串聯，每一層結構具有輸出，問題文本句向量、回答文本句向量輸入至多層上下文編碼結構的第一次層，第一層的輸出逐層進行傳遞同時每一層也輸出當前層的編碼結果矩陣，保存每一層的輸出上下文語義信息結果矩陣，用于下一層的輸入數據。

6.根據權利要求1所述的一種基于多層語義特征提取結構的問答文本匹配方法，其特征在于，使用卷積神經網絡對每層上下文編碼結構的輸出進行卷積提取問題文本與回答文本的句子特征表示具體為：

使用不同大小卷積核的卷積神經網絡對每一層的上下文語義特征進行卷積操作；

將不同大小卷積核的卷積神經網絡卷積提取出的語義特征結果整合到一起；

每一層的語義特征作為一個通道，使用最大池化提取12層中最大的語義特征；

池化層輸出的語義特征矩陣是句子最后經過多層語義層提取的語義特征，也就是句子的特征表示；

將問題句子的特征表示與回答句子的特征表示進行匹配獲取匹配結果。