[發明專利]基于Transformer問題關鍵詞預測的多樣性問題自動生成方法

有效

• 申請號: 202310331534.1
• 申請日: 2023-03-31
• 公開（公告）號: CN116050401B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 周菊香;周明濤;李子杰;甘健侯;陳懇;徐堅
• 申請（專利權）人: 云南師范大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06F40/30;G06N3/0442;G06N3/045;G06N3/0464;G06N3/08;G06Q30/0601
• 代理公司: 昆明明潤知識產權代理事務所(普通合伙) 53215
• 代理人: 王鵬飛

1.基于Transformer問題關鍵詞預測的多樣性問題自動生成方法，其特征在于，具體步驟如下：

Step?1?提取數據集中的商品文本信息并轉化為向量形式，作為TKPCNet模型的輸入；

Step?2?構建TKPCNet模型，首先構建一個Transformer問題關鍵詞預測模型，然后構建一個編碼器-解碼器模型，通過卷積神經網絡提取問題關鍵詞的語義信息，使用線性變換的方式將語義信息映射成編碼器-解碼器起始輸入的隱藏層信息，最后輸送到模型的編碼器和解碼器的輸入端進行融合，完成TKPCNet模型的構建；

Step?3?對TKPCNet模型的輸出使用譜聚類和集束搜索的解碼方式進行多樣性問題生成；

所述Step1的具體步驟如下：

Step?1.1：對數據集進行預處理；讀取數據集中商品的上下文文本信息以及對應的問題，將商品上下文文本信息和問題進行分詞，再進行詞頻統計；

Step?1.2：對數據集中的商品信息id、上下文文本信息、問題進行三元組拼接，根據統計的詞頻將上下文文本信息和問題映射成向量形式；

所述Step3的具體步驟如下：

Step?3.1?解碼器輸出先采取譜聚類方式對問題的關鍵詞進行聚類；

Step?3.2?解碼器的每一步輸出使用集束搜索的方式生成多個詞匯，從而生成多樣性問題；

所述Step1.2的具體步驟如下：

對預處理后數據集中的商品id、上下文文本、問題進行三元組拼接，將商品的上下文文本和問題分詞后的詞匯，映射成可以識別的數組形式的列表集合，轉換為TKPCNet模型需要的向量；再對上下文文本和問題的序列進行規范化操作，將上下文文本的序列長度大于閾值部分進行截斷，對于上下文文本的序列長度小于閾值的，采取字符補齊；問題序列長度大于閾值部分進行截斷，問題序列長度小于閾值部分采取字符補齊；對上下文文本和問題進行詞到向量的映射，從而構建上下文文本信息和問題映射的序列向量形式；

多頭自注意機制是指：在一個多頭自注意力層中，將當前詞匯嵌入平均劃分為8塊，并將每一塊作為查詢向量、鍵值對向量，然后分別乘以不同的可訓練參數矩陣，并將其進行線性投影到、、維，更好的從多個角度捕獲多維度語義信息，然后并行進行h個自注意力機制函數的運算過程得到h個維度的輸出向量，最后將8個自注意力機制運算得到輸出向量連接起來，并乘以一個參數矩陣作為該層的輸出，自注意力機制函數的運算，得到具體公式表示如下式（5），多頭自注意力機制的公式表示如下式（6）(7)：

；

其中Q,K,V分別表示對應的查詢向量矩陣、鍵向量矩陣、值向量矩陣，T表示轉置矩陣，表示鍵向量的矩陣?表示鍵向量的維度，softmax(*)表示softmax層，用于輸入當前詞匯與上下文其它詞匯的權重信息；；

MultiHead(*)表示多頭自注意計算結果，其中的表示可訓練的參數矩陣，其中每一個表示一個注意力頭；

；

在這項工作中，關鍵詞作為一個關鍵信息標記為，其中每個k表示提取關鍵詞的單詞。

2.根據權利要求1所述的基于Transformer問題關鍵詞預測的多樣性問題自動生成方法，其特征在于：所述Step2的具體步驟如下：

Step?2.1?構建端到端的TKPCNet網絡模型的編碼器，在編碼端使用多層雙向循環神經網絡對文本語義信息進行編碼；

Step?2.2?構建一個基于Transformer問題關鍵詞預測模型，使用Transformer編碼上下文文本的語義信息，預測問題關鍵詞的重要性，接著使用卷積神經網絡提取問題關鍵詞的語義信息，最后通過線性變換的方式，將提取問題關鍵詞的語義信息，替換成編碼器和解碼器第一個字符的起始輸入；

Step?2.3：構建端到端的TKPCNet模型的解碼器，在解碼端使用循環神經網絡對目標問題進行解碼；

Step?2.4：構建端到端的TKPCNet模型，通過將增強的編碼器-解碼器模型和基于Transformer問題關鍵詞預測模型進行結合，共同構成一個端到端的TKPCNet模型。

3.根據權利要求2所述的基于Transformer問題關鍵詞預測的多樣性問題自動生成方法，其特征在于：所述Step2.1中，編碼器端使用的是兩層雙向GRU，隱藏層使用的維度為100維。