[發明專利]基于融合空間位置注意力機制的圖表英語摘要生成方法

在審

• 申請號: 202111351738.9
• 申請日: 2021-11-16
• 公開（公告）號: CN114020900A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 王鑫;許文全;覃琴;馮意;顏靖柯;王琴
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F16/33;G06F16/31;G06N20/00
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 羅玉榮

1.一種基于融合空間位置注意力機制的圖表英語摘要生成方法，其特征在于，包括如下步驟：

1)創建圖表英語摘要描述數據集：選擇公開網站的數據作為模型訓練的數據來源，創建圖表英語摘要描述數據集，該數據集由條形圖和折線圖組成，采用爬蟲框架抓取8300條數據，8300條數據分別包括廣告業、農業、化工業、建造業、消費業、電子商務業、經濟業、能源與環境業、金融與保險業、健康與醫療業、互聯網業、生活業、媒體業、金屬與電子業、房地產業、零售業、服務業、社會業、運動休閑業、科技與電信業、運輸與物流業、旅行、旅游與酒店業22個行業的數據統計表格、表格標題和對圖表描述的英語摘要，采用TransChartText的英語摘要生成任務通過給定結構化的數據生成描述性的英語摘要：模型輸入的結構化數據由記錄表組成，其中，每條記錄表包括標題r_i(0)、表格單元格的值r_i(1)、列索引值r_i(2)、圖表的類型r_i(3)，輸出的w＝w₁+.....+w_i是基于圖表的描述性英語摘要向量，i表示文本的長度，數據到英語摘要的生成概率權重如公式(1)、公式(2)所示：

其中w＝w₁+.....+w_i表示生成的英語摘要向量、W表示模型參數；

2)數據變量替換圖表數據值：采用數據變量替換圖表數據值，在數據變量中定義七類數據變量，它們分別是標題實體變量、日期、x軸標簽、y軸標簽、表格單元格的數據、條形圖和折線圖趨勢、占比，對于所定義的七個變量，采用命名識別構建變量模板數據庫，在數據進入編碼器的時候，首先，修改英語摘要，用預選設置的變量模板來替換摘要中的數值，將數值映射到某類別變量，然后，將修改后的摘要用來模型的訓練和預測，最后，將生成的索引和預定義的數據變量進行匹配，生成摘要；

3)基于空間關系的詞向量位置編碼：采用空間注意力機制的方式學習詞之間的關系，其中表示詞向量r_i的空間位置關系特征，表示詞向量r_i的詞向量特征，表示詞向量r_j的空間位置關系特征，表示詞向量r_j的詞向量特征，表示詞向量r_i與其它詞向量之間的位置關系，在位置嵌入編碼模塊，對于向量r_i，1≤i≤n，計算向量r_i空間注意力權重，獲取與其它單詞的空間位置關系，并融合r_i的詞向量特征，作為向量r_i的最終語義表示進行輸出，定義如公式(3)所示進行變換操作：

其中w_A表示詞向量的長度，計算給定單詞向量r_i和r_j間的位置關系，定義如公式(4)所示計算空間位置注意力權重：

其中表示r_i的空間位置關系特征，表示r_j的空間位置關系特征，ε_G是由cos和sin函數構成，在TransChartText Encoder模塊嵌入一組Relation模塊，每個Relation模塊都采用詞向量空間位置特征作為輸入，采用公式(5)學習與另外詞向量之間的位置關系來更新詞向量的表示：

最后通過融合一組Relation模塊得到并與當前模塊的詞向量特征進行融合，作為當前詞向量的語義表示，計算公式如公式(6)所示：

其中Concat表示對所有詞向量進行拼接操作，Transformer編碼模塊不僅記錄對應詞向量與其它向量之間的位置關系，而且還采用Self-Attention更新語義信息表示，Self-Attention將詞向量映射得到矩陣查詢矩陣Q、鍵矩陣K和值矩陣V，計算方式如公式(7)所示：

Q＝XW_Q,K＝XW_K,V＝XW_V (7)，

其中X表示輸入的編碼后的特征詞向量，W_Q，W_K，W_V表示權重矩陣，它們通過模型的訓練獲得，n個單向量的語義信息表示采用如公式(8)所示計算：

Transformer詞向量的編碼器采用Multi-head-Attention將多個Self-Attention得到的語義信息進行拼接，計算方式如公式(9)所示：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W (9)；

4)采用Diverse Beam Search搜索詞向量結果：最終采用Diverse Beam Search搜索更好的詞向量結果，Transformer解碼器是根據編碼器的輸出詞向量和上一個單詞的詞向量預測下一個單詞，解碼器通過條件概率選擇當前時間序列局部最優的候選值加入單詞序列y，解碼器計算方式如公式(10)、(11)所示：

θ(y_t)＝log Pr(y_t∣y_t-1,...,y₁,x) (10)，

其中x表示編碼器的輸出向量，y_t表示在t時刻基于上一個單詞預測的詞向量，θ(y_t)表示當前詞向量的條件概率、θ(y_t)的值取決于前t-1輸出的詞向量，y[_t-1]，Θ(y_[t])表示t個詞向量的條件概率，采用Diver Beam Search集束搜索算法，將Y_[t]分成G組Y^g_[t]進行詞序列的搜索，產生多個詞序列進行選擇，其中，g∈[G]，Diver Beam Search算法中每一組有B/G個候選詞向量，引入Δ(Y_[t])懲罰因子用來保證組與組之間的差異，Diver Beam Search算法計算方式如公式(12)所示：

其中λ是控制分組的懲罰項。

2.根據權利權要求1所述的基于融合空間位置注意力機制的圖表英語摘要生成方法，其特征在于，步驟1)中所述的TransChartText的英語摘要生成模型框架設有順序連接的TransChartText Encoder模塊、Prediction Layer、TransChartText Decoder模塊、Softmax、Diverse Beam Search和Substitute variables六個單元模塊，在TransChartText Encoder模塊中，設有位置嵌入編碼和多頭注意力機制，TransChartTextEncoder第一層設有一組Relation模塊構成位置嵌入編碼模塊，每個Relation模塊輸入一個詞向量特征，通過學習與其它詞向量之間的關系來更新語義表示，在Relation模塊中，首先，對單詞r_i的詞向量特征設計注意力機制，用于獲取詞向量間空間位置注意力權重，然后，與公式(7)Q＝XW_Q,K＝XW_K,V＝XW_V中的詞向量間關系權重組合作為總的權重，最后，以這些權重融合其他詞向量之間的特征信息作為每個詞向量的語義表示其中表示詞向量r_i的空間位置關系特征，表示詞向量r_i的詞向量特征，表示詞向量r_j的空間位置關系特征，表示詞向量r_j的詞向量特征，表示詞向量r_i與其它詞向量之間的位置關系，在位置嵌入編碼模塊，對于向量r_i，1≤i≤n，計算向量r_i空間注意力權重，獲取與其它單詞的空間位置關系，并融合r_i的詞向量特征，作為向量r_i的最終語義表示進行輸出，在TransChartText Encoder模塊輸出的頂部添加一個單獨的pred layer，pred layer的輸出范圍為[0,1]，在TransChartText Decoder模塊中,完成編碼后則開始進入解碼階段，解碼階段采用多頭注意力機制每個時間步都會輸出一個輸出序列的元素，直到到達終止符號，在Softmax步驟之前，添加Masked將后面的位置特征信息隱藏，Softmax層將把TransChartText Decoder模塊輸出的特征向量映射到概率權重，權重全部為正數、各項相加和為1.0，概率最高的單元被選中，且與該概率單元相關聯的單詞將成為該步驟的輸出，TransChartText采用Softmax計算概率值、根據概率值計算條件概率選擇當前時間序列局部最優的候選值加入單詞序列y，最后，TransChartText利用Substitute variables進行變量替換，將單詞序列y轉換為單詞字母，得到最終的輸出。