[發明專利]一種基于主題感知的跨模態序列到序列生成方法

有效

• 申請號: 202011241616.X
• 申請日: 2020-11-09
• 公開（公告）號: CN112507064B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 王旭強;張旭;鄭陽;楊青
• 申請（專利權）人: 國網天津市電力公司;國家電網有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/30;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 天津創智天誠知識產權代理事務所(普通合伙) 12214
• 代理人: 陳昌娟

本發明公開了一種基于主題感知的跨模態序列到序列生成方法，包括：1、利用雙向長短期記憶網絡學習數據表中的每個記錄的上下文語義表示，得到數據記錄的隱藏向量表示序列；2、根據數據表標題與數據表對應的文本學習各主題對應的詞分布并通過對詞的向量表示加權求和，得到主題的向量表示；3、基于步驟1中編碼層得到的數據記錄的隱藏向量表示序列及步驟2中得到的主題表示，使用基于注意力機制的LSTM結構作為解碼器生成分析性文本；4、構建損失函數對步驟1?3中的模型參數進行優化；5、在推理過程中對于給定的數據表，利用集束搜索來近似地得到最佳的文本生成結果。該方法能增強數據表和生成文本的主題一致性，提升生成文本的質量。

技術領域

本發明涉及數據處理領域，特別是涉及一種基于主題感知的跨模態序列到序列生成方法。

背景技術

隨著大數據時代的到來，各行各業逐漸積累了海量的行業數據。這些數據與人類社會的生產管理息息相關，是各領域分析研究的主要對象。在這些行業數據中，結構化數據因其具有格式簡單、便于記錄與存儲的特點成為最常見的一種數據形式，例如公司的財務報表、設備傳感器記錄等。然而，結構化數據又通常具有很強的領域性，缺乏行業知識的人很難理解其數值與指標背后的含義。因此，如何準確高效地傳達結構化數據中蘊含的語義信息是一個重要的跨模態生成任務。該任務旨在基于給定的結構化數據來生成非結構化的文本，并通常被稱為數據到文本生成任務。

為了解決該任務，早期的研究工作主要通過人工規則、模塊式系統等方式來生成文本。這些方法通常將數據到文本任務分解為內容規劃、句子規劃以及表層實現三個獨立的子任務，并串行地執行這三個子任務以實現從結構化數據模態到非結構化文本模態的生成。這種方法雖然結構簡單并且易于理解，但是存在錯誤傳遞、模型性能嚴重依賴手工特征的有效性等問題。

隨著深度學習技術的發展，近期的研究工作主要采用端到端的學習方式，通過數據驅動的形式進行模型的訓練，避免繁瑣的人工規則，并使得生成結果更靈活多樣。這類方法通常先采用一個編碼層將結構化數據映射到低維、稠密的語義向量空間，隨后采用一個解碼層基于該語義空間生成非結構化的文本，從而實現跨模態的文本生成。例如，Mei等在編碼器-解碼器框架中引入復制機制來提升內容選擇的效果(Hongyuan Mei,MohitBansal,Matthew R.Walter.What to talk about and how？selective generation usingLSTMs with coarse-to-fine alignment[C]//.NAACL.San Diego California,USA.2016:720-730)。Li等采用兩階段的方式生成數據表對應的文本(Liunian Li,XiaojunWan.Point precisely:towards ensuring the precision of data in generated textsusing delayed copy mechanism[C]//.COLING.Santa Fe,New Mexico,USA.2018:1044-1055)，該方法在第一階段僅生成文本的模板，在第二階段采用復制機制填入記錄中的數值，提升數值生成的準確性。Wiseman等關注數據到文檔的生成，并在seq2seq模型中引入復制機制和損失重構機制(Sam Wiseman,Stuart M.Shieber,Alexander M.Rush.Challengesin data-to-document generation[C]//.EMNLP.Copenhagen,Denmark.2017:2253–2263)。Iso等構建了內容追蹤模塊，在生成文本的過程中通過跟蹤數據記錄來提升文本的真實性并減少冗余(Hayate Iso,Yui Uehara,Tatsuya Ishigaki,et al.Learning to select,track,and generate for data-to-text.[C]//.ACL.Florence,Italy.2019:2102-2113)。Puduppully等在模型中顯式地增加內容選擇和內容規劃模塊，提升模型的內容組織能力(Ratish Puduppully,Li Dong,Mirella Lapata.Data-to-text generation withcontent selection and planning[C]//.AAAI.Honolulu,Hawaii,USA.2019:6908-6915)。同年，Puduppully等人還提出了基于實體建模的生成模型，通過建模實體之間的轉移關系，提升模型的內容組織能力(Ratish Puduppully,Li Dong,Mirella Lapata.Data-to-textgeneration with entity modeling[C]//.ACL.Florence,Italy.2019:2023-2035.)。雖然上述方法在很大程度上提升了文本生成質量，但它們通常僅關注于提升文本的流暢性與內容組織能力，而忽略了對數據的數值編碼，以及對數據和文本之間主題一致性的建模。