[發明專利]一種融入常識知識的生成式對話摘要方法

有效

• 申請號: 202011104023.9
• 申請日: 2020-10-15
• 公開（公告）號: CN112148863B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 馮驍騁;馮夏沖;秦兵;劉挺
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/295;G06N3/04
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 岳昕

一種融入常識知識的生成式對話摘要方法，屬于自然語言處理領域。本發明解決了現有生成式對話摘要方法未利用常識知識而導致生成的對話摘要不準確，抽象性低的問題。本發明方法包括：獲取常識知識庫ConceptNet與對話摘要數據集SAMSum；利用獲取的常識知識庫ConceptNet為對話摘要數據集SAMSum引入元組知識，構建異構對話圖；練步驟三中構造的對話異構神經網絡模型，通過訓練的對話異構神經網絡模型從一段對話中生成最終對話摘要。本發明應用于對話摘要的生成。

技術領域

本發明涉及自然語言處理領域，具體涉及一種融入常識知識的生成式對話摘要方法。

背景技術

基于自然語言處理—自動文本摘要(AutomaticSummarization)^[1](題目：Constructing literature abstracts by computer:techniques and prospects，作者：Chris D Paice，年份：1990年，文獻引自Information ProcessingManagement)領域下的生成式對話摘要(Abstractive DialogueSummarization)，即給定一段多人對話的文字記錄，生成一段簡短的、包含對話關鍵信息的文本描述，如圖1，展示了一個多人對話及其對應的標準摘要。

對于對話摘要，現有工作大多集中于生成式(Abstractive)方法，即允許最終摘要包含原文沒有的新穎的詞匯和短語。例如Liu等人^[2][題目：Automatic dialogue summarygeneration for customer service，作者：Chunyi Liu，年份：2019年，文獻引自Proceedings of the 25th ACM SIGKDD International Conference on KnowledgeDiscoveryData Mining]針對客服對話摘要任務，采用多步生成方式生成對話摘要，Liu等人^[3][題目：Topic-aware pointer-generator networks for summarizing spokenconversations，作者：Zhengyuan Liu，年份：2019年，文獻引自arXiv preprint]針對醫患對話摘要任務，融入主題信息建模對話，生成最終摘要。Ganesh等人^[4][題目：Abstractivesummarization of spoken and written conversation，作者：Prakhar Ganesh，年份：2019年，文獻引自arXiv preprint]利用對話篇章結構作為規則去除對話中的無用句子，然后生成對話摘要。近期，在對話回復生成^[5][題目：Commonsense knowledge awareconversation generation with graph attention.，作者：Hao Zhou，年份：2018年，文獻引自IJCAI,]和對話上下文建模^[6][題目：Masking orchestration:Multi-taskpretraining for multi-role dialogue representation learning，作者：Tianyi Wang，年份：2020年，文獻引自AAAI]等任務中顯示，盡管目前基于神經網絡的摘要模型已經有很強的學習能力，但是現有方法忽略了常識知識的利用，一方面會導致模型無法更好的理解對話文本，生成質量低的摘要；另一方面缺少常識知識，會導致生成摘要抽象性較低。通過融入顯式的常識知識可以幫助模型更好的完成任務，融入常識知識的對話摘要可以幫助模型理解對話背后的高層含義；還可以作為不連貫句子之間的橋梁，幫助更好的理解對話。然而，現有的對話摘要系統卻忽視了常識知識的利用。

常識知識可以幫助對話摘要系統生成更高質量的摘要。如圖1，通過“接”和“車壞了”可以知道鮑勃希望湯姆讓他“搭便車”，引入顯式的常識知識“搭便車”，可以幫助更好的生成對話摘要。在融入常識知識之后，為了更好的建模說話人，句子和常識知識三類數據，可利用異構圖神經網絡建模三類數據，并生成最終摘要。