[發明專利]基于復雜數據類型的FAQ知識庫自動生成方法和裝置

有效

• 申請號: 202011637578.X
• 申請日: 2020-12-31
• 公開（公告）號: CN112800177B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 郭司緒;錢泓錦;楊玉樹;劉占亮;竇志成;曹崗;文繼榮
• 申請（專利權）人: 北京智源人工智能研究院
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F16/951;G06K9/62
• 代理公司: 北京動力號知識產權代理有限公司 11775
• 代理人: 梁艷;白婉露

本發明公開了一種基于復雜數據類型的FAQ知識庫自動生成方法和裝置。該方法包括：識別文檔中不同格式的數據，所述不同格式的數據包括段落型文本數據、普通文本數據和非文本數據；對所述段落型文本數據進行模式識別，生成標題字段和內容字段；對所述非文本數據進行自然語言生成處理，得到自然語言文本；根據所述標題字段和內容字段生成第一問答對集合，根據所述自然語言文本和普通文本數據生成第二問答對集合；將所述第一問答對集合和第二問答對集合加入所述FAQ知識庫。采用本發明提供的方案，可以將不同格式的文檔數據進行集成整合，生成的問答對可覆蓋更全面、更廣泛的信息，從而更加適應現實情況中更加靈活多變的問答場景。

技術領域

本發明涉及智能政務技術領域，尤其涉及一種基于復雜數據類型的FAQ知識庫自動生成方法和裝置。

背景技術

政務自動問答系統的構建需要基于海量的政務數據，然而政務數據的類型多種多樣，不僅涉及到段落型文本數據，還涉及到表格，圖片，地圖，多媒體等各類實時與非實時的多種格式隨機組合的公開數據。比如，一篇政務新聞可能包含標題，說明性段落，配圖，表格等，而瀏覽者可能會基于說明性段落和表格相結合的信息提出問題，或者瀏覽者關心的問題包含在文檔標題中，但是答案卻包含在配圖/表格中。所以，當一篇文檔包含多種格式的數據，且答案與問題可能以不同的數據格式進行呈現時，構建政務自動問答系統就面臨著基于多種數據格式生成QA(問答)對的問題。

目前，問題生成的子領域諸如基于知識庫的問題生成(KBQG)，視覺問題生成(VQG)，以及基于表格的問題生成都取得了一定的進展，但如何在垂直領域FAQ(FrequentlyAsked Questions常見問題解答)知識庫建立階段，打破不同數據格式之間的局限，更加靈活的生成多樣化，高質量的QA對，仍然是一項比較重大的挑戰。

發明內容

為了解決現有技術中存在的問題，本發明提供了如下技術方案。

本發明一方面提供了一種基于復雜數據類型的FAQ知識庫自動生成方法，包括：

識別文檔中不同格式的數據，所述不同格式的數據包括段落型文本數據、普通文本數據和非文本數據；

對所述段落型文本數據進行模式識別，生成標題字段和內容字段；

對所述非文本數據進行自然語言生成處理，得到自然語言文本；

根據所述標題字段和內容字段生成第一問答對集合，根據所述自然語言文本和普通文本數據生成第二問答對集合；

將所述第一問答對集合和第二問答對集合加入所述FAQ知識庫。

優選地，所述非文本數據包括表格數據、圖像數據和/或視頻數據。

優選地，所述對所述非文本數據進行自然語言生成處理，得到自然語言文本包括：

對于表格數據，使用預先訓練的表格模型生成所述自然語言文本；

對于圖像數據，識別所述圖像數據中的文字，并基于圖像識別生成自然語言描述，組合上述文字和自然語言描述生成所述自然語言文本；

對于視頻數據，根據預先訓練的視頻模型生成所述自然語言文本。

優選地，在生成第一問答對集合和第二問答對集合之前，還包括：對所述模式識別的結果和自然語言生成處理的結果進行評測和篩選。

優選地，所述根據所述標題字段和內容字段生成第一問答對集合包括：

根據標題字段生成問題，根據內容字段生成答案；

組合所述問題和答案，生成第一問答對集合。

優選地，所述根據所述自然語言文本和普通文本數據生成第二問答對集合包括：