[發明專利]關鍵詞生成模型的建模方法和裝置

在審

• 申請號: 201910090894.0
• 申請日: 2019-01-30
• 公開（公告）號: CN109902273A
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 王健宗;賈雪麗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/27
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 林彥之

本申請提供了一種關鍵詞生成模型的建模方法和裝置，該方法包括：獲取樣本數據，該樣本數據包括樣本文本和該樣本文本的M_i個樣本關鍵詞；根據該樣本文本和該M_i個樣本關鍵詞，確定該樣本數據對應的M_i個文本?關鍵詞對，該M_i個文本?關鍵詞對中的第i個文本?關鍵詞對包括該樣本文本和第i個樣本關鍵詞；根據該M_i個文本?關鍵詞對和編碼器?解碼器模型，建立該關鍵詞生成模型，其中，該編碼器?解碼器模型包括編碼器模型和解碼器模型，該關鍵詞生成模型用于表示該樣本文本中的詞語序列和樣本關鍵詞中的詞語序列之間的映射關系。采用本申請提供的關鍵詞生成模型的建模方法和裝置，能夠建立有效提取文本關鍵詞的模型。

技術領域

本申請涉及智能決策領域，并且更具體地，涉及智能決策領域中關鍵詞生成模型的建模方法和裝置。

背景技術

關鍵詞是一段簡短的總結性內容，表達了較長文本的主要語義含義。關鍵詞的典型用法是在科學出版物中提供論文的核心信息。高質量的關鍵短語可以幫助理解，組織和訪問文檔內容。

現有技術中，通常通過以下兩種方法提取文本中的關鍵詞:

第一種思路是利用統計信息，典型的有TF-IDF方法，通過計算文本中詞的出現頻率，以及在整個文檔庫中的出現頻率來確定詞的關鍵程度；第二中思路是利用語義信息，比如keygraph算法，通過建立文本的圖表達來發現文本中字的聚類，從而獲得最能表現這段文字的字，作為關鍵詞。

RNN(遞歸神經網絡)組合Encoder-Decoder(編碼解碼器)的模型作為一種端對端的模型，為變長的語句建模提供了強大的工具，在自然語言處理領域有有著廣泛的應用。

因此，如何建立能夠從文本中提取出高質量關鍵詞的關鍵件詞生成模型是一個亟待解決的問題。

發明內容

本申請提供一種關鍵詞生成模型的建模方法和裝置，能夠建立有效提取文本關鍵詞的模型。

為實現上述目的，本申請提供一種關鍵詞生成模型的建模方法，包括以下內容：

獲取樣本數據，所述樣本數據包括樣本文本和所述樣本文本的M_i個樣本關鍵詞，所述樣本文本包括和每個樣本關鍵詞均為詞語序列，M_i為大于1的整數；

根據所述樣本文本和所述M_i個樣本關鍵詞，確定所述樣本數據對應的M_i個文本-關鍵詞對，所述M_i個文本-關鍵詞對中的第i個文本-關鍵詞對包括所述樣本文本和第i個樣本關鍵詞，i為大于0且小于或等于M_i的整數；

根據所述M_i個文本-關鍵詞對和編碼器-解碼器模型，建立所述關鍵詞生成模型，其中，所述編碼器-解碼器模型包括編碼器模型和解碼器模型，所述關鍵詞生成模型用于表示所述樣本文本中的詞語序列和樣本關鍵詞中的詞語序列之間的映射關系。

在一種可能的實現方式中，所述方法還包括：獲取目標文本，所述目標文本為詞語序列；根據所述目標文本和所述關鍵詞生成模型，生成所述目標文本的目標關鍵詞。

在一種可能的實現方式中，根據所述目標文本和所述關鍵詞生成模型，生成所述目標文本的目標關鍵詞，包括：根據所述編碼器模型對所述目標文本進行編碼，得到隱藏表達式；根據所述隱藏表達式和預設的非線性函數，得到上下文向量；根據所述解碼器模型對所述上下文向量進行解編碼，得到所述目標關鍵詞。

在一種可能的實現方式中，根據所述目標文本和所述關鍵詞生成模型，生成所述目標文本的目標關鍵詞，包括：根據所述編碼器模型對所述目標文本進行編碼，得到隱藏表達式；根據所述隱藏表達式和所述隱藏表達式中每個詞語序列的權重，得到上下文向量；根據所述解碼器模型對所述上下文向量進行解編碼，得到所述目標關鍵詞。