[發(fā)明專利]文本關(guān)鍵詞生成方法及裝置和電子設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710352473.1
• 申請(qǐng)日: 2017-05-18
• 公開（公告）號(hào): CN107168954B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 余咸國
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F40/289;G06K9/62
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;項(xiàng)京

1.一種文本關(guān)鍵詞生成方法，其特征在于，包括：

獲取待檢測(cè)文本，對(duì)所述待檢測(cè)文本中的每一個(gè)字符進(jìn)行向量表示，得到所述待檢測(cè)文本的字符矩陣；

將所述待檢測(cè)文本的字符矩陣輸入預(yù)先建立的關(guān)鍵詞模型，得到所述待檢測(cè)文本的字符矩陣對(duì)應(yīng)的關(guān)鍵詞矩陣；

計(jì)算所述關(guān)鍵詞矩陣中的每一個(gè)字符向量和向量模型中的字符向量的相似度，根據(jù)所述相似度獲取所述待檢測(cè)文本的關(guān)鍵詞，其中，所述向量模型包括：字符和所述字符對(duì)應(yīng)的字符向量。

2.根據(jù)權(quán)利要求1所述的文本關(guān)鍵詞生成方法，其特征在于，在所述獲取待檢測(cè)文本之前，所述方法還包括：

構(gòu)建訓(xùn)練數(shù)據(jù)；

對(duì)所述訓(xùn)練數(shù)據(jù)中每一個(gè)樣本文本中的每一個(gè)字符進(jìn)行向量表示，得到所述每一個(gè)樣本文本的字符矩陣；

對(duì)所述訓(xùn)練數(shù)據(jù)中每一個(gè)樣本文本對(duì)應(yīng)的關(guān)鍵詞中的每一個(gè)字符進(jìn)行向量表示，得到所述每一個(gè)樣本文本的關(guān)鍵詞矩陣；

根據(jù)所述每一個(gè)樣本文本的字符矩陣和所述每一個(gè)樣本文本的關(guān)鍵詞矩陣的對(duì)應(yīng)關(guān)系，通過長短期記憶LSTM神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，建立所述關(guān)鍵詞模型。

3.根據(jù)權(quán)利要求2所述的文本關(guān)鍵詞生成方法，其特征在于，所述構(gòu)建訓(xùn)練數(shù)據(jù)，包括：

獲取多個(gè)待訓(xùn)練文本，對(duì)所述多個(gè)待訓(xùn)練文本中的每一個(gè)待訓(xùn)練文本進(jìn)行過濾，得到多個(gè)待處理文本；

對(duì)所述多個(gè)待處理文本中的每一個(gè)待處理文本進(jìn)行長度設(shè)置，得到所述樣本文本；

根據(jù)所述每一個(gè)樣本文本的長度，以及預(yù)先建立的文本長度和關(guān)鍵詞個(gè)數(shù)的對(duì)應(yīng)關(guān)系，提取所述每一個(gè)樣本文本中的關(guān)鍵詞；

建立所述樣本文本和所述樣本文本中關(guān)鍵詞的對(duì)應(yīng)關(guān)系。

4.根據(jù)權(quán)利要求3所述的文本關(guān)鍵詞生成方法，其特征在于，所述對(duì)所述多個(gè)待訓(xùn)練文本中的每一個(gè)待訓(xùn)練文本進(jìn)行過濾，包括：

刪除所述每一個(gè)待訓(xùn)練文本中的數(shù)字字符和標(biāo)點(diǎn)符號(hào)；和/或，

刪除所述每一個(gè)待訓(xùn)練文本中出現(xiàn)次數(shù)小于預(yù)設(shè)閾值的詞語。

5.根據(jù)權(quán)利要求3所述的文本關(guān)鍵詞生成方法，其特征在于，所述對(duì)所述多個(gè)待處理文本中的每一個(gè)待處理文本進(jìn)行長度設(shè)置，包括：

在所述待處理文本的長度小于預(yù)設(shè)下限閾值時(shí)，在所述待處理文本中添加預(yù)設(shè)字符，使所述待處理文本的長度等于預(yù)設(shè)下限閾值；

在所述待處理文本的長度大于預(yù)設(shè)上限閾值時(shí)，對(duì)所述待處理文本進(jìn)行截短處理，使所述待處理文本的長度等于預(yù)設(shè)上限閾值。

6.根據(jù)權(quán)利要求2所述的文本關(guān)鍵詞生成方法，其特征在于，所述對(duì)所述訓(xùn)練數(shù)據(jù)中每一個(gè)樣本文本中的每一個(gè)字符進(jìn)行向量表示，得到所述每一個(gè)樣本文本的字符矩陣，包括：

對(duì)所述每一個(gè)樣本文本進(jìn)行文本倒序，得到倒序的樣本文本；

對(duì)所述倒序的樣本文本中的每一個(gè)字符進(jìn)行向量表示，得到所述倒序的樣本文本的字符矩陣；

所述根據(jù)所述每一個(gè)樣本文本的字符矩陣和所述樣本文本中關(guān)鍵詞的對(duì)應(yīng)關(guān)系，通過LSTM神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，建立所述關(guān)鍵詞模型，包括：

根據(jù)所述倒序的樣本文本的字符矩陣和所述樣本文本中關(guān)鍵詞的對(duì)應(yīng)關(guān)系，通過LSTM神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，建立所述關(guān)鍵詞模型。

7.根據(jù)權(quán)利要求1所述的文本關(guān)鍵詞生成方法，其特征在于，所述獲取待檢測(cè)文本，包括：

刪除文本數(shù)據(jù)中的數(shù)字字符和標(biāo)點(diǎn)符號(hào)，得到所述待檢測(cè)文本。

8.根據(jù)權(quán)利要求1所述的文本關(guān)鍵詞生成方法，其特征在于，所述計(jì)算所述關(guān)鍵詞矩陣中的每一個(gè)字符向量和向量模型中的字符向量的相似度，根據(jù)所述相似度獲取所述待檢測(cè)文本的關(guān)鍵詞，包括：

計(jì)算所述關(guān)鍵詞矩陣中的每一個(gè)字符向量和所述向量模型中的字符向量的余弦值；

將每一個(gè)余弦值中最大值對(duì)應(yīng)的所述向量模型中的字符作為目標(biāo)字符，依次獲取所述目標(biāo)字符，得到所述待檢測(cè)文本的關(guān)鍵詞。