[發(fā)明專利]關(guān)鍵詞提取方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010765547.6
• 申請(qǐng)日: 2020-08-03
• 公開(kāi)（公告）號(hào): CN114065731A
• 公開(kāi)（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 陳敏骎;蔣萱
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F40/216
• 分類號(hào): G06F40/216
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 周喬;王君

本申請(qǐng)公開(kāi)了一種關(guān)鍵詞提取方法和裝置。該方法包括：確定第一詞條的詞頻TF，所述第一詞條是第一文本中的詞條；確定所述第一詞條的修正逆文檔頻率MIDF；根據(jù)所述第一詞條的TF和MIDF，確定所述第一文本的關(guān)鍵詞。本申請(qǐng)的關(guān)鍵詞提取方法可以對(duì)關(guān)鍵詞提取算法中的逆文檔頻率進(jìn)行調(diào)節(jié)，提高關(guān)鍵詞提取的質(zhì)量。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及自然語(yǔ)言處理領(lǐng)域，尤其涉及一種關(guān)鍵詞提取方法和裝置。

背景技術(shù)

自然語(yǔ)言處理(natural language processing，NLP)是研究實(shí)現(xiàn)人與計(jì)算機(jī)之間通過(guò)自然語(yǔ)言進(jìn)行有效通信的一門集語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)于一體的科學(xué)，它是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域結(jié)合的一個(gè)重要方向。信息抽取(information extraction，EI)是自然語(yǔ)言處理領(lǐng)域的一個(gè)重要研究?jī)?nèi)容，信息抽取過(guò)程是將嵌入在文本中的非結(jié)構(gòu)化信息自動(dòng)提取轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)的過(guò)程。其中，關(guān)鍵詞提取(key word retrieval，KWR)可以從文本中提取出與這篇文本意義最相關(guān)的一些詞，在文本聚類、分類、自動(dòng)摘要等領(lǐng)域有著廣泛的應(yīng)用。

詞頻-逆文檔頻率(term frequency-inverse document frequency，TF-IDF)算法是一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)，常用于挖掘文章中的關(guān)鍵詞，而且算法簡(jiǎn)單高效，常被工業(yè)用于關(guān)鍵詞提取。其中，詞頻(term frequency，TF)表示某個(gè)詞條在文本中出現(xiàn)的頻率，逆文檔頻率(inverse document frequency，IDF)表示某個(gè)詞條的常見(jiàn)程度。將某個(gè)詞條的TF和IDF相乘得到該詞條的TF-IDF值。文本中TF-IDF值最高的幾個(gè)詞條即為該文本的關(guān)鍵詞。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N關(guān)鍵詞提取方法和裝置，可以提高關(guān)鍵詞提取的質(zhì)量。

第一方面，提供了一種關(guān)鍵詞提取方法，包括：確定第一詞條的詞頻TF，該第一詞條是第一文本中的詞條；確定第一詞條的修正逆文檔頻率MIDF；根據(jù)第一詞條的TF和MIDF，確定第一文本的關(guān)鍵詞。

通過(guò)對(duì)現(xiàn)有的TF-IDF算法中的逆文檔頻率進(jìn)行調(diào)整，并根據(jù)詞條的TF和MIDF值提取文本的關(guān)鍵詞，可以提高關(guān)鍵詞提取的質(zhì)量。

在一種可能的實(shí)現(xiàn)方式中，確定第一詞條的MIDF包括：根據(jù)第一函數(shù)和第一詞條的逆文檔頻率IDF確定第一詞條的MIDF，該第一函數(shù)是參數(shù)可調(diào)節(jié)的單調(diào)函數(shù)。

利用一個(gè)參數(shù)可調(diào)節(jié)的單調(diào)函數(shù)對(duì)詞條的IDF進(jìn)行修正，得到MIDF，通過(guò)調(diào)節(jié)參數(shù)值可以調(diào)節(jié)IDF的權(quán)重的大小，以根據(jù)實(shí)際業(yè)務(wù)需求獲得不同的關(guān)鍵詞提取結(jié)果。

在另一種可能的實(shí)現(xiàn)方式中，根據(jù)第一詞條的TF和MIDF，確定第一文本的關(guān)鍵詞包括：確定第一詞條的TF與MIDF的乘積；第一文本的關(guān)鍵詞是乘積最大的K個(gè)第一詞條，K為正整數(shù)。

詞條的TF和MIDF的乘積包含了該詞條在該文本中的出現(xiàn)頻率以及該詞條在語(yǔ)料庫(kù)中的常見(jiàn)程度的信息，根據(jù)該乘積的大小，選取乘積較大的詞作為文本的關(guān)鍵詞，可以得到較好的關(guān)鍵詞提取結(jié)果。

第二方面，提供了一種關(guān)鍵詞提取方法，包括：確定第一詞條的文檔頻率DF，第一詞條是第一類別的文本中的詞條，第一類別包括至少一個(gè)第一文本，至少一個(gè)第一文本中包括第一詞條；確定第一詞條的修正逆文檔頻率MIIDF；根據(jù)第一詞條的DF和MIDF確定第一類別的關(guān)鍵詞。

在上述方案中，為了計(jì)算第一類別的關(guān)鍵詞，不需要將第一類別中的所有文本合并成一個(gè)文本，從而計(jì)算第一詞條在合并文本中的TF，而是計(jì)算第一詞條的DF，避免了將所有文本合并這個(gè)不可逆過(guò)程的信息損失，提高了關(guān)鍵詞提取的質(zhì)量。

在一種可能的實(shí)現(xiàn)方式中，第一詞條的DF是第一類別中包括第一詞條的文本數(shù)與第一類別的總文本數(shù)的比值。