[發(fā)明專利]基于TF-IDF的主題詞提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110707228.4
• 申請(qǐng)日: 2021-06-24
• 公開（公告）號(hào): CN113392637B
• 公開（公告）日: 2023-02-07
• 發(fā)明（設(shè)計(jì)）人: 王華東;張津烽;王軍
• 申請(qǐng)（專利權(quán)）人: 青島科技大學(xué)
• 主分類號(hào): G06F40/242
• 分類號(hào): G06F40/242;G06F40/258;G06F40/279;G06Q30/0601
• 代理公司: 北京華清迪源知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 胡樂(lè)

1.一種基于TF-IDF的主題詞提取方法，其特征在于，所述方法包括：

獲取多個(gè)商品描述文本，所述多個(gè)商品描述文本中包括一個(gè)目標(biāo)文本；

將所述多個(gè)商品描述文本進(jìn)行分詞處理，所述目標(biāo)文本包括目標(biāo)分詞；

針對(duì)于同一目標(biāo)分詞，根據(jù)所述目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的頻率以及所述目標(biāo)分詞的逆向文本頻率得到所述目標(biāo)分詞的第一權(quán)值；

根據(jù)所述目標(biāo)分詞的詞性，得到所述目標(biāo)分詞的第二權(quán)值；

根據(jù)所述目標(biāo)分詞在所述目標(biāo)文本中的位置，得到所述目標(biāo)分詞的第三權(quán)值；

根據(jù)所述目標(biāo)分詞在所述多個(gè)商品描述文本出現(xiàn)的次數(shù)，得到所述目標(biāo)分詞的第四權(quán)值；

根據(jù)所述第一權(quán)值、所述第二權(quán)值、所述第三權(quán)值以及所述第四權(quán)值確定所述目標(biāo)分詞的目標(biāo)權(quán)值，并根據(jù)所述目標(biāo)文本中所有目標(biāo)分詞的目標(biāo)權(quán)值得到所述目標(biāo)文本的主題詞提取結(jié)果；

所述根據(jù)所述目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的頻率以及所述目標(biāo)分詞的逆向文本頻率得到所述目標(biāo)分詞的第一權(quán)值，包括：

根據(jù)第一公式確定所述目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的頻率，所述第一公式包括：

其中，TF表示所述目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的頻率，n_i,j表示所述目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的次數(shù)，∑n_k,j表示所述目標(biāo)文本中的分詞總數(shù)；

根據(jù)第二公式確定所述目標(biāo)分詞的逆向文本頻率，所述第二公式包括：

其中，IDF表示所述目標(biāo)分詞的逆向文本頻率，D表示所述多個(gè)商品描述文本的文本總數(shù)，|{j:t_i∈d_j}|表示包含所述目標(biāo)分詞的商品描述文本數(shù)目；

根據(jù)所述目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的頻率以及所述目標(biāo)分詞的逆向文本頻率得到所述目標(biāo)分詞的第一權(quán)值，包括：

根據(jù)第三公式確定所述目標(biāo)分詞第一權(quán)值，所述第三公式包括：

T_i＝TF_i×IDF_i

其中，T_i表示第i個(gè)目標(biāo)分詞的第一權(quán)值，TF_i表示第i個(gè)目標(biāo)分詞在所述目標(biāo)文本中出現(xiàn)的頻率，IDF_i表示第i個(gè)目標(biāo)分詞的逆向文本頻率；

所述根據(jù)所述目標(biāo)分詞的詞性，得到所述目標(biāo)分詞的第二權(quán)值，包括：

確定不同的詞性權(quán)重，根據(jù)所述不同的詞性權(quán)重得到所述目標(biāo)分詞的第二權(quán)值；

所述根據(jù)所述目標(biāo)分詞在所述目標(biāo)文本中的位置，得到所述目標(biāo)分詞的第三權(quán)值，包括：

根據(jù)第四公式確定所述目標(biāo)分詞的第三權(quán)值，所述第四公式包括：

其中，Pos_i表示目標(biāo)分詞在句子中的位置，Address_len_i表示目標(biāo)分詞所在句子的長(zhǎng)度，Weight_Pos_i表示所述目標(biāo)分詞第三權(quán)值；

所述根據(jù)所述目標(biāo)分詞在所述多個(gè)商品描述文本出現(xiàn)的次數(shù)，得到所述目標(biāo)分詞的第四權(quán)值，包括：

根據(jù)第五公式確定所述目標(biāo)分詞的第四權(quán)值，所述第五公式包括：

其中，Num_W_i表示所述目標(biāo)分詞Word_i出現(xiàn)在所述多個(gè)商品描述文本出現(xiàn)的總次數(shù)，Num_D_i表示所述目標(biāo)分詞在所述多個(gè)商品描述文本出現(xiàn)的文本數(shù)，F(xiàn)req(Word_i)表示所述目標(biāo)分詞的第四權(quán)值；

所述根據(jù)所述第一權(quán)值、所述第二權(quán)值、所述第三權(quán)值以及所述第四權(quán)值確定所述目標(biāo)分詞的目標(biāo)權(quán)值，包括：

根據(jù)第六公式確定所述目標(biāo)分詞的目標(biāo)權(quán)值，所述第六公式包括：

其中，N_i表示目標(biāo)分詞i的目標(biāo)權(quán)值，T_i表示第一權(quán)值，P_i表示第二權(quán)值，W_i表示所述第三權(quán)值，F(xiàn)_i表示所述第四權(quán)值。