[發明專利]基于TF-IDF的主題詞提取方法、裝置、設備及存儲介質

有效

• 申請號: 202110707228.4
• 申請日: 2021-06-24
• 公開（公告）號: CN113392637B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 王華東;張津烽;王軍
• 申請（專利權）人: 青島科技大學
• 主分類號: G06F40/242
• 分類號: G06F40/242;G06F40/258;G06F40/279;G06Q30/0601
• 代理公司: 北京華清迪源知識產權代理有限公司 11577
• 代理人: 胡樂

本申請公開了一種基于TF?IDF的主題詞提取方法、裝置、設備及存儲介質，屬于主題詞提取領域。該方法包括：獲取多個商品描述文本并進行分詞處理；根據目標分詞在目標文本中出現的頻率以及目標分詞的逆向文本頻率得到目標分詞的第一權值；根據目標分詞的詞性得到第二權值；根據目標分詞在目標文本中的位置得到第三權值；根據目標分詞在多個商品描述文本出現的次數得到第四權值；根據第一權值、第二權值、第三權值以及第四權值確定目標分詞的目標權值，根據目標權值得到目標文本的主題詞提取結果。本申請提高主題詞的識別提取準確率，具備一定的實際應用價值。

技術領域

本發明涉及主題詞提取領域，特別涉及一種基于TF-IDF的主題詞提取方法、裝置、設備及存儲介質。

背景技術

伴隨B2O及電商平臺的迅速發展，網上購物已然成為日常生活不可或缺的一部分。根據阿里巴巴公布的最新數據2021財年(2020年4月1日-2021年3月31日)，淘寶新增活躍商家數創下2017年以來5個財年的最高值。目前淘寶上年銷售額超過100萬元的商家，比2017年增長了50％。數據顯示，2017年以來，淘寶活躍商家數總體呈持續增長態勢。據了解，2020年3月之后的幾個月，淘寶每天平均新開店鋪達到4萬家。隨著電商產業的迅速崛起，從事電商人員增多，高校也設立了電子商務專業培養相應人才。實訓平臺的建立可為初入電商的人員提供實訓機會，為其積累經驗，防止因經驗不足造成經濟損失。商品描述的攥寫能力可直接影響商品的銷量，平臺可通過智能化算法對商品描述進行測評。通過算法查驗商品描述與商品標題的匹配度來檢測商品描述的質量可節省大量人力。

商品描述是一種特殊的短文本，這是一類簡單的說明文。商品描述中包含著商品的重要信息，這是顧客除商品標題及商品品類外更近一步獲取商品信息的方式。另外，電商的火爆程度已經達到一個前所未有的狀態每時每刻都會有海量新品出現在平臺之上。通過高效準確的主題詞的提取算法的提取結果可以在一定程度上結合字符串匹配或者相似度計算等算法對產品標題與產品描述是否相對應進行判斷，防止因粗心導致產品與產品描述搭配混亂帶來的不必要損失。

現有方法通常是采用LDA主題提取模型、TextRank關鍵詞提取算法或是LSI模型對商品描述文檔集中文本進行主題詞提取，然而現有方法在對短文本主題詞提取時的提取效果并不理想。

發明內容

基于此，本申請實施例提供了一種基于TF-IDF的主題詞提取方法及裝置，可以提高短文本主題詞的識別提取準確率。

第一方面，提供了一種基于TF-IDF的主題詞提取方法，該方法包括：

獲取多個商品描述文本，所述多個商品描述文本中包括一個目標文本；

將所述多個商品描述文本進行分詞處理，所述目標文本中包括目標分詞；

針對于同一目標分詞，根據所述目標分詞在所述目標文本中出現的頻率以及所述目標分詞的逆向文本頻率得到所述目標分詞的第一權值；

根據所述目標分詞的詞性，得到所述目標分詞的第二權值；

根據所述目標分詞在所述目標文本中的位置，得到所述目標分詞的第三權值；

根據所述目標分詞在所述多個商品描述文本出現的次數，得到所述目標分詞的第四權值；

根據所述第一權值、所述第二權值、所述第三權值以及所述第四權值確定所述目標分詞的目標權值，并根據所述目標文本中所有目標分詞的目標權值得到所述目標文本的主題詞提取結果。

在其中一個實施例中，所述根據所述目標分詞在所述目標文本中出現的頻率以及所述目標分詞的逆向文本頻率得到所述目標分詞的第一權值，包括：

根據第一公式確定所述目標分詞在所述目標文本中出現的頻率，所述第一公式包括：