[發明專利]一種點評文本標簽的自動提取方案

在審

• 申請號: 202110166250.2
• 申請日: 2021-02-04
• 公開（公告）號: CN112800180A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 岑袁京
• 申請（專利權）人: 北京易車互聯信息技術有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/279;G06F40/30;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 北京棘龍知識產權代理有限公司 11740
• 代理人: 李改平

本申請公開了一種點評文本標簽的自動提取方案，包括分詞模塊：對點評文本進行分詞；詞嵌入模型：根據海量文本訓練處詞語的embedd i ng向量表示；情感極性模型：判斷文本的情感分類，以正向、負向、中性標記；得出點評結果。本申請的有益效果是：使用了機器學習的方式，自動化提取點評文本的文本標簽，在保證正確性的基礎上大大減少了人工標注的工作量，同時可挖掘詞語的內在語義含義，通過對分散的文本標簽進行聚類，減少文本標簽的類別數，增強數據的準確性，通過文本情感極性模型的引入，可以直觀地對文本進行情感分類，并通過點評文本和標簽文本的情感極性判斷，完善點評文本和標簽文本的匹配效果。

技術領域

本申請涉及一種自動提取方案，具體是一種點評文本標簽的自動提取方案。

背景技術

文本，是指書面語言的表現形式，從文學角度說，通常是具有完整、系統含義的一個句子或多個句子的組合，一個文本可以是一個句子、一個段落或者一個篇章，廣義“文本”：任何由書寫所固定下來的任何話語，狹義“文本”：由語言文字組成的文學實體，代指“作品”，相對于作者、世界構成一個獨立、自足的系統。

業界的已知的技術方案：由運營人員手動給文本打上標簽、基于規則的文本匹配和基于詞頻統計的tf-idf方案，不同的不足之處在于：隨時海量文本的發布，工作量大，成本過高、需要不斷手工添加規則，個人主觀隨意性較大和無法發掘文本中的詞語的內在語義關系。因此，針對上述問題提出一種點評文本標簽的自動提取方案。

發明內容

本申請的目的就在于為了解決上述問題而提供一種點評文本標簽的自動提取方案。

本申請通過以下技術方案來實現上述目的，一種點評文本標簽的自動提取方案，包括如下步驟：

步驟一、分詞模塊：對點評文本進行分詞；

步驟二、詞嵌入模型：根據海量文本訓練處詞語的embedding向量表示；

步驟三、情感極性模型：判斷文本的情感分類，以正向、負向、中性標記；

步驟四、得出點評結果。

優選的，所述步驟一中分詞將連續的字序列按照一定的規范重新組合成詞序列的過程，且分詞分為英文分詞和中文分詞。

優選的，所述中文分詞技術為機械分詞技術、基于統計的序列標注技術和隱式馬爾科夫模型技術，優選隱式馬爾科夫模型作為分詞模塊的主引擎。

優選的，所述隱式馬爾科夫模型基本思想為根據觀測值序列找到真正的隱藏狀態值序列，并手工收集部分特有詞語集合，使用條件隨機場，進行分詞后的順序校對。

優選的，所述詞嵌入模型機制如下：

(1)先是獲取大量文本數據；

(2)然后我們建立一個可以沿文本滑動的窗；

(3)利用這樣的滑動窗就能為訓練模型生成大量樣本數據。

優選的，所述步驟二中詞嵌入模型把自然語言中的每一個詞，表示成一個統一意義統一維度的短向量，若遇到生僻的詞時，則利用Word2Vec進行詞匯捕捉獲取。

優選的，所述Word2Vec訓練出的詞嵌入有兩個特點如下：

(1)體現了語義相似關系，如計算距離“red”最近的詞嵌入，結果就是“white”，“black”等表示顏色的單詞。

(2)體現了語義平移關系，如計算距離“woman”-“man”+“king”最近的詞嵌入，結果就是“queen”。

優選的，所述步驟三中情感極性模型按照處理文本的類別不同，可分為基于新聞評論的情感分析和基于產品評論的情感分析，基于新聞評論的情感分析對輿情監控和信息預測，基于產品評論的情感分析幫助用戶了解某一產品在大眾心目中的口碑。