[發明專利]信息處理方法和信息處理裝置

有效

• 申請號: 201710027376.5
• 申請日: 2017-01-13
• 公開（公告）號: CN108304417B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 湯海萍;陳海勇
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/284;G06F40/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

本發明提供了一種信息處理方法和裝置，所述信息處理方法可以包括：獲取包含自然語言表述的信息；使用針對特定詞性的詞庫，處理所述信息；以及輸出經過處理的信息。根據本發明的信息處理方法和裝置通過使用基于依存句法分析和無監督聚類的產品屬性提取方法生成的屬性詞庫，來處理包含自然語言表述的信息，從而能夠準確快速地執行情感分析。

技術領域

本發明涉及信息技術領域，具體地，涉及一種信息處理方法和信息處理裝置，其中所述信息處理方法和裝置通過使用基于依存句法分析和無監督聚類的產品屬性提取方法生成的屬性詞庫，來處理包含自然語言表述的信息，從而能夠準確快速地執行情感分析。

背景技術

情感分析在是自然語言處理的基本問題之一，有著廣泛的應用領域。電商評論情感分析是情感分析的一個分支領域，在商品推薦和商品口碑等領域具有廣泛應用。產品屬性評價分析是電商情感分析的重要應用，但是在評論中經常出現針對產品同種屬性的多種說法(例如，價格、價錢和價位)，這就大大增大了產品屬性情感分析的難度。為了解決上述問題，往往通過人工定義、有監督標注或無監督標注等方式，來定義針對特定詞性(例如，產品屬性詞)的詞庫，并通過使用所述詞庫來分析包含自然語言的信息。

然而，通過人工定義的方式來定義針對特定詞性的詞庫的方法是根據專家知識定義特定詞性。這種方法需要大量人工干預，且無法解決相似詞歸一化的問題。另外，通過有監督標注的方式來定義針對特定詞性的詞庫的方法是將對特定詞性的識別作為序列標注問題。當定義產品屬性詞詞庫時，將對產品屬性的識別作為序列標注問題。例如，如果將0用于代表其他詞并將p用于代表屬性詞，則可以把屬性詞識別作為序列標注問題，諸如，將“洗衣機外觀很漂亮”的評論識別作為序列0p00。常用的序列標注算法有條件隨機場模型(crf)、隱馬模型(hmm)和最大熵(ME)。盡管這種方法可以針對特定詞性的詞建立詞庫，然而這種方法需要大量的人工標記語料。另一方面，無監督標注是采用關聯規則發現熱點詞并根據熱點詞鄰接的形容詞進一步識別其他屬性的方法。這種方法的提取精度不高，同時也無法解決屬性歸一化問題。

綜上，需要一種信息處理方法和信息處理裝置，所述信息處理方法和裝置能夠采用句法分析構造針對特定詞性詞庫，并通過使用所述詞庫來處理包含自然語言表述的信息，從而能夠更準確迅速地執行情感分析。

發明內容

本公開的方面在于解決至少上述問題和/或缺點并提供至少下述優點。

根據本發明的第一方面，提供了一種信息處理方法，可以包括：獲取包含自然語言表述的信息；使用針對特定詞性的詞庫，處理所述信息；以及輸出經過處理的信息。

優選地，所述詞庫可以是針對屬性詞的屬性詞庫，所述屬性詞庫可以是通過提取樣本自然語言表述中的屬性詞并對提取的屬性詞執行聚類來建立的。

優選地，所述提取屬性詞可以包括：通過對樣本自然語言表述執行分詞、詞性標注以及依存句法分析，選擇主語作為候選屬性詞；統計候選屬性詞的詞頻，并按照詞頻依次排列所述候選屬性詞；通過使用過濾詞典來濾除所述經排列的候選屬性詞中的非屬性詞；從保留的屬性詞中截取詞頻最頻繁的預定數量個屬性詞，作為所提取的屬性詞。

優選地，所述對提取的屬性詞執行聚類可以包括：針對所提取的屬性詞，生成詞向量；根據所生成的詞向量，計算每一屬性詞的相似屬性詞；以及如果對于所提取的屬性詞中的任意兩個屬性詞，相同的相似屬性詞的數量大于任一屬性詞的相似屬性詞的一半，則對所述兩個屬性詞執行聚類。

優選地，所述對提取的屬性詞執行聚類還可以包括：確定經聚類后的屬性詞是否具有相同的相似屬性詞；如果確定經聚類后的屬性詞存在相同的相似屬性詞，則計算所述相似屬性詞與其所屬的屬性詞的其他相似屬性詞的平均相似度；以及根據計算出的平均相似度，確定所述相似屬性詞所屬的屬性詞類別并更新所述屬性詞庫。