[發(fā)明專利]基于word2vec算法的新評論對象識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610009698.2
• 申請日: 2016-01-05
• 公開（公告）號: CN105447206B
• 公開（公告）日: 2017-04-05
• 發(fā)明（設(shè)計）人: 吳揚;王平;石增華
• 申請（專利權(quán)）人: 深圳市中易科技有限責(zé)任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 深圳市科吉華烽知識產(chǎn)權(quán)事務(wù)所(普通合伙)44248
• 代理人: 于標(biāo)

1.一種基于word2vec算法的新評論對象識別方法，其特征在于，包括如下步驟：

數(shù)據(jù)獲取步驟，獲取網(wǎng)頁上的評論數(shù)據(jù)；

評論數(shù)據(jù)處理步驟，對評論數(shù)據(jù)進行分詞、詞性標(biāo)注、及去停用詞處理從而得到分詞結(jié)果；

計算詞向量步驟，使用word2vec算法，輸入分詞結(jié)果，計算評論數(shù)據(jù)中每個詞的詞向量；

觀點提取步驟，使用種子詞典結(jié)合觀點提取規(guī)則處理評論數(shù)據(jù)，獲得觀點提取結(jié)果，觀點提取結(jié)果包括評論對象和評論觀點信息；

新評論對象獲取步驟，結(jié)合評論數(shù)據(jù)和觀點提取結(jié)果，使用CRF模型發(fā)現(xiàn)新評論對象，并將新評論對象添加到新詞候選集中；

過濾步驟，使用詞向量和過濾規(guī)則對新詞候選集中的評論對象進行過濾，形成新詞詞集；

更新步驟，將新詞詞集中的評論對象添加到種子詞典中，從而更新種子詞典；

重復(fù)依次執(zhí)行觀點提取步驟、新評論對象獲取步驟、過濾步驟、和更新步驟，直到不出現(xiàn)新評論對象或達到迭代次數(shù)后，執(zhí)行觀點提取步驟，從而得到最新的觀點提取結(jié)果。

2.根據(jù)權(quán)利要求1所述的新評論對象識別方法，其特征在于，在所述新評論對象獲取步驟中包括如下步驟：

(1).構(gòu)造訓(xùn)練語料步驟，從觀點提取結(jié)果中得到評論對象，生成CRF模型的訓(xùn)練語料；

(2).訓(xùn)練集建立步驟，建立交叉驗證訓(xùn)練集，并使用交叉驗證方法把訓(xùn)練語料分成規(guī)定份數(shù)，并按規(guī)定比例組合成訓(xùn)練集和測試集，然后對訓(xùn)練集和測試集分別進行訓(xùn)練，從而得到CRF模型；

(3).提取步驟，使用CRF模型進行新評論對象提取；

(4).交叉訓(xùn)練判斷步驟，判斷是否完成交叉訓(xùn)練，如果是，那么執(zhí)行步驟(5)，否則執(zhí)行步驟(3)；

(5).新詞候選集生成步驟，生成新詞候選集，并將新評論對象添加到新詞候選集中。

3.根據(jù)權(quán)利要求1所述的新評論對象識別方法，其特征在于，在所述過濾步驟中包括如下步驟：

A.計算相似度步驟，計算新詞候選集中的新評論對象與種子詞典中的分類中心詞的相似度；

B.處理判斷步驟，若相似度高于閾值且新詞候選集中的新評論對象不在種子詞典內(nèi)，那么執(zhí)行步驟C，否則從新詞候選集中將該新評論對象刪除后再執(zhí)行步驟C；

C.判斷是否完成對新詞候選集的過濾，若是，那么執(zhí)行步驟D，否則執(zhí)行步驟A；

D.將新詞候選集中的評論對象添加到新詞詞集中。