[發(fā)明專利]一種電商評論情感分析降噪的方法和裝置

有效

• 申請?zhí)枺?/td>: 201810981948.8
• 申請日: 2018-08-27
• 公開（公告）號: CN109255027B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 李平章;王航
• 申請（專利權(quán)）人: 上海寶尊電子商務(wù)有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/289;G06F40/247;G06F40/242;G06Q30/02
• 代理公司: 上海卓陽知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31262
• 代理人: 金重慶

1.一種電商評論情感分析降噪方法，其特征在于，所述方法電商評論情感分析降噪方法包括以下步驟：

步驟S1、預(yù)打標(biāo)模塊的構(gòu)建；其中，步驟S1包括以下步驟S11：

步驟S11、建立情感詞庫標(biāo)簽，將情感詞匹配到情感標(biāo)簽，增加“無效標(biāo)簽”對應(yīng)詞匯，將標(biāo)簽導(dǎo)出到文本；

步驟S2、人工標(biāo)注模塊的構(gòu)建；

步驟S3、深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練模塊的構(gòu)建；

步驟S4、深度神經(jīng)網(wǎng)絡(luò)模型標(biāo)注模塊的構(gòu)建；其中，步驟S4包括以下步驟S41-S43：

S41、將評論數(shù)據(jù)分句，每個子句做為輸入文本；

S42、讀取訓(xùn)練模型，將子句文本轉(zhuǎn)化為標(biāo)簽分類概率，取大于0.5概率的標(biāo)簽；

S43、將子句組合成原句，并保存子句標(biāo)簽；

步驟S5、降噪模塊的構(gòu)建；其中，步驟S5包括以下步驟S51-S56：

步驟S51、將同一句子中多個重復(fù)標(biāo)簽去重，具體方法為，同一評論由多個子句組成，標(biāo)簽為每個子句的標(biāo)簽匯總，當(dāng)含有多個同樣的標(biāo)簽時，只取一個；

步驟S52、去掉包含“無效標(biāo)簽”的句子的所有標(biāo)簽，具體方法為，同一評論由多個子句組成，標(biāo)簽為每個子句的標(biāo)簽匯總，當(dāng)這些標(biāo)簽中含有“無效標(biāo)簽”時，刪除該評論所有標(biāo)簽；

步驟S53、一條評論含有一個或多個標(biāo)簽，按照標(biāo)簽累計值計算情感值之和，根據(jù)情感值計算好中差評，大于0為好評，等于0為中評，小于0為差評；

步驟S54、統(tǒng)計所有用戶評論數(shù)大于1的評論，計算用戶的差評率，做聚類分析，去除差評率高于閾值的用戶數(shù)據(jù)；

步驟S55、按同品牌，用戶差評數(shù)統(tǒng)計，循環(huán)判斷差評數(shù)用戶占比，當(dāng)某品牌差評數(shù)大于4的用戶占比低于閾值百分之一時，則去掉該差評數(shù)的用戶的評論數(shù)據(jù)，結(jié)束循環(huán)；

S56、按每條評論的情感值的絕對值進行均值統(tǒng)計，當(dāng)均值大于3的用戶占比小于閾值百分之一時，將高于該均值的用戶均值設(shè)定為3，結(jié)束循環(huán)；

步驟S6、情感分析模塊的構(gòu)建。

2.根據(jù)權(quán)利要求1所述電商評論情感分析降噪方法，其特征在于，步驟S1具體還包括以下步驟：

步驟S12、批量讀取評論數(shù)據(jù)，逐句將評論數(shù)據(jù)分詞，根據(jù)情感詞庫關(guān)鍵字匹配分詞結(jié)果，匹配到的結(jié)果按標(biāo)簽進行機器標(biāo)注，一句評論可有多個標(biāo)簽，按行生成文本；

步驟S2具體包括以下步驟：

S21、將步驟S11和步驟S12的文本導(dǎo)入到人工標(biāo)注平臺；

S22、標(biāo)注平臺可展現(xiàn)當(dāng)前文本打標(biāo)結(jié)果，人工進行校驗，如標(biāo)簽沒問題，點擊保存通過，標(biāo)簽錯誤可刪除，缺少標(biāo)簽可添加，保存；

S23、將標(biāo)注完的結(jié)果導(dǎo)出文本，結(jié)果類似S12，是人工校驗后的結(jié)果；

步驟S3具體包括以下步驟：

S31、將S23的數(shù)據(jù)使用卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，使用訓(xùn)練好的詞向量，將分詞結(jié)果轉(zhuǎn)換為詞向量；

S32、將轉(zhuǎn)換后的詞向量，使用2或3或4或5四種過濾器，分別做卷積與最大池化；

S33、定義損失函數(shù)，做全連接層進行softmax回歸輸出多分類概率；

S34、使用Adam優(yōu)化算法訓(xùn)練，保存模型；

步驟S6具體包括以下步驟：

S61、按商品做情感統(tǒng)計；

S62、按品牌做情感統(tǒng)計。

3.根據(jù)權(quán)利要求1所述電商評論情感分析降噪方法，其特征在于，所述步驟S11中，將情感詞匹配成情感標(biāo)簽，情感詞與情感標(biāo)簽的關(guān)系為多對一，增加“無效標(biāo)簽”對應(yīng)灌水評論。

4.根據(jù)權(quán)利要求1所述電商評論情感分析降噪方法，其特征在于，所述步驟S51中，通過標(biāo)簽去重，設(shè)計了一個方法，將同一評論分成子句打標(biāo)簽，再將每個子句的標(biāo)簽匯總，當(dāng)含有多個同樣的標(biāo)簽時，只取一個。

5.根據(jù)權(quán)利要求1所述電商評論情感分析降噪方法，其特征在于，所述步驟S52中，去掉包含“無效標(biāo)簽”的句子的標(biāo)簽，設(shè)計了鑒別灌水的方法，無論評論中包含了多少個正常的情感，一旦評論中包含有“無效標(biāo)簽”，其他的情感標(biāo)簽都無效，去掉所有標(biāo)簽。

6.根據(jù)權(quán)利要求1所述電商評論情感分析降噪方法，其特征在于，所述步驟S53中，設(shè)計了統(tǒng)計情感指數(shù)的兩個方式，標(biāo)簽累計值為該評論的情感值，并按正中負(fù)定義好評中評差評。