[發(fā)明專利]一種面向商品目標(biāo)詞的情感傾向分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710543480.X
• 申請(qǐng)日: 2017-07-05
• 公開(kāi)（公告）號(hào): CN107544957A
• 公開(kāi)（公告）日: 2018-01-05
• 發(fā)明（設(shè)計(jì)）人: 何慧;冷永才;胡然;焦?jié)櫤?/a>;張瑩
• 申請(qǐng)（專利權(quán)）人: 華北電力大學(xué)
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27
• 代理公司: 北京眾合誠(chéng)成知識(shí)產(chǎn)權(quán)代理有限公司11246
• 代理人: 張文寶

1.一種面向商品目標(biāo)詞的情感傾向分析方法，其特征在于，包括步驟如下：

步驟1，語(yǔ)料預(yù)處理，將數(shù)據(jù)集進(jìn)行分詞，將每個(gè)句子分割成兩個(gè)句子，把類(lèi)別標(biāo)簽按照類(lèi)別個(gè)數(shù)轉(zhuǎn)換成向量形式；

步驟2，詞向量訓(xùn)練，把分詞后評(píng)論數(shù)據(jù)通過(guò)CBOW模型訓(xùn)練得到詞向量；

步驟3，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使用LSTM網(wǎng)絡(luò)模型結(jié)構(gòu)使網(wǎng)絡(luò)注重整句內(nèi)容，上下文之間語(yǔ)義；

步驟4，評(píng)論句情感分類(lèi)，將神經(jīng)網(wǎng)絡(luò)輸出作為Softmax函數(shù)的輸入，得到最后結(jié)果。

2.根據(jù)權(quán)利要求1所述一種面向商品目標(biāo)詞的情感傾向分析方法，其特征在于，所述步驟1語(yǔ)料預(yù)處理，在數(shù)據(jù)集中每個(gè)完整的數(shù)據(jù)由三行組成，第一行是評(píng)論數(shù)據(jù)，其中每個(gè)評(píng)論數(shù)據(jù)中都有一個(gè)“$”符號(hào)，該符號(hào)代表此句的目標(biāo)詞，第二行是該評(píng)論的目標(biāo)詞，該目標(biāo)詞是一個(gè)或者多個(gè)詞，第三行是評(píng)論的類(lèi)別標(biāo)簽，即0、1、2分別代表負(fù)面、中立、正面；把第一行評(píng)論中的“$”換成第二行的評(píng)論目標(biāo)詞，然后將每個(gè)完整的評(píng)論句準(zhǔn)確切割為一個(gè)個(gè)詞或者詞語(yǔ)，即分詞：按照目標(biāo)詞的最后一個(gè)詞在評(píng)論句中的位置把句子分成兩個(gè)部分，即目標(biāo)詞之前的句子，目標(biāo)詞之后的句子，在神經(jīng)網(wǎng)絡(luò)中將分別處理這兩個(gè)句子；對(duì)于每個(gè)類(lèi)別標(biāo)簽需要轉(zhuǎn)換成三維的向量，即0轉(zhuǎn)換為[1 0 0],1轉(zhuǎn)換為[0 1 0]，2轉(zhuǎn)換為[0 0 1]；在此轉(zhuǎn)換成向量的目的是為了通過(guò)訓(xùn)練后得到每個(gè)句子的標(biāo)簽具有相同結(jié)構(gòu)，然后進(jìn)行對(duì)比得到誤差，即可計(jì)算準(zhǔn)確率。

3.根據(jù)權(quán)利要求1所述一種面向商品目標(biāo)詞的情感傾向分析方法，其特征在于，所述步驟2詞向量訓(xùn)練，利用CBOW模型對(duì)文本評(píng)論語(yǔ)料分詞后得到的詞語(yǔ)訓(xùn)練，得到每個(gè)詞所對(duì)應(yīng)的向量，該向量的維度可根據(jù)需要進(jìn)行設(shè)置；使用CBOW模型訓(xùn)練的詞向量是稠密、實(shí)值向量，CBOW模型使用大量無(wú)標(biāo)注數(shù)據(jù)得到的詞語(yǔ)在語(yǔ)義空間中語(yǔ)義刻畫(huà)更準(zhǔn)確，即語(yǔ)義空間上相近的詞語(yǔ)邏輯結(jié)構(gòu)中也相近，同時(shí)，可避免傳統(tǒng)的讀熱表示的稀疏、維度災(zāi)難的不足。

4.根據(jù)權(quán)利要求2所述一種面向商品目標(biāo)詞的情感傾向分析方法，其特征在于，所述步驟2詞向量訓(xùn)練中向量的維度可根據(jù)需要進(jìn)行設(shè)置其基本思想和步驟如下：語(yǔ)言模型形式的描述就是給定一個(gè)T個(gè)詞的字符串S，看它是自然語(yǔ)言的概率P(w₁,w₂,w₃,…,w_T),w₁到w_T依次表示這句話中的各個(gè)詞，即以下推理P(s)＝P(w₁,w₂,…,w_T)＝P(w₁)P(w₂|w₁)P(w₃|w₁,w₂)…P(w_T|w₁,w₂,w₃,…,w_T-1)

與此同時(shí)可以分別求出每個(gè)概率；將上式簡(jiǎn)化為：

當(dāng)Context_i為空時(shí)，就是它自己P(w)。

對(duì)于詞典中的任意詞w，Huffman樹(shù)中比存在一條從根節(jié)點(diǎn)到詞w對(duì)應(yīng)節(jié)點(diǎn)的路徑p^w(且這條路徑是唯一的)。路徑p^w上存在l^w-1個(gè)分支，將每個(gè)分支看做一次二分類(lèi)，沒(méi)一次分類(lèi)就產(chǎn)生一個(gè)概率，將這些概率乘起來(lái)就是所需要的P(w|Context(w))。

條件概率P(w|Context(w))一般公式寫(xiě)成：

其中：

根據(jù)上式整理合并可得：

基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型的目標(biāo)函數(shù)通常取為如下對(duì)數(shù)似然函數(shù)：

將P(w|Context(w))代入Γ對(duì)數(shù)似然函數(shù)可得：

為了方便梯度推導(dǎo)，將上式雙重求和括號(hào)里面的內(nèi)容記作Γ(w,j)即：

此時(shí)上式Γ則是CBOW模型的目標(biāo)函數(shù)，接下來(lái)就是對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，對(duì)于word2vec采用的是隨機(jī)梯度上升法，即求目標(biāo)函數(shù)的最大化。

隨機(jī)梯度上升法的思想是：每取一個(gè)樣本(Context(w),w)就對(duì)目標(biāo)函數(shù)中的所有參數(shù)做一次刷新，在此先給出Γ(w,j)關(guān)于這些向量的梯度。

首先給出Γ(w,j)關(guān)于的梯度計(jì)算，即對(duì)進(jìn)行求導(dǎo)：

于是，對(duì)的更新公式可寫(xiě)為：

其中，η表示學(xué)習(xí)率。

其次計(jì)算Γ(w,j)關(guān)于X_w的梯度，仔細(xì)觀察Γ(w,j)可得與X_w是對(duì)稱的，所以求導(dǎo)同上：

最終的目的是要求詞典中的每個(gè)詞的詞向量，而這里的X_w表示Context(w)中各個(gè)詞向量的累加，則利用來(lái)對(duì)進(jìn)行更新：

即貢獻(xiàn)到Context(w)中的每一個(gè)詞向量上，在此采用的是平價(jià)貢獻(xiàn)，所以既而可以求出所需要的每個(gè)詞的詞向量。