[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的輿情量化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010881063.8
• 申請(qǐng)日: 2020-08-27
• 公開(kāi)（公告）號(hào): CN111950717B
• 公開(kāi)（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 鐘艷如;趙蕾先;賀昭榮;高宏;羅笑南
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06K9/62;G06F40/30;G06F16/951;G06F16/35;G06F16/215
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 楊雪梅

1.一種基于神經(jīng)網(wǎng)絡(luò)的輿情量化方法，其特征在于，包括如下步驟：

1)利用爬蟲(chóng)技術(shù)采集用戶在社交平臺(tái)上的輿論文本數(shù)據(jù)，將采集的數(shù)據(jù)以文本形式存儲(chǔ)于數(shù)據(jù)庫(kù)中；

2)對(duì)收集的輿論文本數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；

3)根據(jù)預(yù)處理后的數(shù)據(jù)，構(gòu)建輿論分析數(shù)據(jù)集；

4)構(gòu)建網(wǎng)絡(luò)模型，利用輿論分析數(shù)據(jù)集中的輿論文字和所關(guān)聯(lián)因素?cái)?shù)據(jù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，網(wǎng)絡(luò)模型的構(gòu)建方法包括如下步驟：

4-1)建立編碼層Embedding，使用隨機(jī)編碼技術(shù)將文字符號(hào)映射成一個(gè)隨機(jī)向量用來(lái)表示文字特征和關(guān)聯(lián)因素；

4-2)建立循環(huán)神經(jīng)網(wǎng)絡(luò)層RNN和長(zhǎng)短記憶網(wǎng)絡(luò)層LSTM，用于接收編碼層輸出的數(shù)據(jù)，計(jì)算長(zhǎng)期語(yǔ)義依賴，得到一個(gè)包含語(yǔ)義關(guān)系僅僅只能被網(wǎng)絡(luò)模型識(shí)別的語(yǔ)義特征值；

4.3)建立NextVlad網(wǎng)絡(luò)層和卷積CNN網(wǎng)絡(luò)層，用于聚合步驟4-2)所得的特征值；

4-4)經(jīng)過(guò)步驟4-3)的網(wǎng)絡(luò)層聚合，得到范圍為[-1，1]的分?jǐn)?shù)，該分?jǐn)?shù)代表輸入文本和關(guān)聯(lián)因素之間的量化分?jǐn)?shù)；

4-5)將步驟3)中的輿論分析數(shù)據(jù)集當(dāng)作模型的輸入數(shù)據(jù)，對(duì)模型進(jìn)行反復(fù)訓(xùn)練，實(shí)行梯度下降訓(xùn)練，得到訓(xùn)練好的網(wǎng)絡(luò)模型；

5)利用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)輿論文本進(jìn)行量化，具體包括如下步驟：

5-1)將需要進(jìn)行量化分析的數(shù)據(jù)按照步驟2)方式進(jìn)行預(yù)處理，并按照步驟3)的格式將數(shù)據(jù)構(gòu)建成輿論分析數(shù)據(jù)集；

5-2)將步驟5-1)得到的輿論分析數(shù)據(jù)集輸入訓(xùn)練好的網(wǎng)絡(luò)模型中，得到輿論文本與關(guān)聯(lián)因素間量化關(guān)系的分?jǐn)?shù)，從而完成輿論數(shù)據(jù)的量化。

2.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)的輿情量化方法，其特征在于，步驟2)中，所述的預(yù)處理，包括數(shù)據(jù)清洗，半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)化，以及數(shù)據(jù)歸一化；數(shù)據(jù)清洗是將爬取下來(lái)的雜亂無(wú)章、無(wú)用、需要定義一下正則表達(dá)式的內(nèi)容刪除；半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)化是對(duì)數(shù)據(jù)清洗后的用戶數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化；數(shù)據(jù)歸一化是將數(shù)據(jù)結(jié)構(gòu)化后的數(shù)據(jù)映射至[0-1]的范圍中被神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。

3.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)的輿情量化方法，其特征在于，步驟3)中，所述的輿論分析數(shù)據(jù)集，是將預(yù)處理后的數(shù)據(jù)以pytorch的形式打包成一個(gè)能被神經(jīng)網(wǎng)絡(luò)接收的tensor向量，使得能被步驟4)中的所構(gòu)建的神經(jīng)網(wǎng)絡(luò)識(shí)別并訓(xùn)練。

4.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)的輿情量化方法，其特征在于，步驟4)中，所述的循環(huán)神經(jīng)網(wǎng)絡(luò)層RNN和長(zhǎng)短記憶網(wǎng)絡(luò)層LSTM，計(jì)算規(guī)則如下：

其中表示的是在t時(shí)刻中的第k個(gè)特征隱藏層計(jì)算結(jié)果，W_hk是隱藏層矩陣，是顯性輸出，公式(2)是對(duì)隱藏層的輸出再做一次特征變化，并且考慮上一層的的顯性輸出，其中f_h是激活函數(shù)；

經(jīng)過(guò)語(yǔ)義計(jì)算的輿論語(yǔ)義間的內(nèi)容能被網(wǎng)絡(luò)模型理解識(shí)別，網(wǎng)絡(luò)模型對(duì)輸入的關(guān)聯(lián)因素和語(yǔ)義進(jìn)行關(guān)聯(lián)計(jì)算，NextVlad網(wǎng)絡(luò)層和卷積CNN網(wǎng)絡(luò)層對(duì)該關(guān)聯(lián)因素和語(yǔ)義進(jìn)行聚合，得到量化分?jǐn)?shù)，首先設(shè)置聚合閥來(lái)篩選各種關(guān)聯(lián)數(shù)據(jù)的權(quán)重，公式如下：

其中a(xi)是預(yù)測(cè)值輸出，α是超參數(shù)，x_i是第i維的價(jià)值，c_k是NextVlad的特征碎片權(quán)重，e為自然對(duì)數(shù)；

量化分?jǐn)?shù)的計(jì)算公式如下：

Score為最后的得分，e為自然對(duì)數(shù)，代表神經(jīng)網(wǎng)絡(luò)隱藏層矩陣，c_k(j)表示的是NextVlad的第k個(gè)特征簇的第j個(gè)輸出值。