[發(fā)明專利]一種基于大數(shù)據(jù)的輿情監(jiān)測平臺

在審

• 申請?zhí)枺?/td>: 202110358821.2
• 申請日: 2021-04-02
• 公開（公告）號: CN113032653A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 趙勝楠
• 申請（專利權(quán)）人: 鹽城師范學(xué)院
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9535;G06F16/9538
• 代理公司: 上海思牛達(dá)專利代理事務(wù)所(特殊普通合伙) 31355
• 代理人: 丁劍

1.一種基于大數(shù)據(jù)的輿情監(jiān)測平臺，其特征在于，包括互聯(lián)網(wǎng)終端、網(wǎng)頁咨詢收集模塊、用戶瀏覽監(jiān)測模塊、關(guān)鍵詞篩選模塊、文本提取模塊、數(shù)據(jù)預(yù)處理模塊、輿情存儲模塊、分析判斷模塊、特征要求輸入模塊、特征模型建立模塊、監(jiān)測特征存儲模塊、報(bào)告生成模塊、反饋模塊和歷史輿情庫；

其中，所述網(wǎng)頁咨詢收集模塊包括咨詢收集單元和HTML轉(zhuǎn)化單元；所述用戶瀏覽監(jiān)測模塊包括用戶交互界面、數(shù)據(jù)對接單元和數(shù)據(jù)導(dǎo)入單元；所述數(shù)據(jù)預(yù)處理模塊包括數(shù)據(jù)文本存儲單元、測重單元、刪除單元和發(fā)送單元；所述分析判斷模塊包括關(guān)聯(lián)度計(jì)算單元、提取單元和上傳單元；所述關(guān)鍵詞篩選模塊包括分詞累計(jì)單元、詞頻閾值單元、剪除單元和詞頻排序單元。

2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的輿情監(jiān)測平臺，其特征在于，所述互聯(lián)網(wǎng)終端用于連接互聯(lián)網(wǎng)，并為網(wǎng)頁咨詢收集模塊提供咨詢數(shù)據(jù)；所述網(wǎng)頁咨詢收集模塊用于生成咨詢文本，并發(fā)送至關(guān)鍵詞篩選模塊和文本提取模塊，其生成咨詢文本的具體步驟為：

S1、咨詢收集單元用于收集咨詢數(shù)據(jù)，并存儲咨詢數(shù)據(jù)；

S2、HTML轉(zhuǎn)化單元用于咨詢數(shù)據(jù)的超文本標(biāo)記轉(zhuǎn)化，生成一個(gè)邏輯整體，即咨詢文本；

所述關(guān)鍵詞篩選模塊用于篩選生成關(guān)鍵詞列表，并發(fā)送至文本提取模塊，其生成關(guān)鍵詞列表的具體操作為：

SS1、分詞累計(jì)單元用于提取咨詢文本內(nèi)的關(guān)鍵詞，并累計(jì)相同關(guān)鍵詞的詞頻，生成總表；

SS2、詞頻閾值單元用于設(shè)置關(guān)鍵詞的詞頻標(biāo)準(zhǔn)值；

SS3、剪除單元用于總表與詞頻標(biāo)準(zhǔn)值的比對，并判斷是否合格，其具體為：

A、若關(guān)鍵詞的詞頻＜詞頻標(biāo)準(zhǔn)值，則不合格，即無用關(guān)鍵詞；

B、若關(guān)鍵詞的詞頻≥詞頻標(biāo)準(zhǔn)值，則合格，即有用關(guān)鍵詞；

C、剪除總表內(nèi)的無用關(guān)鍵詞，得到預(yù)關(guān)鍵詞列表；

SS4、詞表排序單元用于預(yù)關(guān)鍵詞列表內(nèi)的詞頻排序，生成關(guān)鍵詞列表，并發(fā)送至文本提取模塊，其排序按照從多到少排序；

所述文本提取模塊用于接收關(guān)鍵詞列表和咨詢文本，并依據(jù)關(guān)鍵詞列表提取咨詢文本內(nèi)的內(nèi)容，生成預(yù)輿情文本，并將預(yù)輿情文本發(fā)送至數(shù)據(jù)預(yù)處理模塊。

3.根據(jù)權(quán)利要求2所述的一種基于大數(shù)據(jù)的輿情監(jiān)測平臺，其特征在于，步驟SS1中所述提取采用爬蟲提取技術(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的輿情監(jiān)測平臺，其特征在于，所述用戶瀏覽監(jiān)測模塊用于生成輿情數(shù)據(jù)，并上傳至數(shù)據(jù)預(yù)處理模塊，其具體上傳步驟為：

SSS1、用戶交互界面用于收集用戶搜索的高頻詞句，并發(fā)送至數(shù)據(jù)對接單元；

SSS2、數(shù)據(jù)對接單元依據(jù)高頻詞句對接歷史輿情庫，并提取歷史輿情，生成輿情數(shù)據(jù)；

SSS3、數(shù)據(jù)導(dǎo)入單元將輿情數(shù)據(jù)上傳至數(shù)據(jù)預(yù)處理模塊；

所述數(shù)據(jù)預(yù)處理模塊用于生成輿情文本，并發(fā)送至輿情存儲模塊，其生成輿情文本的具體操作為：

SSSS1、數(shù)據(jù)文本存儲單元用于存儲預(yù)輿情文本和輿情數(shù)據(jù)；

SSSS2、測重單元用于對比輿情數(shù)據(jù)和預(yù)輿情文本，并判斷是否重復(fù)，具體為：

a、計(jì)算輿情數(shù)據(jù)和預(yù)輿情文本的相似度

b、若相似度≥60％，則重復(fù)；

c、若相似度＜60％，則不重復(fù)；

SSSS3、刪除單元用于刪除預(yù)輿情文本內(nèi)重復(fù)的部分，即得輿情文本；

SSSS4、發(fā)送單元用于發(fā)送輿情文本；

所述輿情存儲模塊用于存儲輿情文本，并發(fā)送至分析判斷模塊。

5.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的輿情監(jiān)測平臺，其特征在于，所述特征要求輸入模塊用于輸入用戶的輿情需求特征，并發(fā)送至特征模型建立模塊；所述特征模型建立模塊用于建立特征模型，并發(fā)送特征模型至監(jiān)測特征存儲模塊；所述監(jiān)測特征存儲模塊用于存儲特征模型，并發(fā)送至分析判斷模塊。