[發(fā)明專(zhuān)利]一種互聯(lián)網(wǎng)輿情數(shù)據(jù)的獲取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201610157139.6
• 申請(qǐng)日: 2016-03-18
• 公開(kāi)（公告）號(hào): CN105677921A
• 公開(kāi)（公告）日: 2016-06-15
• 發(fā)明（設(shè)計(jì)）人: 董啟文
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海珍島信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

1.一種互聯(lián)網(wǎng)輿情數(shù)據(jù)的獲取方法，其特征在于，包括：

利用爬蟲(chóng)技術(shù)，確定輿情相關(guān)度大于預(yù)設(shè)值的URL隊(duì)列；

對(duì)所述URL隊(duì)列中的每一URL地址進(jìn)行解析，得到與每一URL地址對(duì) 應(yīng)的頁(yè)面信息；

利用Lucene技術(shù)，為每一URL地址對(duì)應(yīng)的頁(yè)面信息創(chuàng)建與輿情索引關(guān) 鍵詞信息對(duì)應(yīng)的索引文件。

2.根據(jù)權(quán)利要求1所述的獲取方法，其特征在于，所述利用爬蟲(chóng)技術(shù)， 確定輿情相關(guān)度大于預(yù)設(shè)值的URL隊(duì)列，包括：

確定與目標(biāo)主題的輿情相關(guān)度大于預(yù)設(shè)值的種子URL地址，并將所述種 子URL地址存入所述URL隊(duì)列；

獲取所述URL隊(duì)列中的每個(gè)種子URL地址的源代碼，并提取每個(gè)源代 碼中的所有URL地址，形成URL地址集，并將所述URL地址集存入所述 URL隊(duì)列。

3.根據(jù)權(quán)利要求2所述的獲取方法，其特征在于，將所述URL地址集 存入所述URL隊(duì)列之前，還包括：

判斷所述URL地址集中的每個(gè)URL地址是否符合預(yù)定網(wǎng)頁(yè)提取規(guī)則；

若符合，則保留；若不符合，則從所述URL地址集中刪除。

4.根據(jù)權(quán)利要求1所述的獲取方法，其特征在于，所述利用Lucene技 術(shù)，為每一URL地址對(duì)應(yīng)的頁(yè)面信息創(chuàng)建與輿情索引關(guān)鍵詞信息對(duì)應(yīng)的索引 文件，包括：

從每個(gè)URL地址對(duì)應(yīng)的頁(yè)面信息中提取與預(yù)設(shè)輿情參數(shù)相對(duì)應(yīng)的輿情索 引關(guān)鍵詞信息；其中，所述預(yù)設(shè)輿情參數(shù)至少包括：標(biāo)題、發(fā)布時(shí)間、發(fā)布 者、正文等；

將所述輿情索引關(guān)鍵詞信息整理成規(guī)范的結(jié)構(gòu)化數(shù)據(jù)保存至本地?cái)?shù)據(jù) 庫(kù)；

通過(guò)Lucene技術(shù)，為每個(gè)URL地址對(duì)應(yīng)輿情索引關(guān)鍵詞信息創(chuàng)建索引 文件。

5.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的獲取方法，其特征在于，所述為 每一URL地址對(duì)應(yīng)的頁(yè)面信息創(chuàng)建與輿情索引關(guān)鍵詞信息對(duì)應(yīng)的索引文件之 后，還包括：

接收用戶發(fā)送的索引請(qǐng)求；

利用Lucene技術(shù)，解析所述索引請(qǐng)求中的關(guān)鍵詞，查找與所述關(guān)鍵詞相 對(duì)應(yīng)的索引文件，并將查找到的索引文件所對(duì)應(yīng)的URL地址返回給用戶。

6.一種互聯(lián)網(wǎng)輿情數(shù)據(jù)的獲取系統(tǒng)，其特征在于，包括：

URL隊(duì)列確定模塊，用于利用爬蟲(chóng)技術(shù)，確定輿情相關(guān)度大于預(yù)設(shè)值的 URL隊(duì)列；

頁(yè)面信息解析模塊，用于對(duì)所述URL隊(duì)列中的每一URL地址進(jìn)行解析， 得到與每一URL地址對(duì)應(yīng)的頁(yè)面信息；

索引文件創(chuàng)建模塊，用于利用Lucene技術(shù)，為每一URL地址對(duì)應(yīng)的頁(yè) 面信息創(chuàng)建與輿情索引關(guān)鍵詞信息對(duì)應(yīng)的索引文件。

7.根據(jù)權(quán)利要求6所述的獲取系統(tǒng)，其特征在于，所述URL隊(duì)列確定 模塊，包括：

種子URL地址確定單元，用于確定與目標(biāo)主題的輿情相關(guān)度大于預(yù)設(shè)值 的種子URL地址，并將所述種子URL地址存入所述URL隊(duì)列；

URL地址集提取單元，用于獲取所述URL隊(duì)列中的每個(gè)種子URL地址 的源代碼，并提取每個(gè)源代碼中的所有URL地址，形成URL地址集；

URL地址集添加單元，用于將所述URL地址集存入所述URL隊(duì)列。

8.根據(jù)權(quán)利要求7所述的獲取系統(tǒng)，其特征在于，所述URL隊(duì)列確定 模塊，還包括：

判斷單元，用于判斷所述URL地址集中的每個(gè)URL地址是否符合預(yù)定 網(wǎng)頁(yè)提取規(guī)則；

若符合，則保留；若不符合，則從所述URL地址集中刪除。

9.根據(jù)權(quán)利要求6所述的獲取系統(tǒng)，其特征在于，所述索引文件創(chuàng)建模 塊，包括：

輿情索引關(guān)鍵詞信息提取單元，用于從每個(gè)URL地址對(duì)應(yīng)的頁(yè)面信息中 提取與預(yù)設(shè)輿情參數(shù)相對(duì)應(yīng)的輿情索引關(guān)鍵詞信息；其中，所述預(yù)設(shè)輿情參 數(shù)至少包括：標(biāo)題、發(fā)布時(shí)間、發(fā)布者、正文等；

保存單元，用于將所述輿情索引關(guān)鍵詞信息整理成規(guī)范的結(jié)構(gòu)化數(shù)據(jù)保 存至本地?cái)?shù)據(jù)庫(kù)；

索引文件創(chuàng)建單元，用于通過(guò)Lucene技術(shù)，為每個(gè)URL地址對(duì)應(yīng)輿情 索引關(guān)鍵詞信息創(chuàng)建索引文件。

10.根據(jù)權(quán)利要求6-9中任意一項(xiàng)所述的獲取系統(tǒng)，其特征在于，所述獲 取系統(tǒng)還包括：

接收模塊，用于接收用戶發(fā)送的索引請(qǐng)求；

解析模塊，用于利用Lucene技術(shù)，解析所述索引請(qǐng)求中的關(guān)鍵詞，查找 與所述關(guān)鍵詞相對(duì)應(yīng)的索引文件，并將查找到的索引文件所對(duì)應(yīng)的URL地址 返回給用戶。