[發明專利]一種特定領域信息自動化組織的裝置及其方法

無效

• 申請號: 201210357548.2
• 申請日: 2012-09-24
• 公開（公告）號: CN102890715A
• 公開（公告）日: 2013-01-23
• 發明（設計）人: 李德聰;楊青
• 申請（專利權）人: 人民搜索網絡股份公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 程殿軍

1.?一種特定領域信息自動化組織的裝置，其特征在于，該裝置主要包括新聞采集模塊、新聞篩選模塊、新聞話題檢測模塊、后臺信息緩存模塊、特定領域信息采集模塊、索引模塊以及檢索模塊；其中：

新聞采集模塊，用于采集網絡新聞；

新聞篩選模塊，從采集的新聞中篩選出特定領域的新聞；

新聞話題檢測模塊，對特定領域的新聞進行話題檢測；

后臺信息緩存模塊，緩存按話題組織的特定領域的新聞，以備前端模塊隨時訪問；

特定領域信息采集模塊，從設定的網站采集該特定領域的信息；

索引模塊，對新聞和特定領域的信息建立索引；以及

檢索模塊，對用戶輸入的查詢進行處理并查詢索引，并整理檢索結果。

2.根據權利要求1所述的特定領域信息自動化組織的裝置，其特征在于，所述裝置進一步包括前端模塊，用于展示直接面向用戶的信息并接收用戶的請求。

3.根據權利要求1所述的特定領域信息自動化組織的裝置，其特征在于，所述特定領域，包括使用者希望通過互聯網去搜集的信息領域。

4.根據權利要求1所述的特定領域信息自動化組織的裝置，其特征在于，所述的特定領域信息采集模塊采集的信息，具體為：從設定的網站采集的不合格食品的信息。

5.一種特定領域信息自動化組織的方法，其特征在于，主要包括如下步驟：

A、信息采集的步驟，從網絡采集新聞和特定網站的結構化信息；

B、信息篩選的步驟，對所采集的新聞自動篩選，得出特定領域的新聞；

C、話題檢測的步驟，對特定領域的新聞進行聚類，組織成話題展示；

D、建立索引的步驟，對特定領域的新聞和特定網站的結構化信息建立索引，以供檢索。

6.根據權利要求5所述特定領域信息自動化組織的方法，其特征在于，步驟A主要包括：

采集網絡新聞，即采用網絡爬蟲采集各類新聞網站的新聞，并將其轉化為結構化信息；以及

采集特定網站的結構化信息，即從特定網站采集特定領域的信息，也將其轉化為結構化信息。

7.根據權利要求5所述的特定領域信息自動化組織的方法，其特征在于，步驟B所述對所采集的新聞自動篩選，主要采用預先專門訓練的樸素貝葉斯分類器，以抽取網頁的標題、正文、url的特征，并結合相關規則，判定新采集到的新聞是否屬于特定領域類的新聞。

8.根據權利要求5所述的特定領域信息自動化組織的方法，其特征在于，步驟C主要包括：

C1、去除長時間沒有變化的話題；

C2、對本周期內進入的各條新聞抽取特征，并構造成用于描述該新聞的基于向量空間模型的特征向量；

C3、對所述生成的一批特征向量進行層次聚類，聚類算法采用非加權組中心UPGMC算法，將聚類結果中的每個集合即簇均擁有一個中心向量，并計算余弦相似度；

C4、對所述的每一個簇，找出與該簇的相似度最大的話題；如果該相似度大于預定閥值，將該簇合并到該話題中，并修正其中心向量和更新時間；否則，將該簇視為一個新的話題，其誕生時間和更新時間為系統當前時間；

C5、對所有話題再進行一次UPGMC層次聚類，聚類結果的所有簇即為本周期結束后本的全部話題。

9.根據權利要求1所述的特定領域信息自動化組織的方法，其特征在于，步驟D包括：對所述特定領域的新聞和所述特定領域類的信息建立索引。