[發明專利]一種信息采集方法和裝置

有效

• 申請號: 201210287661.8
• 申請日: 2012-08-13
• 公開（公告）號: CN103593344A
• 公開（公告）日: 2014-02-19
• 發明（設計）人: 吳新麗;楊建武
• 申請（專利權）人: 北大方正集團有限公司;北京大學;北京北大方正電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種信息采集方法，其特征在于，包括：

確定待采集的電子布告欄系統網絡站點的地址信息和信息采集規則；

當接收到獲取任一網絡站點內容的信息采集請求時，獲取所述網絡站點的入口鏈接主地址和副地址；

通過入口鏈接主地址和入口鏈接副地址確定所述網絡站點對應的版面頁面，并從版面頁面源代碼文件中抽取該版面頁面所包含的每個帖子的概述信息；

從所述概述信息中獲取每個帖子的鏈接地址，并根據所述鏈接地址確定每個帖子的帖子頁面，并從帖子頁面源代碼文件中抽取每個帖子的內容信息。

2.如權利要求1所述的方法，其特征在于，所述入口鏈接主地址所對應的版面頁面中包括主貼的概述信息；所述入口鏈接副地址所對應的版面中包括主貼和回帖的概述信息。

3.如權利要求1所述的方法，其特征在于，所述信息采集規則包括：

從版面頁面中抽取的概述信息的信息項包括帖子標題、帖子鏈接地址、發帖作者、發帖時間、點擊數和回復數；

從帖子頁面中抽取的信息項包括帖子標題、帖子正文和同主題模式的鏈接地址。

4.如權利要求3所述的方法，其特征在于，所述概述信息還包括所述概述信息還包括每個帖子的屬性標識，所述屬性標識用于標示所述帖子是否為主貼。

5.如權利要求4所述的方法，其特征在于，確定所述屬性標識的方法包括：

當確定版面頁面對應的連接地址為主地址，則確定所述帖子為主貼，則對應第一屬性標識；

當確定版面頁面對應的入口鏈接地址為副地址，則根據帖子標題的特征信息確定帖子的屬性標識。

6.如權利要求5所述的方法，其特征在于，所述根據帖子標題的特征信息確定帖子的屬性標識包括：

檢測所述帖子的標題的開頭是否包括第一特征信息，如果是，則確定所述帖子為回帖，則對應第二屬性標識；

若所述帖子的標題的開頭不包括第一特征信息，則對應設置為第三屬性標識，表示該帖子的屬性為未知格式。

7.如權利要求6所述的方法，其特征在于，從帖子頁面源代碼文件中抽取每個帖子的內容信息包括：

當屬性標識為第一屬性標識，則抽取帖子的標題、帖子正文信息輸出；

當屬性標識為第二屬性標識，從當前帖子頁面對應源代碼中抽取該帖子的同主題模式鏈接地址，從待采集和已采集的連接地址信息中確定與所述同主題模式鏈接地址相同的主貼鏈接地址信息，并將主貼鏈接地址信息對應主貼的回復數進行更新。

8.如權利要求7所述的方法，其特征在于，所述帖子的屬性標識為第三屬性標識，則從帖子頁面源代碼文件中抽取每個帖子的內容信息包括，

從當前帖子頁面對應源代碼中抽取該帖子的同主題模式鏈接地址；

首先將抽取的同主題模式鏈接地址與當前帖子頁面對應的鏈接地址進行比較，如果相同，則確認該帖子為主貼；則接將抽取的帖子的標題、帖子正文信息；

如果不同，則確認該帖子為回帖，從待采集和已采集的鏈接地址信息中確定與所述同主題模式鏈接地址相同的主貼鏈接地址信息，并將主貼鏈接地址信息對應主貼的回復數進行更新。

9.一種信息采集裝置，其特征在于，包括：

配置模塊，用于確定待采集的電子布告欄系統網絡站點的地址信息和信息采集規則；

入口鏈接地址確定模塊，用于當接收到獲取任一網絡站點內容的信息采集請求時，獲取所述網絡站點的入口鏈接主地址和副地址；

帖子概述信息采集模塊，用于通過入口鏈接主地址和入口鏈接副地址確定所述網絡站點對應的版面頁面，并從版面頁面源代碼文件中抽取該版面頁面所包含的每個帖子的概述信息；

帖子內容信息采集模塊，用于從所述概述信息中獲取每個帖子的鏈接地址，并根據所述鏈接地址確定每個帖子的帖子頁面，并從帖子頁面源代碼文件中抽取每個帖子的內容信息。

10.如權利要求9所述的裝置，其特征在于，所述概述信息還包括所述概述信息還包括每個帖子的屬性標識，所述屬性標識用于標示所述帖子是否為主貼，則帖子概述信息采集模塊還用于確定所述屬性標識的包括：

當確定版面頁面對應的連接地址為主地址，則確定所述帖子為主貼，則對應第一屬性標識；

當確定版面頁面對應的入口鏈接地址為副地址，則根據帖子標題的特征信息確定帖子的屬性標識。