[發明專利]列表頁識別系統及方法

有效

• 申請號: 201210376384.8
• 申請日: 2012-09-29
• 公開（公告）號: CN102902792A
• 公開（公告）日: 2013-01-30
• 發明（設計）人: 盧宏林
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種列表頁識別系統，包括：

頁面框架ID計算模塊，適于抽取預先獲取的網頁的頁面框架，計算頁面框架ID；

模式累計模塊，適于累計相同ID的頁面框架數量達到閾值時，計算頁面框架模式；

列表頁識別模塊，適于按所述頁面框架模式與事先建立的產品知識庫中列表頁的頁面框架模式比對，以識別出列表頁;

其中，頁面框架ID計算模塊進一步包括：頁面框架抽取模塊，適于根據網頁源代碼中的html語言標簽抽取所述網頁的頁面框架。

2.如權利要求1所述的列表頁識別系統，其特征在于，頁面框架ID計算模塊進一步包括：頁面框架抽取模塊，適于按標點識別出網頁正文，去除正文以得到所述網頁的頁面框架。

3.如權利要求1~2中任一項所述的列表頁識別系統，其特征在于，所述模式累計模塊進一步包括：閾值調節模塊，適于判斷在預定時間內對應同一I?D的頁面框架數量是否累計達到所述閾值，若沒有，則將該ID對應的閾值以一定的步長遞減。

4.如權利要求1~3中任一項所述的列表頁識別系統，其特征在于，所述模式累計模塊進一步包括：

待定列表頁識別模塊，適于判斷是否有位于頁面內固定位置塊內且穩定存在一定時間的鏈接，若有，則設定該網頁為待定列表頁；

列表頁框架模式確定模塊，適于每隔一段時間內調度一次所述待定列表頁，如果所述鏈接不斷更新為新鏈接，就將所述網頁的頁面框架模式設為列表頁框架模式。

5.如權利要求1~4中任一項所述的列表頁識別系統，其特征在于，所述產品知識庫存儲有已知類別頁面框架模式及該模式下各網頁特征的權重，所述列表頁識別模塊進一步包括：

特征匹配模塊，適于將所述頁面框架模式的各網頁特征與知識庫中已知類別的頁面框架模式的各網頁特征進行匹配；

特征評分模塊，適于對匹配上的網頁特征按不同的類別為所述頁面框架模式增加相應的權重；

權重累計模塊，適于按類別累計所述頁面框架模式在該類別下所得的權重，若對應列表頁類別所得的權重最高，則所述頁面為列表頁。

6.如權利要求1~5中任一項所述的列表頁識別系統，其特征在于，所述系統還包括：列表頁處理模塊，適于若識別出網頁為列表頁，則提取所述列表頁的內容，進一步獲取所述列表頁中列出的信息對應的網頁。

7.如權利要求1~6中任一項所述的列表頁識別系統，其特征在于，所述系統還包括：網頁獲取模塊，適于通過全網搜索獲取網頁，并以站點為單位獲取網頁，同一站點下不同域名的對應的網頁存儲在相同的根目錄下。

8.一種列表頁識別方法，包括以下步驟：

抽取預先獲取的網頁的頁面框架，并計算頁面框架ID；

累計相同ID的頁面框架數量達到閾值時，計算頁面框架模式；

按所述頁面框架模式與事先建立的產品知識庫中列表頁的頁面框架模式比對，以識別出列表頁；

其中，抽取所述網頁的頁面框架的方式為：根據網頁源代碼中的html語言標簽抽取所述網頁的頁面框架。

9.如權利要求8所述的列表頁識別方法，其特征在于，抽取所述網頁的頁面框架的方式為：按標點識別出網頁正文，去除正文以得到所述網頁的頁面框架。

10.如權利要求8~9中任一項所述的列表頁識別方法，其特征在于，判斷在預定時間內對應同一ID的頁面框架數量是否累計達到所述閾值，若沒有，則將該I?D對應的閾值以一定的步長遞減。

11.如權利要求8~10中任一項所述的列表頁識別方法，其特征在于，所述列表頁框架模式的計算方式為：

判斷是否有位于頁面內固定位置塊內且穩定存在一定時間的鏈接，若有，則設定該網頁為待定列表頁；

每隔一段時間內調度一次所述待定列表頁，如果所述鏈接不斷更新為新鏈接，就將所述網頁的頁面框架模式設為列表頁框架模式。