[發明專利]一種從網頁中抽取信息的方法及裝置

有效

• 申請號: 200910090455.6
• 申請日: 2009-08-12
• 公開（公告）號: CN101996190A
• 公開（公告）日: 2011-03-30
• 發明（設計）人: 劉偉;萬小軍;楊建武;肖建國
• 申請（專利權）人: 北京大學;北大方正集團有限公司;北京方正電子政務信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種從網頁中抽取信息的方法，其特征在于，包括：

查找網頁中的每種信息屬性，獲取每種信息屬性對應的信息屬性候選集；

根據保存的信息屬性間的位置關系與布局關系概率的對應關系，查找至少兩種信息屬性間的至少一個最大布局關系概率，并確定查找到的最大布局關系概率對應的位置關系；

從所述至少兩種信息屬性對應的信息屬性候選集中，抽取滿足所述位置關系的信息屬性組合。

2.如權利要求1所述的方法，其特征在于，所述信息屬性包括：標題、發布時間、作者、評論鏈接、來源、正文、主題、相關信息或圖片。

3.如權利要求1所述的方法，其特征在于，所述信息屬性間的位置關系包括：上下關系，左右關系或相鄰關系。

4.如權利要求1所述的方法，其特征在于，所述查找網頁中包含的每種信息屬性，獲取每種信息屬性對應的信息屬性候選集包括：

將所述網頁轉換為文檔對象模型DOM樹結構；

遍歷所述DOM樹結構的各個節點，將滿足設定條件的節點對應的信息屬性，放入該信息屬性對應的信息屬性候選集中。

5.如權利要求1所述的方法，其特征在于，所述確定查找到的最大布局關系概率對應的位置關系包括：

確定第一信息屬性和第二信息屬性的第一最大布局關系概率對應的第一位置關系；

確定所述第一信息屬性和第三信息屬性的第二最大布局關系概率對應的第二位置關系。

6.如權利要求5所述的方法，其特征在于，所述抽取滿足所述位置關系的信息屬性組合包括：

從所述第一信息屬性對應的第一信息屬性候選集，以及所述第二信息屬性對應的第二信息屬性候選集組成的合集中，抽取滿足所述第一位置關系的信息屬性組合放入當前的候選組合集中；

從所述當前的候選組合集，以及所述第三信息屬性對應的第三信息屬性候選集組成的合集中，抽取滿足所述第二位置關系的信息屬性組合，并用抽取的信息屬性組合更新當前的候選組合集；

將更新后的當前的候選組合集中信息屬性組合作為抽取的信息輸出。

7.如權利要求5所述的方法，其特征在于，所述抽取滿足所述位置關系的信息屬性組合包括：

從所述第一信息屬性對應的第一信息屬性候選集，以及所述第二信息屬性對應的第二信息屬性候選集組成的合集中，抽取滿足所述第一位置關系的信息屬性組合放入當前的候選組合集中；

從所述第一信息屬性對應的第一信息屬性候選集，以及所述第三信息屬性對應的第三信息屬性候選集組成的合集中，抽取滿足所述第二位置關系的信息屬性組合放入當前的候選組合集中；

將所述當前的候選組合集中的信息屬性組合進行排列組合后，作為抽取的信息輸出。

8.一種從網頁中抽取信息的裝置，其特征在于，包括

獲取單元，用于查找網頁中的每種信息屬性，獲取每種信息屬性對應的信息屬性候選集：

確定單元，用于根據保存的信息屬性間的位置關系與布局關系概率的對應關系，查找至少兩種信息屬性間的至少一個最大布局關系概率，并確定查找到的最大布局關系概率對應的位置關系；

抽取單元，用于從所述至少兩種信息屬性分別對應的信息屬性候選集中，抽取滿足所述位置關系的信息屬性組合。

9.如權利要求8所述的裝置，其特征在于，所述獲取單元包括：

轉換子單元，用于將所述網頁轉換為文檔對象模型DOM樹結構；

比較子單元，用于遍歷所述DOM樹結構的各個節點，將滿足設定條件的節點對應的信息屬性，放入該信息屬性對應的信息屬性候選集中。

10.如權利要求8所述的裝置，其特征在于，所述確定單元包括：

第一確定子單元，用于確定第一信息屬性和第二信息屬性的第一最大布局關系概率對應的第一位置關系；

第二確定子單元，用于確定所述第一信息屬性和第三信息屬性的第二最大布局關系概率對應的第二位置關系。