[發明專利]網頁信息抽取方法

有效

• 申請號: 201410818097.7
• 申請日: 2014-12-24
• 公開（公告）號: CN104462540B
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 脫立恒;董微;劉學;陸世亮
• 申請（專利權）人: 中國科學院聲學研究所;上海尚恩華科網絡科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京億騰知識產權代理事務所11309
• 代理人: 陳霽

1.一種網頁信息抽取方法，其特征在于，所述方法包括：

對網頁Web的頁面數據建立文檔對象模型DOM樹，從所述DOM樹中遞歸選取包含所有待抽取信息的節點子樹，選取所述節點子樹中所述所有待抽取信息的屬性節點的路徑、值節點的路徑和最小的子樹，將所述最小的子樹的根節點作為超文本標記語言HTML標簽相對特征坐標系的原點；

將從DOM樹中訓練得到待抽取信息的屬性和值在HTML標簽相對特征坐標系中的路徑，生成屬性坐標和值坐標，根據所述相對特征坐標系的原點、所述屬性坐標和值坐標定位所述待抽取信息，其中所述所有待抽取信息包括所述待抽取信息；

將所述屬性坐標和所述值坐標作為所述待抽取信息的抽取規則，其中，不同的待抽取信息訓練出的抽取規則不同，所述所有待抽取信息的抽取規則組成所述Web的抽取規則集合并生成包裝器；

通過所述包裝器的抽取規則的屬性坐標和值坐標，定位所述待抽取信息的屬性和值，并抽取Web信息；所述抽取Web信息具體包括：

對所述Web建立HTML標簽相對特征坐標系；

對所述Web中的所述待抽取信息建立屬性坐標和值坐標；

利用訓練集中的網頁修正所述待抽取信息的屬性坐標和值坐標，使得所述待抽取信息的屬性坐標和值坐標能夠定位到固定閾值比例的待抽取信息，并將所述待抽取信息的屬性坐標和值坐標作為所述待抽取信息的抽取規則；

對于同類的Web頁面數據，將所有待抽取信息的屬性坐標和值坐標對組合，并構成同類的Web頁面數據的包裝器；

通過所述坐標原點的文本特征和正則表達式，查找出所述坐標原點的標簽，當所述包裝器中的抽取規則定位到的屬性坐標與所述待抽取信息的屬性一致時，則所述包裝器中的抽取規則定位到的值坐標為所述待抽取信息；所述方法還包括：構建所述HTML標簽相對特征坐標系：

將所述所有待抽取信息中的第一個待抽取信息的屬性或值所在HTML標簽的相關節點作為訓練坐標原點；

在以所述訓練坐標原點為根節點的子樹中查找所述待抽取信息的屬性和值；

當所述訓練坐標原點不能定位所述所有待抽取信息的屬性和值時，更新所述訓練坐標原點，將所述訓練坐標原點的父節點作為更新后的訓練坐標原點；

當所述訓練坐標原點能定位所述所有待抽取信息的屬性和值時，將所述所有待抽取信息中的每個待抽取信息的屬性和值所在標簽到當前訓練坐標原點的路徑作為所述每個待抽取信息的屬性坐標和值坐標，所述每個待抽取信息的屬性坐標和值坐標組成的坐標系構建所述HTML標簽相對特征坐標系。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：在滿足所述抽取規則的準確率和召回率閾值的情況下，同類Web頁面數據生成的包裝器最小，所述包裝器中的抽取規則所定位的標簽的路徑最短。

3.根據權利要求1所述的方法，其特征在于，在所述通過所述包裝器的抽取規則的屬性坐標和值坐標，定位所述待抽取信息的屬性和值之前，所述方法還包括：

定位所述待抽取信息的抽取坐標原點，根據所述訓練坐標原點的文本特征和正則表達式匹配，查找出所述抽取坐標原點所在標簽。

4.根據權利要求1所述的方法，其特征在于，所述抽取Web信息具體還包括：

對于不同類的Web頁面數據，將所有待抽取信息的屬性坐標和值坐標對組合，并構成不同類的Web頁面數據的包裝器集合。