[發(fā)明專利]網(wǎng)頁信息的提取方法、裝置、設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202110018216.0
• 申請日: 2021-01-07
• 公開（公告）號: CN112732994B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設計）人: 張學哲;張浩波
• 申請（專利權）人: 上海攜寧計算機科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/957;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海晨皓知識產(chǎn)權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

1.一種網(wǎng)頁信息的提取方法，其特征在于，包括：

獲取待提取網(wǎng)頁中每一葉子節(jié)點的葉子節(jié)點路徑；

根據(jù)所述葉子節(jié)點路徑，獲取所述葉子節(jié)點路徑對應的所述葉子節(jié)點的葉子節(jié)點信息和所述葉子節(jié)點的父節(jié)點的父節(jié)點信息，得到所述葉子節(jié)點的節(jié)點信息；

其中，所述葉子節(jié)點的葉子節(jié)點信息包括：葉子節(jié)點的tag標簽、葉子節(jié)點的class屬性和葉子節(jié)點的文本長度；

其中，所述葉子節(jié)點的父節(jié)點的父節(jié)點信息包括：葉子節(jié)點對應的父節(jié)點的tag標簽和葉子節(jié)點對應的父節(jié)點的class屬性；

根據(jù)每一所述葉子節(jié)點路徑和每一所述葉子節(jié)點的節(jié)點信息，構建文檔對象模型DOM樹；

所述根據(jù)每一所述葉子節(jié)點路徑和每一所述葉子節(jié)點的節(jié)點信息，構建文檔對象模型DOM樹，包括：

根據(jù)每一所述葉子節(jié)點路徑，構建DOM樹框架；

將每一所述葉子節(jié)點的節(jié)點信息記錄到所述DOM樹框架中對應的所述葉子節(jié)點所在的位置，得到所述DOM樹；

對所述DOM樹中的每一節(jié)點進行遍歷，并利用預先訓練獲得的神經(jīng)網(wǎng)絡識別模型對遍歷到的每一所述葉子節(jié)點進行分析，得到每一所述葉子節(jié)點的分析結果；

根據(jù)每一所述葉子節(jié)點的所述分析結果，確定待提取信息的提取路徑；

根據(jù)所述提取路徑，從所述待提取網(wǎng)頁中提取所述待提取信息。

2.根據(jù)權利要求1所述的網(wǎng)頁信息的提取方法，其特征在于，所述獲取待提取網(wǎng)頁中每一葉子節(jié)點的葉子節(jié)點路徑，包括：

獲取所述待提取網(wǎng)頁的超文本標記語言HTML源碼；

對所述HTML源碼進行解析，得到所述待提取網(wǎng)頁包括的所有節(jié)點的路徑信息；

對所述路徑信息去重，得到所述待提取網(wǎng)頁中每一所述葉子節(jié)點的所述葉子節(jié)點路徑。

3.根據(jù)權利要求1所述的網(wǎng)頁信息的提取方法，其特征在于，所述對所述DOM樹中的每一節(jié)點進行遍歷，并利用預先訓練獲得的神經(jīng)網(wǎng)絡識別模型對遍歷到的每一所述葉子節(jié)點進行分析，得到每一所述葉子節(jié)點的分析結果，包括：

對所述DOM樹中的每一節(jié)點進行遍歷，并獲取遍歷到的每一所述葉子節(jié)點的節(jié)點信息；

按序將遍歷到的每一所述葉子節(jié)點的節(jié)點信息輸入預先訓練獲得的神經(jīng)網(wǎng)絡識別模型，并獲取所述神經(jīng)網(wǎng)絡識別模型的輸出結果，得到每一所述葉子節(jié)點的所述分析結果。

4.根據(jù)權利要求3所述的網(wǎng)頁信息的提取方法，其特征在于，所述按序將遍歷到的每一所述葉子節(jié)點的節(jié)點信息輸入預先訓練獲得的神經(jīng)網(wǎng)絡識別模型，包括：

對于遍歷到的每一所述葉子節(jié)點的節(jié)點信息，分別對所述葉子節(jié)點的tag標簽、所述葉子節(jié)點的class屬性、所述葉子節(jié)點對應的父節(jié)點的tag標簽和所述葉子節(jié)點對應的父節(jié)點的class屬性進行向量轉換，得到四個詞向量；

按序將遍歷到的每一所述葉子節(jié)點對應的四個詞向量和所述葉子節(jié)點的本文長度輸入預先訓練獲得的神經(jīng)網(wǎng)絡識別模型。

5.根據(jù)權利要求1所述的網(wǎng)頁信息的提取方法，其特征在于，所述根據(jù)每一所述葉子節(jié)點的所述分析結果，確定待提取信息的提取路徑，包括：

根據(jù)每一所述葉子節(jié)點的所述分析結果，確定所述DOM樹中需要保留的節(jié)點；

根據(jù)所述DOM樹中需要保留的節(jié)點，確定待提取信息的提取路徑。

6.根據(jù)權利要求5所述的網(wǎng)頁信息的提取方法，其特征在于，所述根據(jù)每一所述葉子節(jié)點的所述分析結果，確定所述DOM樹中需要保留的節(jié)點，包括：

對于所述DOM樹中的每一所述父節(jié)點，根據(jù)所述父節(jié)點下所有子節(jié)點的分析結果，確定所述父節(jié)點是否需要保留；

在所述DOM樹中標記需要保留的所述父節(jié)點，并根據(jù)每一所述葉子節(jié)點的所述分析結果標記需要保留的所述葉子節(jié)點，得到所述DOM樹中需要保留的節(jié)點。

7.根據(jù)權利要求5所述的網(wǎng)頁信息的提取方法，其特征在于，所述根據(jù)所述DOM樹中需要保留的節(jié)點，確定待提取信息的提取路徑，包括：

按照預設的遍歷的方式對所述DOM樹中需要保留的節(jié)點進行遍歷，將遍歷到的每一所述節(jié)點的tag標簽按序添加到預先構建的存儲介質，得到所述待提取信息的所述提取路徑。