[發明專利]基于xpath的數據采集方法、電子設備及存儲介質

有效

• 申請號: 202011265720.2
• 申請日: 2020-11-13
• 公開（公告）號: CN112099778B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 宋巖強;李青龍
• 申請（專利權）人: 北京智慧星光信息技術有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F16/951
• 代理公司: 北京智宇正信知識產權代理事務所(普通合伙) 11876
• 代理人: 李明卓

1.一種基于xpath的數據采集方法，其特征在于，包括：

接收列表頁中的至少兩個列表頁點擊事件，得到與所述列表頁點擊事件相對應的列表頁點擊元素的xpath路徑；

對所述列表頁點擊元素的xpath路徑進行合并，得到列表頁合并路徑，所述列表頁合并路徑是從父級節點向下直至第一個元素名相同且位置不同的葉子節點，并去掉所述葉子節點的位置信息后得到的xpath路徑；

在所述列表頁中查找與所述列表頁合并路徑具有相同路徑的列表，生成列表頁鏈接集合；

進入所述列表頁鏈接集合中的任意一個鏈接，打開相應的詳情頁，根據所述詳情頁的頁面采集對象確定采集模式，其中，所述采集模式是預先設定的，所述采集模式為分組模式，則所述詳情頁包含多個詳情頁分組節點，接收詳情頁分組節點點擊元素的xpath路徑；

根據詳情頁分組節點點擊元素的xpath路徑，得到詳情頁分組節點中與詳情頁分組節點點擊元素相似的所有元素的xpath路徑，生成詳情頁分組節點集合；

對詳情頁分組節點集合中任意一個詳情頁分組節點中的點擊元素的xpath路徑進行分組合并，得到詳情頁分組節點xpath路徑，所述詳情頁分組節點xpath路徑包含用于定位詳情頁分組節點的分組標記，所述分組標記位于組內點擊元素的父節點元素所在位置的后面且緊鄰所述父節點元素；

進入詳情頁分組節點集合中任意一個詳情頁分組節點，打開相應的分組節點，接收詳情頁點擊元素的xpath路徑；

根據詳情頁點擊元素的xpath路徑，通過文本提取的方式提取所述詳情頁點擊元素所對應的文本信息；

根據所述詳情頁點擊元素的xpath路徑和所對應的文本信息對所述詳情頁分組節點集合中每一個詳情頁分組節點分別進行數據分組采集；

根據詳情頁分組節點點擊元素的xpath路徑，對所述列表頁鏈接集合中的每一個鏈接分別進行數據采集。

2.如權利要求1所述的基于xpath的數據采集方法，其特征在于，根據詳情頁分組節點點擊元素的xpath路徑，得到詳情頁分組節點中與詳情頁分組節點點擊元素相似的所有元素的xpath路徑的步驟中，包括：

S901：接收詳情頁分組節點點擊元素，根據詳情頁分組節點點擊元素得到當前節點；

S902：獲取當前節點的父節點，并依次遍歷父節點下的子節點；

S903：判斷所述子節點的節點類型是否為元素；

S904：若子節點的節點類型為元素，則判斷子節點的節點名是否與當前節點的節點名相同；

S905：若節點名相同，則對位置信息進行累加計數，得到累加計數值；

S906：若累加計數值大于0，則根據預先設定，子節點的xpath路徑使用位置信息；

S907：將當前節點的父節點作為新的當前節點，遞歸上述步驟S902-S906，直到新的當前節點為body節點或者帶有id屬性的節點，得到與詳情頁分組節點點擊元素相似的所有元素的xpath路徑。

3.如權利要求1所述的基于xpath的數據采集方法，其特征在于，對詳情頁分組節點集合中任意一個詳情頁分組節點中的點擊元素的xpath路徑進行分組合并的步驟中，包括：

對詳情頁分組節點點擊元素的xpath路徑的各級節點的節點名進行逐一比較；

若節點名比較結果一致，則保留詳情頁分組節點點擊元素的xpath路徑；

若節點名比較結果不一致，則獲取詳情頁分組節點點擊元素的元素屬性信息，所述元素屬性信息包括位置信息、動態標識ID信息和分組信息；

若元素屬性信息為位置信息，則將詳情頁分組節點點擊元素的xpath路徑的位置信息替換為分組標記；

若元素屬性信息為動態標識ID信息，則去掉詳情頁分組節點點擊元素的xpath路徑的動態標識ID信息；

若元素屬性信息為分組信息，則判斷分組信息是否一致；

若分組信息一致，則保留詳情頁分組節點點擊元素的xpath路徑的分組信息；

若分組信息不一致，則去掉詳情頁分組節點點擊元素的xpath路徑的分組信息。