[發明專利]用于提高網絡爬蟲穩定性、可用性的數據處理方法及裝置

有效

• 申請號: 201611243842.5
• 申請日: 2016-12-29
• 公開（公告）號: CN106777281B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 張軍;賈西貝
• 申請（專利權）人: 深圳市華傲數據技術有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 任媛

1.一種用于提高網絡爬蟲穩定性、可用性的數據處理方法，其特征在于，包括：

步驟S1，根據事先指定的特征，判斷當前頁面是否發生了局部結構性變動；

步驟S2，若未發生結構性變動，則獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析所述當前頁面中的內容；

步驟S3，根據預先配置的映射規則，對通過解析獲取的業務字段名做自適應映射，并存儲到存儲區；

其中，所述自適應映射是將解析獲取的業務字段名替換為預定的標準字段，以統一抽取數據的業務字段名；

所述步驟S2包括：

獲取所述當前頁面的HTML文件；

從所述HTML文件抽取出Table標簽中的內容和div標簽中的內容；

根據所述Table標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容；

根據所述div標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容；

所述根據所述Table標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：

檢測所述Table標簽中的標題部分；

抽取所述Table標簽中除標題部分的多維度信息；

根據抽取的所述多維度信息判斷結構布局；

根據所述結構布局獲取業務數據。

2.根據權利要求1所述的方法，其特征在于，所述步驟S1包括：逐一比對事先指定的特征和當前頁面的對應標簽，若不一致，則認為所述當前頁面發生了局部結構性變動。

3.根據權利要求1所述的方法，其特征在于，所述根據所述div標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：從所述div標簽中獲取與已知業務字段名匹配的label，并根據匹配到的label在div標簽中的位置判斷結構布局，根據結構布局獲取業務數據。

4.一種用于提高網絡爬蟲穩定性、可用性的數據處理裝置，其特征在于，包括：

結構性變動檢測模塊，用于根據事先指定的特征，判斷當前頁面是否發生了局部結構性變動；

解析模塊，用于若未發生結構性變動，則獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析所述當前頁面中的內容；

字段自適應調整模塊，根據預先配置的映射規則，對通過解析獲取的業務字段名做自適應映射，并存儲到存儲區；

其中，所述自適應映射是將解析獲取的業務字段名替換為預定的標準字段，以統一抽取數據的業務字段名；

所述解析模塊具體用于：

獲取所述當前頁面的HTML文件；

從所述HTML文件抽取出Table標簽中的內容和div標簽中的內容；

根據所述Table標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容；

根據所述div標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容；

所述解析模塊中，根據所述Table標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：

檢測所述Table標簽中的標題部分；

抽取所述Table標簽中除標題部分的多維度信息；

根據抽取的所述多維度信息判斷結構布局；

根據所述結構布局獲取業務數據。

5.根據權利要求4所述的裝置，其特征在于，所述結構性變動檢測模塊具體用于：逐一比對事先指定的特征和當前頁面的對應標簽，若不一致，則認為所述當前頁面發生了局部結構性變動。

6.根據權利要求4所述的裝置，其特征在于，所述解析模塊中，根據所述div標簽中的內容獲取所述當前頁面的結構布局，根據所述當前頁面的結構布局解析內容，包括：從所述div標簽中獲取與已知業務字段名匹配的label，并根據匹配到的label在div標簽中的位置判斷結構布局，根據結構布局獲取業務數據。