[發明專利]一種測試爬蟲數據質量的方法

有效

• 申請號: 201910632404.5
• 申請日: 2019-07-13
• 公開（公告）號: CN110377515B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 陳雙艷
• 申請（專利權）人: 北京海致星圖科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 深圳市恒和大知識產權代理有限公司 44479
• 代理人: 孟慶茹

1.一種測試爬蟲數據質量的方法，其特征在于，包括如下步驟：

步驟1，表字段規則庫配置，從而構成表、字段、正則的匹配關系；

步驟2，配置字段依賴關系；

步驟3，爬蟲數據抽樣，在被測數據源中隨機抽取指定數量的數據樣本；

步驟4，規則調用，循環每一條樣本數據，然后判斷步驟1中表里的字段對應的值是否滿足規則；

步驟5，判斷是否有字段依賴關系，判斷當前字段是否存在規則依賴，具體為步驟2中的依賴關系里是否包含該字段；

步驟6，字段依賴校驗，字段依賴校驗模塊根據字段A的值驗證字段B的值；

步驟7，字段比對，字段比對模塊驗證對應的字段是否滿足規則庫中對應的規則；

步驟8，質量結果輸出，質量結果輸出模塊輸出錯誤樣本供分析。

2.根據權利要求1所述的一種測試爬蟲數據質量的方法，其特征在于：所述步驟5中判斷出存在字段依賴關系時，則調用字段依賴校驗步驟6，否則調用字段比對模塊步驟7。

3.根據權利要求1所述的一種測試爬蟲數據質量的方法，其特征在于：所述步驟8中質量輸出模塊，以excel的形式輸出各個字段的缺失率、空值率、準確率、錯誤率，且txt文件輸出錯誤樣本供分析。

4.根據權利要求1所述的一種測試爬蟲數據質量的方法，其特征在于：所述表字段規則是根據字段本身的業務意義而配置的正則表達式。

5.根據權利要求4所述的一種測試爬蟲數據質量的方法，其特征在于：所述步驟1中，以公司名稱分類為爬取。

6.根據權利要求1所述的一種測試爬蟲數據質量的方法，其特征在于：所述爬蟲數據抽樣前，以用戶IP作為憑證，使用browser軟件和遠程網絡服務器作為連接通道，形成一個數據庫，與抽樣數據進行對比，得出質量分析情況。

7.根據權利要求6所述的一種測試爬蟲數據質量的方法，其特征在于：所述數據庫中包括記錄過去的爬蟲數據和網絡分類數據；過去的爬蟲數據由browser軟件以搜索記錄、搜索結果和網站ID瀏覽記錄數據組合而成，由硬盤存儲。

8.根據權利要求7所述的一種測試爬蟲數據質量的方法，其特征在于：所述網絡分類數據包括記錄在案的網站信息和分類的領域信息，與抽樣的爬蟲信息對比，得出信息重合率。