[發明專利]一種測試爬蟲數據質量的方法

有效

• 申請號: 201910632404.5
• 申請日: 2019-07-13
• 公開（公告）號: CN110377515B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 陳雙艷
• 申請（專利權）人: 北京海致星圖科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 深圳市恒和大知識產權代理有限公司 44479
• 代理人: 孟慶茹

本發明公開了一種測試爬蟲數據質量的方法，包括步驟：表字段規則庫配置，配置字段依賴關系，爬蟲數據抽樣，在被測數據源中隨機抽取指定數量的數據樣本，規則調用，判斷是否有字段依賴關系，判斷當前字段是否存在規則依賴，字段依賴校驗，字段依賴校驗模塊根據字段A的值驗證字段B的值，字段比對，字段比對模塊驗證對應的字段是否滿足規則庫中對應的規則，質量結果輸出，質量結果輸出模塊錯誤樣本供分析，該測試爬蟲數據質量的方法高效，速度快，成本低。

技術領域

本發明涉及互聯網科技行業技術領域，具體為一種測試爬蟲數據質量的方法。

背景技術

網絡爬蟲是一個自動提取網頁數據的程序，由于網頁的多樣性和不確定性，得到的爬蟲數據的準確性也存在很大的不確定性，目前爬蟲數據質量的測試方法比較少，大多數采用傳統的人工標注的方式進行測試，顯然這種方式的準確率是最高的，但是測試效率極低，成本也較高。

發明內容

本發明的目的在于提供一種測試爬蟲數據質量的方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種測試爬蟲數據質量的方法，包括：

步驟1，表字段規則庫配置，從而構成表、字段、正則的匹配關系；

步驟2，配置字段依賴關系；

步驟3，爬蟲數據抽樣，在被測數據源中隨機抽取指定數量的數據樣本；

步驟4，規則調用，循環每一條樣本數據，然后判斷步驟1中表里的字段對應的值是否滿足規則；

步驟5，判斷是否有字段依賴關系，判斷當前字段是否存在規則依賴，即步驟2中的依賴關系里是否包含該字段；

步驟6，字段依賴校驗，字段依賴校驗模塊根據字段A的值驗證字段B的值；

步驟7，字段比對，字段比對模塊驗證對應的字段是否滿足規則庫中對應的規則；

步驟8，質量結果輸出，質量結果輸出模塊輸出錯誤樣本供分析。

優選的，所述步驟5中判斷出存在字段依賴關系時，則調用字段依賴校驗步驟6，否則調用字段比對模塊步驟7。

優選的，所述步驟8中質量輸出模塊，以excel的形式輸出各個字段的缺失率、空值率、準確率、錯誤率，且txt文件輸出錯誤樣本供分析。

優選的，所述表字段規則可以是根據字段本身的業務意義而配置的正則表達式。

優選的，所述步驟1中，可以以公司名稱分類為爬取。

優選的，所述爬蟲數據抽樣前，以用戶IP作為憑證，使用browser軟件和遠程網絡服務器作為連接通道，形成一個數據庫，與抽樣數據進行對比，得出質量分析情況。

優選的，所述數據庫中包括記錄過去的爬蟲數據和網絡分類數據；過去的爬蟲數據由browser軟件以搜索記錄、搜索結果和網站ID瀏覽記錄數據組合而成，由硬盤存儲。

優選的，述網絡分類數據包括記錄在案的網站信息和分類的領域信息，與抽樣的爬蟲信息對比，得出信息重合率。

與現有技術相比，本發明的有益效果是：通過爬蟲數據抽樣、表字段規則庫配置、爬蟲數據抽樣、判斷是否有字段依賴關系、字段依賴校驗、字段比對和質量結果輸出這些步驟，該測試爬蟲數據質量的方法高效，速度快，成本低。

附圖說明

圖1為測試爬蟲數據質量的方法流程框圖。

具體實施方式