[發明專利]一種對互聯網數據采集結果校驗的方法

在審

• 申請號: 202010324527.5
• 申請日: 2020-04-22
• 公開（公告）號: CN111506566A
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 戴晶;蔣圣;謝乾;王吉;楊洋;沈愉悅;徐潤之;沈赟芳;汪濤
• 申請（專利權）人: 江蘇卓易信息科技股份有限公司;南京百敖軟件有限公司;昆山百敖電子科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06K9/62
• 代理公司: 宜興知初知識產權代理事務所(普通合伙) 32418
• 代理人: 高春濤

1.一種對互聯網數據采集結果校驗的方法，其特征在于：將數據分為常量、有規則變量和無規則變量三種類型，對常量使用靜態常量校驗方法進行校驗，對有規則變量進行規則校驗，對無規則變量進行基于樸素貝葉斯算法的臟數據識別，如果所有類型數據均通過校驗，則將數據存入應用數據庫，如果任一類型數據未通過校驗，則對數據采集程序進行校驗和更新。

2.根據權利要求1所述的對互聯網數據采集結果校驗的方法，其特征在于，具體包括以下步驟：

S1：互聯網數據采集；

S2：常量校驗模塊對常量數據進行校驗，通過比較采集數據中的常量是否發生變化來判斷數據的準確性；

S3：變量校驗模塊對采集數據中的變量進行校驗，對于有規則變量，根據其是否符合校驗規則來判斷數據的準確性；對于無規則變量，基于樸素貝葉斯算法建立臟數據識別模型，識別采集的數據是否準確；

S4：如果所有類型數據均通過校驗，則執行步驟S6，如果某一類型數據未通過校驗，則執行步驟S5；

S5：檢查并更新數據采集程序，然后執行步驟S1；

S6：將數據存入入庫隊列；

S7：通過入庫隊列將數據保存至應用數據庫。

3.根據權利要求2所述的對互聯網數據采集結果校驗的方法，其特征在于，所述常量校驗模塊對常量數據進行校驗的步驟為：

S21：人工提取采集數據中不經常變化的常量信息，并使用人工核對的方式，將常量保存入庫；

S22：使用scrapy框架采集數據，并使用xpath工具解析數據，將其中的常量數據與數據庫中保存的常量數據進行比較，如果比較結果一致，則繼續步驟S23，否則，轉步驟S24；

S23：通過常量校驗模塊，進入變量校驗模塊；

S24：檢查數據采集程序，分析不一致的原因，并更新程序。

4.根據權利要求1所述的對互聯網數據采集結果校驗的方法，其特征在于，針對有規則的變量數據，采用正則表達式建立校驗規則，進行基于規則的數據校驗。

5.根據權利要求4所述的對互聯網數據采集結果校驗的方法，其特征在于，基于規則的數據校驗方法，具體步驟為：

S31：人工提取采集數據中有規則的變量，并基于業務規則，為各個有規則變量建立其對應的校驗規則；

S32：使用scrapy框架采集數據，并使用xpath工具解析數據，將對規則變量進行基于規則的校驗，如果通過校驗，則繼續步驟S33，否則，轉步驟S34；

S33：通過基于規則的數據校驗模塊，進入無規則變量校驗模塊；

S34：檢查數據采集程序，分析不一致的原因，并更新程序。

6.根據權利要求2所述的對互聯網數據采集結果校驗的方法，其特征在于：基于樸素貝葉斯算法建立臟數據識別模型的步驟為：

S41：數據采集：使用scrapy框架采集數據，并使用xpath工具解析數據；

S42：數據預處理：使用正則表達式過濾數據中的html標簽，設置數據最小長度Min，刪除長度小于Min的數據；

S43：人工識別數據是否為臟數據，得到樣本集，將樣本按一定比例分為訓練集和測試集；

S44：使用分詞工具，對數據進行分詞，將文本數據轉換為詞向量，選取出現頻率最高的n個單詞作為數據特征，記為x₁，x₂……x_n；

S45：分別統計有效數據和臟數據類別下各個單詞出現的概率，統計得到P(x_i|y)，統計臟數據出現的概率和有效數據出現的概率，統計得到P(y)，從而得到貝葉斯模型；

S46：使用測試集驗證模型的準確性，調整模型，提高模型精度。