[發明專利]一種數據批量導入方法及其系統

在審

• 申請號: 201810508833.7
• 申請日: 2018-05-24
• 公開（公告）號: CN108897765A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 許士松
• 申請（專利權）人: 上海鋼聯電子商務股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 洪敏;謝緒寧

本發明涉及數據發布技術領域，公開了一種數據批量導入方法及其系統，其中方法包括：在數據庫中設定關鍵詞模板；獲取內含關鍵詞的目標數據；根據關鍵詞校驗目標數據；校驗成功則將目標數據導入到數據庫；校驗不成功，標記目標數據為待審核狀態，并推送至人工管理后臺；人工管理后臺對目標數據進行人工審核，若審核成功，則將目標數據導入到數據庫，若審核不成功，則刪除目標數據；設置關鍵詞模板提高獲取目標數據的準確性，然后校驗，若校驗通過則可以導入數據庫，若校驗不通過則采用人工審核的方式來刪除，自動校驗能夠自動的處理通過大量的目標數據，少部分的目標數據才需要人工審核，大大加快了導入目標數據的速度與有效率。

技術領域

本發明涉及數據發布技術領域，更具體地說，它涉及一種數據批量導入方法及其系統。

背景技術

在互聯網產品交易平臺上，用戶需要知道網絡上該產品的價格波動，以及業內的行情，不同的供應商提供的產品價格與行情之間存在著差異，因此，互聯網產品交易平臺的后臺會通過網絡爬蟲從而多個不同供應商的產品網站，抓取與該產品有關的產品價格與行情數據，然后再根據抓取的數據分析出該產品的參考產品價格與行情。

但是隨著互聯網上數據的不斷增加，網絡爬蟲抓取的數據數量也越來越大，在數據數量少時，使用人工手動向數據庫中錄入數據還能夠而接受，而當數據數量增加到人工手動錄入數據的速度趕不上數據更新的速度時，不能再采用人工手動錄入數據的方法，而需要一種數據批量導入的方法。

發明內容

本發明技術方案所解決的技術問題為，數據數量增加到人工手動錄入數據的速度趕不上數據更新的速度時，數據錄入需要一種數據批量導入的方法。

為實現上述目的，本發明技術方案提供了一種數據批量導入方法，包括如下步驟：

在數據庫中設定關鍵詞模板；

獲取內含所述關鍵詞的目標數據；

根據所述目標數據中的所述關鍵詞對所述目標數據進行校驗，其中，校驗規則為獲取的所述目標數據與所述數據庫中的所述目標數據的環比值低于設定環比，或者，校驗規則為獲取的所述目標數據與所述數據庫中的所述目標數據的同比值低于設定同比，或者，校驗規則為獲取的所述目標數據與所述數據庫中的所述目標數據的漲跌幅值未超出設定漲跌幅；

若校驗成功則將所述目標數據導入到數據庫，并將所述目標數據中的所述關鍵詞順序與所述關鍵詞模板中的所述關鍵詞順序一致排序；

若校驗不成功，則所述目標數據標記為待審核狀態，并推送至人工管理后臺；

人工管理后臺對標記為待審核狀態的所述目標數據進行人工審核，若審核成功，則將所述目標數據導入到所述數據庫，若審核不成功，則刪除所述目標數據。

通過上述技術方案，設置關鍵詞模板提高獲取目標數據的準確性，然后校驗目標數據中的關鍵詞，若校驗通過則可以導入數據庫，若校驗不通過則采用人工審核的方式來刪除，多條成批量處理的目標數據中能校驗通過的目標數據數量占據了大部分，因此自動校驗能夠自動的處理通過大量的目標數據，少部分的目標數據才需要人工審核，大大加快了導入目標數據的速度與效率。

進一步的，所述關鍵詞包括數據名稱、數據類型以及數據來源。

通過上述技術方案，采用數據名稱作為關鍵詞能夠對目標數據進行初次的識別，數據類型則能提高目標數據的校驗準確率，數據來源則能方便人工審核目標數據的可靠性。

進一步的，所述獲取內含所述關鍵詞的目標數據，還包括：

選擇導入的數據端口；

從所述數據端口中確定導入的數據列表，所述數據列表中具有多條所述目標數據；

顯示所述數據列表中所述目標數據是否成功導入的結果。