[發明專利]一種數據收集方法、裝置、設備及存儲介質

有效

• 申請號: 202011436028.1
• 申請日: 2020-12-11
• 公開（公告）號: CN112231385B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 李政軍;陳婭芳
• 申請（專利權）人: 湖南新云網科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/23;G06F16/248
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

本發明提供了一種數據收集方法、裝置、設備及存儲介質，該方法包括：將數據倉庫中與業務系統對應的主數據導入至錄入數據庫；獲取外界基于所述主數據向所述錄入數據庫中輸入的補充數據，并利用所述主數據與所述補充數據進行關聯，得到有效的補充數據；將所述有效的補充數據存儲至所述數據倉庫中，經處理后進行展示。從而通過這種方式實現對數據倉庫中數據的補充，提高數據倉庫中數據的完整性，進而保證后續能夠有效實現對數據倉庫中數據的數據分析等操作。

技術領域

本發明涉及大數據系統技術領域，更具體地說，涉及一種數據收集方法、裝置、設備及存儲介質。

背景技術

現有的大數據系統中，數據的采集通常是由數據源端統一采集的方式，且禁止在數據展示端對數據進行更改，但是發明人發現可能存在大數據系統的數據庫中數據不完整等情況，此時對大數據系統的數據庫中數據進行展示，會導致展示的數據完整性較低，進而影響相應的數據分析等。

發明內容

本發明的目的是提供一種數據收集方法、裝置、設備及存儲介質，能夠實現對數據倉庫中數據的補充，提高數據倉庫中數據的完整性，進而保證后續能夠有效實現對數據倉庫中數據的數據分析等操作。

為了實現上述目的，本發明提供如下技術方案：

一種數據收集方法，包括：

將數據倉庫中與業務系統對應的主數據導入至錄入數據庫；

獲取外界基于所述主數據向所述錄入數據庫中輸入的補充數據，并利用所述主數據與所述補充數據進行關聯，得到有效的補充數據；

將所述有效的補充數據存儲至所述數據倉庫中，經處理后進行展示。

優選的，獲取外界基于所述主數據向所述錄入數據庫中輸入的補充數據，包括：

定時對所述錄入數據庫進行巡邏，如果在巡邏中發現所述錄入數據庫中存在上次巡邏時并不存在的新的數據，則確定該新的數據為外界基于所述主數據向所述錄入數據庫中輸入的補充數據。

優選的，獲取外界基于所述主數據向所述錄入數據庫中輸入的補充數據，包括：

接收外界發送的錄入指令，在所述錄入指令的觸發下對所述錄入數據庫進行監控，確定監控中外界在發送所述錄入指令后向所述錄入數據庫中輸入的錄入數據，并確定該錄入數據為外界基于所述主數據向所述錄入數據庫中輸入的補充數據。

優選的，還包括：

在對所述補充數據進行處理的過程中，將對所述補充數據進行處理的各處理步驟的執行信息進行存儲，以供查詢；其中，所述處理步驟包括獲取、分析、關聯及存儲，所述執行信息包括執行過程及執行結果的信息。

優選的，還包括：

接收外界輸入的查詢指令，調取與所述查詢指令對應的執行信息，并將調取到的各執行信息以列表的形式進行展示。

優選的，還包括：

如果在對所述補充數據進行處理的過程中，如果任一處理步驟的執行結果為出現錯誤，則將該錯誤對應的錯誤信息實時進行展示。

優選的，將所述有效的補充數據存儲至所述數據倉庫中之后，還包括：

確定所述數據倉庫中存儲的與所述主數據關聯的原始關聯數據，并對所述有效的補充數據及確定出的原始關聯數據進行去重操作。

一種數據收集裝置，包括：

導入模塊，用于：將數據倉庫中與業務系統對應的主數據導入至錄入數據庫；

分析模塊，用于：獲取外界基于所述主數據向所述錄入數據庫中輸入的補充數據，并利用所述主數據與所述補充數據進行關聯，得到有效的補充數據；