[發明專利]數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 202010418743.6
• 申請日: 2020-05-18
• 公開（公告）號: CN111625524B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 孫永超;謝永恒;張俊杰;毛勇崗
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/245;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種數據處理方法、裝置、設備及存儲介質。該方法包括：根據至少一個目標屬性信息，從原始數據庫中查詢具有所述至少一個目標屬性信息的第一數據信息；將所述第一數據信息寫入所述分布式數據庫的至少兩個節點中；根據所述至少一個目標屬性信息，從包括有所述第一數據信息的節點中查詢具有所述至少一個目標屬性信息的第二數據信息；根據所述第二數據信息，生成數據信息表，上述技術方案能夠在保證數據處理質量的同時提高數據處理的效率。

技術領域

本發明實施例涉及大數據處理技術領域，尤其涉及一種數據處理方法、裝置、設備及存儲介質。

背景技術

隨著大數據技術的成熟，基于內存計算的開源的分布式集群并行計算框架Spark，被廣泛地應用在大數據處理領域。

然而，目前通過Spark處理數據時，數據在進行整合的過程中速度較慢，當數據量比較大時，影響數據的處理效率。

因此，亟需一種數據處理方法，能夠在保證數據處理質量的同時提高數據處理的效率。

發明內容

本發明提供了一種數據處理方法、裝置、設備及存儲介質，以實現保證數據處理質量的同時提高數據處理的效率。

第一方面，本發明實施例提供了一種數據處理方法，包括：

根據至少一個目標屬性信息，從原始數據庫中查詢具有所述至少一個目標屬性信息的第一數據信息；

將所述第一數據信息寫入所述分布式數據庫的至少兩個節點中；

根據所述至少一個目標屬性信息，從包括有所述第一數據信息的節點中查詢具有所述至少一個目標屬性信息的第二數據信息；

根據所述第二數據信息，生成數據信息表。

第二方面，本發明實施例還提供了一種數據處理裝置，包括：

第一數據信息查詢模塊，用于根據至少一個目標屬性信息，從原始數據庫中查詢具有所述至少一個目標屬性信息的第一數據信息；

第一數據信息寫入模塊，用于將所述第一數據信息寫入所述分布式數據庫的至少兩個節點中；

第二數據信息查詢模塊，用于根據所述至少一個目標屬性信息，從包括有所述第一數據信息的節點中查詢具有所述至少一個目標屬性信息的第二數據信息；

數據信息表生成模塊，用于根據所述第二數據信息，生成數據信息表。

第三方面，本發明實施例還提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如本發明實施例中任一所述的數據處理方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明實施例中任一所述的數據處理方法。

本發明通過根據至少一個目標屬性信息，從原始數據庫中查詢具有所述至少一個目標屬性信息的第一數據信息；將所述第一數據信息寫入所述分布式數據庫的至少兩個節點中；根據所述至少一個目標屬性信息，從包括有所述第一數據信息的節點中查詢具有所述至少一個目標屬性信息的第二數據信息；根據所述第二數據信息，生成數據信息表，本發明能夠實現保證數據處理質量的同時提高數據處理的效率。

附圖說明

圖1a是本發明實施例一中提供的一種數據處理方法的流程示意圖；

圖1b是本發明實施例一中提供的第一數據信息寫入分布式數據庫中至少兩個節點的流程示意圖；

圖2是本發明實施例二中提供的一種數據處理裝置的結構示意圖；

圖3是本發明實施例三中提供的一種設備的結構示意圖。

具體實施方式