[發明專利]數據處理方法、裝置、系統及介質

在審

• 申請號: 201711471315.4
• 申請日: 2017-12-28
• 公開（公告）號: CN110019345A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 馬文軍
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/27
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

本公開提供了一種數據處理方法。所述方法包括接收訪問系統的多個第一數據，以及將所述多個第一數據分流暫存于至少兩個中間數據庫，其中，所述中間數據庫能夠進行數據查詢。本公開還提供了一種數據處理裝置、系統及介質。

技術領域

本公開涉及互聯網技術領域，更具體地，涉及一種數據處理方法、裝置、系統及介質。

背景技術

互聯網發展迅猛的今天，數據的增長量超乎想互聯網系統中，有時候會遇到高并發寫入數據的情況，例如電商大促銷活動、集中網絡報名、或者集中網絡查詢等一系列情形。在這些高并發寫入數據的情況下，如何保證大量的高并發寫入的數據的準確性、不丟失性和系統穩定性是非常關鍵的?，F有技術中普遍采用的方案是利用消息中間件的隊列特性將寫入系統的大量數據的堆積在消息隊列中，后續再逐個進行消費處理，例如持久化寫入數據庫中。

在實現本發明構思的過程中，發明人發現現有技術中至少存在如下問題：現有技術中消息中間件起到了數據隊列管道的作用，高并發數據寫入后都進入數據隊列中等待被處理。當數據量巨大時(例如數據洪峰期)該消息中間件有可能由于壓力過大而崩潰，導致消息隊列中的數據丟失。而且大量數據積壓在該消息中間件中，也無法提供實時的查詢等數據分析服務。

發明內容

有鑒于此，本公開提供了一種可以將高并發寫入數據實時分流至多個中間數據庫并可以提供一定的實時查詢功能的數據處理方法、裝置、系統及介質。

本公開的一個方面提供了一種一種數據處理方法。所述方法包括：接收訪問系統的多個第一數據，以及將所述多個第一數據實時分流暫存于至少兩個中間數據庫，其中，所述中間數據庫能夠隨機寫入數據并能夠進行數據查詢。

根據本公開的實施例，在將所述多個第一數據實時分流暫存于至少兩個中間數據庫之前，所述方法還包括：對每一個第一數據，判斷所述第一數據是否屬于重復性數據；以及在所述第一數據屬于重復性數據的情況下，攔截所述第一數據。

根據本公開的實施例，將所述多個第一數據實時分流暫存于至少兩個中間數據庫，包括根據所述中間數據庫的個數，將所述多個第一數據以輪詢方式分流至所述至少兩個中間數據庫。

根據本公開的實施例，所述方法還包括根據調度任務將所述中間數據庫的數據持久化至第二數據庫，其中所述第二數據庫能夠持久化存儲和查詢數據。

根據本公開的實施例，所述調度任務包括以下的任意一項或多項：持久化操作的時間間隔、每次持久化操作的數據量、以及每次持久化操作的數據類型。

根據本公開的實施例，根據調度任務將所述中間數據庫的數據持久化至第二數據庫之后，所述方法還包括從所述中間數據庫刪除被持久化處理的數據。。

根據本公開的實施例，所述中間數據庫包括LevelDB數據庫。

本公開的另一方面提供了一種數據處理裝置，包括數據接收模塊和數據分流模塊。數據接收模塊用于接收訪問系統的多個第一數據。數據分流模塊，用于將所述多個第一數據實時分流暫存于至少兩個中間數據庫，其中，所述中間數據庫能夠隨機寫入數據并能夠進行數據查詢。

根據本公開的實施例，所述裝置還包括重復性判斷模塊和重復數據攔截模塊。重復性判斷模塊用于在將所述多個第一數據分流暫存至兩個以上的中間數據庫之前，對每一個第一數據，判斷所述第一數據是否屬于重復性數據。重復數據攔截模塊用于在所述第一數據屬于重復性數據的情況下，攔截所述第一數據。

根據本公開的實施例，將所述多個第一數據實時分流暫存于至少兩個中間數據庫，包括根據所述中間數據庫的個數，將所述多個第一數據以輪詢方式分流至所述至少兩個中間數據庫。

根據本公開的實施例，所述裝置還包括數據持久化模塊。數據持久化模塊用于根據調度任務將所述中間數據庫的數據持久化至第二數據庫，其中所述第二數據庫能夠持久化存儲和查詢數據。