[發明專利]數據處理方法、裝置、系統及介質在審
| 申請號： | 201711471315.4 | 申請日： | 2017-12-28 |
| 公開（公告）號： | CN110019345A | 公開（公告）日： | 2019-07-16 |
| 發明（設計）人： | 馬文軍 | 申請（專利權）人： | 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司 |
| 主分類號： | G06F16/2453 | 分類號： | G06F16/2453;G06F16/27 |
| 代理公司： | 中科專利商標代理有限責任公司 11021 | 代理人： | 呂雁葭 |
| 地址： | 100195 北京市海淀區杏石口路6*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 中間數據庫 第一數據 數據處理 數據處理裝置 訪問系統 數據查詢 暫存 分流 | ||
1.一種數據處理方法，包括：
接收訪問系統的多個第一數據；以及
將所述多個第一數據實時分流暫存于至少兩個中間數據庫，其中，所述中間數據庫能夠隨機寫入數據并能夠進行數據查詢。
2.根據權利要求1所述的方法，其中，將所述多個第一數據實時分流暫存于至少兩個中間數據庫之前，還包括：
對每一個第一數據，判斷所述第一數據是否屬于重復性數據；以及
在所述第一數據屬于重復性數據的情況下，攔截所述第一數據。
3.根據權利要求1所述的方法，其中，將所述多個第一數據實時分流暫存于至少兩個中間數據庫包括：
根據所述中間數據庫的個數，將所述多個第一數據以輪詢方式實時分流至所述至少兩個中間數據庫。
4.根據權利要求1所述的方法，還包括：
根據調度任務將所述中間數據庫的數據持久化至第二數據庫，其中所述第二數據庫能夠持久化存儲和查詢數據。
5.根據權利要求4所述的方法，其中，所述調度任務包括以下的任意一項或多項：
持久化操作的時間間隔、每次持久化操作的數據量、以及每次持久化操作的數據類型。
6.根據權利要求4所述的方法，根據調度任務將所述中間數據庫的數據持久化至第二數據庫之后，還包括：
從所述中間數據庫刪除被持久化處理的數據。
7.根據權利要求1所述的方法，其中：
所述中間數據庫包括LevelDB數據庫。
8.一種數據處理裝置，包括：
數據接收模塊，用于接收訪問系統的多個第一數據；以及
數據分流模塊，用于將所述多個第一數據實時分流暫存于至少兩個中間數據庫，其中，所述中間數據庫隨機寫入數據并能夠進行數據查詢。
9.根據權利要求8所述的裝置，其中，還包括：
重復性判斷模塊，用于在將所述多個第一數據分流暫存至兩個以上的中間數據庫之前，對每一個第一數據，判斷所述第一數據是否屬于重復性數據；以及
重復數據攔截模塊，用于在所述第一數據屬于重復性數據的情況下，攔截所述第一數據。
10.根據權利要求8所述的裝置，其中，將所述多個第一數據實時分流暫存于至少兩個中間數據庫包括：
根據所述中間數據庫的個數，將所述多個第一數據以輪詢方式實時分流至所述至少兩個中間數據庫。
11.根據權利要求8所述的裝置，還包括：
數據持久化模塊，用于根據調度任務將所述中間數據庫的數據持久化至第二數據庫，其中所述第二數據庫能夠持久化存儲和查詢數據。
12.根據權利要求11所述的裝置，其中，所述調度任務包括以下的任意一項或多項：
持久化操作的時間間隔、每次持久化操作的數據量、以及每次持久化操作的數據類型。
13.根據權利要求11所述的裝置，還包括：
數據刪除模塊，用于在根據調度任務將所述中間數據庫的數據持久化至第二數據庫之后，從所述中間數據庫刪除被持久化處理的數據。。
14.根據權利要求8所述的裝置，其中：
所述中間數據庫包括LevelDB數據庫。
15.一種數據處理系統，包括：
一個或多個處理器；
存儲器，用于存儲一個或多個程序，
其中，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現根據權利要求1～7任意一項所述的方法。
16.一種計算機可讀介質，其上存儲有可執行指令，該指令被處理器執行時使處理器實現根據權利要求1～7任意一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司，未經北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201711471315.4/1.html，轉載請聲明來源鉆瓜專利網。
