[發(fā)明專利]一種數(shù)據(jù)處理方法和裝置有效
| 申請?zhí)枺?/td> | 201811096346.0 | 申請日： | 2018-09-19 |
| 公開（公告）號： | CN109388651B | 公開（公告）日： | 2020-11-10 |
| 發(fā)明（設(shè)計）人： | 吳洋;蘇飛;王振亞 | 申請（專利權(quán)）人： | 中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司 |
| 主分類號： | G06F16/245 | 分類號： | G06F16/245;G06F16/2455;G06F16/27 |
| 代理公司： | 北京中博世達專利商標代理有限公司 11274 | 代理人： | 申健 |
| 地址： | 100033 *** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 數(shù)據(jù)處理 方法 裝置 | ||
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：
獲取待處理數(shù)據(jù)，所述待處理數(shù)據(jù)的屬性包括所述待處理數(shù)據(jù)的數(shù)據(jù)量和查詢效率中的至少一個；
若確定所述待處理數(shù)據(jù)滿足第一預(yù)設(shè)條件，將所述待處理數(shù)據(jù)存儲至分布式集群系統(tǒng)，所述待處理數(shù)據(jù)滿足第一預(yù)設(shè)條件包括：所述待處理數(shù)據(jù)的數(shù)據(jù)量大于或等于第一預(yù)設(shè)閾值，和/或所述待處理數(shù)據(jù)的存儲周期大于或等于第二預(yù)設(shè)閾值；
若確定所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)的名稱符合第二預(yù)設(shè)條件，根據(jù)所述待處理數(shù)據(jù)的屬性將所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)拷貝至至少一個數(shù)據(jù)庫中與所述待處理數(shù)據(jù)的屬性對應(yīng)的數(shù)據(jù)庫，所述待處理數(shù)據(jù)的名稱符合第二預(yù)設(shè)條件是指：所述待處理數(shù)據(jù)的字段符合預(yù)設(shè)的字段格式。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，若確定所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)的名稱不符合第二預(yù)設(shè)條件，所述方法還包括：
識別所述待處理數(shù)據(jù)的字段；
根據(jù)所述待處理數(shù)據(jù)的字段，將所述待處理數(shù)據(jù)拷貝并劃分至至少一個解析組進行解析處理，獲得符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)；其中，一個解析組對應(yīng)一個數(shù)據(jù)庫；
將所述至少一個解析組中存儲的所述符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)分別拷貝至對應(yīng)的數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述將所述至少一個解析組中存儲的所述符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)分別拷貝至對應(yīng)的數(shù)據(jù)庫具體包括：
根據(jù)所述至少一個解析組的屬性將至少一個解析組中存儲的所述符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)分別拷貝至對應(yīng)的數(shù)據(jù)庫；一個解析組的屬性包括該解析組中存儲的所述符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)的數(shù)據(jù)量和查詢效率中的至少一個。
4.根據(jù)權(quán)利要求1或3所述的數(shù)據(jù)處理方法，其特征在于，所述若確定所述待處理數(shù)據(jù)滿足第一預(yù)設(shè)條件，將所述待處理數(shù)據(jù)存儲至分布式集群系統(tǒng)后，所述方法還包括：
若所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)的重要程度高于第三預(yù)設(shè)閾值，將重要程度高于第三預(yù)設(shè)閾值的所述待處理數(shù)據(jù)復制至少兩份存儲至所述分布式集群系統(tǒng)中。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：
接收用戶的查詢請求，所述查詢請求中包含查詢參數(shù)；
根據(jù)所述查詢參數(shù)包含的字段標識，查找所述至少一個數(shù)據(jù)庫中包含所述字段標識的數(shù)據(jù)庫，并返回查詢結(jié)果。
6.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：
獲取單元，用于獲取待處理數(shù)據(jù)，所述待處理數(shù)據(jù)的屬性包括所述待處理數(shù)據(jù)的數(shù)據(jù)量和查詢效率中的至少一個；
處理單元，用于若確定所述獲取單元獲取的所述待處理數(shù)據(jù)滿足第一預(yù)設(shè)條件，將所述待處理數(shù)據(jù)存儲至分布式集群系統(tǒng)，所述待處理數(shù)據(jù)滿足第一預(yù)設(shè)條件包括：所述待處理數(shù)據(jù)的數(shù)據(jù)量大于或等于第一預(yù)設(shè)閾值，和/或所述待處理數(shù)據(jù)的存儲周期大于或等于第二預(yù)設(shè)閾值；
所述處理單元，還用于若確定所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)的名稱符合第二預(yù)設(shè)條件，根據(jù)所述待處理數(shù)據(jù)的屬性將所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)拷貝至至少一個數(shù)據(jù)庫中與所述待處理數(shù)據(jù)的屬性對應(yīng)的數(shù)據(jù)庫，所述待處理數(shù)據(jù)的名稱符合第二預(yù)設(shè)條件是指：所述待處理數(shù)據(jù)的字段符合預(yù)設(shè)的字段格式。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理裝置，其特征在于，
所述處理單元，還用于若確定所述分布式集群系統(tǒng)中存儲的所述待處理數(shù)據(jù)的名稱不符合第二預(yù)設(shè)條件，識別所述待處理數(shù)據(jù)的字段；
所述處理單元，還用于根據(jù)所述待處理數(shù)據(jù)的字段，將所述待處理數(shù)據(jù)拷貝并劃分至至少一個解析組進行解析處理，獲得符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)；其中，一個解析組對應(yīng)一個數(shù)據(jù)庫；
所述處理單元，還用于將所述至少一個解析組中存儲的所述符合預(yù)設(shè)的字段格式的待處理數(shù)據(jù)分別拷貝至對應(yīng)的數(shù)據(jù)庫。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司，未經(jīng)中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811096346.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)處理設(shè)備，數(shù)據(jù)處理方法，和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理電路、數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、數(shù)據(jù)處理控制方法
- 數(shù)據(jù)處理設(shè)備、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及計算機可讀取的記錄介質(zhì)
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
