[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810277788.9
• 申請日: 2018-03-30
• 公開（公告）號: CN110555041A
• 公開（公告）日: 2019-12-10
• 發(fā)明（設(shè)計）人: 董嶠術(shù);張燦杰;王雙寶;王昂;劉軍
• 申請（專利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 44224 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司
• 代理人: 何平;鄧云鵬

1.一種數(shù)據(jù)處理方法，包括：

獲取攜帶有數(shù)據(jù)信息的數(shù)據(jù)讀取請求；

基于預(yù)先配置的鍵名映射規(guī)則，根據(jù)所述數(shù)據(jù)信息，獲取請求讀取的數(shù)據(jù)對應(yīng)的鍵名；

根據(jù)所述鍵名，調(diào)用緩存服務(wù)器的服務(wù)接口，讀取所述鍵名對應(yīng)的值，所述緩存服務(wù)器緩存有源數(shù)據(jù)庫的全量數(shù)據(jù)；

將讀取的所述值返回至請求終端。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)；

根據(jù)緩存配置信息，將加載的所述數(shù)據(jù)寫入所述緩存服務(wù)器。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)加載指令包括全量數(shù)據(jù)加載指令，所述根據(jù)數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)，包括：根據(jù)全量數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載全量數(shù)據(jù)。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述數(shù)據(jù)加載指令包括增量數(shù)據(jù)加載指令；所述根據(jù)數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)，包括：當(dāng)達(dá)到設(shè)定的增量數(shù)據(jù)加載條件時，根據(jù)增量數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載增量數(shù)據(jù)。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)，包括：

根據(jù)數(shù)據(jù)加載指令，調(diào)用zookeeper集群確定應(yīng)用服務(wù)器集群中的主節(jié)點(diǎn)；

主節(jié)點(diǎn)根據(jù)數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述緩存配置信息包括所述鍵名映射規(guī)則，所述根據(jù)緩存配置信息，將加載的所述數(shù)據(jù)寫入所述緩存服務(wù)器，包括：

根據(jù)所述鍵名映射規(guī)則，從加載的所述數(shù)據(jù)中提取數(shù)據(jù)表名和字段名，得到鍵名；

從加載的所述數(shù)據(jù)中提取所述數(shù)據(jù)表名和字段名對應(yīng)的值；

根據(jù)所述緩存配置信息調(diào)用所述緩存服務(wù)器的接口，將所述鍵名和所述值以鍵值對的形式寫入緩存服務(wù)器。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述鍵名，調(diào)用緩存服務(wù)器的服務(wù)接口，讀取所鍵名對應(yīng)的值，包括：

根據(jù)所述鍵名，調(diào)用主緩存服務(wù)器集群的服務(wù)接口；

當(dāng)調(diào)用所述主緩存服務(wù)器集群異常時，調(diào)用備份緩存服務(wù)器集群的接口，讀取所述鍵名對應(yīng)的值。

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

讀取請求獲取模塊，用于獲取攜帶有數(shù)據(jù)信息的數(shù)據(jù)讀取請求；

鍵名獲取模塊，用于基于預(yù)先配置的鍵名映射規(guī)則，根據(jù)所述數(shù)據(jù)信息，獲取請求讀取的數(shù)據(jù)對應(yīng)的鍵名；

讀取模塊，用于根據(jù)所述鍵名，調(diào)用緩存服務(wù)器的服務(wù)接口，讀取所述鍵名對應(yīng)的值，所述緩存服務(wù)器緩存有源數(shù)據(jù)庫的全量數(shù)據(jù)；

發(fā)送模塊，用于將讀取的所述值返回至請求終端。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括：

加載模塊，用于根據(jù)數(shù)據(jù)加載指令和數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)；

緩存寫入模塊，用于根據(jù)緩存配置信息，將加載的所述數(shù)據(jù)寫入所述緩存服務(wù)器。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述加載模塊，用于根據(jù)數(shù)據(jù)加載指令，調(diào)用zookeeper集群確定應(yīng)用服務(wù)器集群中的主節(jié)點(diǎn)；主節(jié)點(diǎn)根據(jù)數(shù)據(jù)加載配置信息，從源數(shù)據(jù)庫中加載數(shù)據(jù)。

11.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述緩存寫入模塊，包括：

鍵名提取模塊，用于根據(jù)所述鍵名映射規(guī)則，從加載的所述數(shù)據(jù)中提取數(shù)據(jù)表名和字段名，得到鍵名；

值提取模塊，用于從加載的所述數(shù)據(jù)中提取所述數(shù)據(jù)表名和字段名對應(yīng)的值；

寫入模塊，用于根據(jù)所述緩存配置信息調(diào)用所述緩存服務(wù)器的接口，將所述鍵名和所述值以鍵值對的形式寫入緩存服務(wù)器。