[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110102336.9
• 申請(qǐng)日: 2021-01-26
• 公開（公告）號(hào): CN112434059B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 蔣乾;施亞東;馮可;王崟壟;趙倫
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/23;G06F16/27
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃晶晶

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

向遠(yuǎn)端數(shù)據(jù)庫所關(guān)聯(lián)的第一服務(wù)器發(fā)送基于超文本傳輸協(xié)議的網(wǎng)絡(luò)請(qǐng)求，以使所述第一服務(wù)器基于所述網(wǎng)絡(luò)請(qǐng)求調(diào)用所述遠(yuǎn)端數(shù)據(jù)庫的接口，以獲取庫表字段信息，返回包含所述庫表字段信息的應(yīng)答信息；

當(dāng)接收到所述遠(yuǎn)端數(shù)據(jù)庫響應(yīng)于所述網(wǎng)絡(luò)請(qǐng)求而反饋的包含所述庫表字段信息的應(yīng)答信息時(shí)，從所述應(yīng)答信息中提取出所述遠(yuǎn)端數(shù)據(jù)庫的庫表字段信息，根據(jù)所述庫表字段信息生成本端數(shù)據(jù)庫的數(shù)據(jù)定義語言語句；

通過所述數(shù)據(jù)定義語言語句創(chuàng)建或更新所述本端數(shù)據(jù)庫的庫表；

通過數(shù)據(jù)同步工具從所述遠(yuǎn)端數(shù)據(jù)庫獲取待同步的數(shù)據(jù)；

將從所述遠(yuǎn)端數(shù)據(jù)庫獲取的所述待同步的數(shù)據(jù)寫入所述庫表中；

當(dāng)接收到針對(duì)所述本端數(shù)據(jù)庫中創(chuàng)建或更新的所述庫表的數(shù)據(jù)處理請(qǐng)求時(shí)，則對(duì)所述數(shù)據(jù)處理請(qǐng)求中的結(jié)構(gòu)化查詢語言語句進(jìn)行語言轉(zhuǎn)換；所述數(shù)據(jù)處理請(qǐng)求是所述遠(yuǎn)端數(shù)據(jù)庫之外的計(jì)算機(jī)設(shè)備所發(fā)送的；

確定所述數(shù)據(jù)處理請(qǐng)求中的結(jié)構(gòu)化查詢語言語句所調(diào)用的函數(shù)；

當(dāng)所述本端數(shù)據(jù)庫存在與所述函數(shù)功能匹配的目標(biāo)函數(shù)時(shí)，通過所述語言轉(zhuǎn)換后的結(jié)構(gòu)化查詢語言語句，對(duì)所述本端數(shù)據(jù)庫中創(chuàng)建或更新的所述庫表進(jìn)行數(shù)據(jù)處理；

當(dāng)所述本端數(shù)據(jù)庫不存在與所述函數(shù)的功能匹配的目標(biāo)函數(shù)時(shí)，注冊(cè)與所述函數(shù)匹配的目標(biāo)函數(shù)；

通過語言轉(zhuǎn)換后的結(jié)構(gòu)化查詢語言語句調(diào)用所述目標(biāo)函數(shù)，以對(duì)所述本端數(shù)據(jù)庫中創(chuàng)建或更新的所述庫表進(jìn)行數(shù)據(jù)處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述應(yīng)答信息中提取出所述遠(yuǎn)端數(shù)據(jù)庫的庫表字段信息，根據(jù)所述庫表字段信息生成本端數(shù)據(jù)庫的數(shù)據(jù)定義語言語句，包括：

解析所述應(yīng)答信息的json字符串，得到解析結(jié)果；

從所述解析結(jié)果中提取所述遠(yuǎn)端數(shù)據(jù)庫的庫表字段信息；

基于所述庫表字段信息和本端數(shù)據(jù)庫的語法規(guī)則，生成本端數(shù)據(jù)的數(shù)據(jù)定義語言語句。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

向遠(yuǎn)端數(shù)據(jù)庫發(fā)送數(shù)據(jù)庫訪問請(qǐng)求，以基于所述數(shù)據(jù)庫訪問請(qǐng)求查找所述遠(yuǎn)端數(shù)據(jù)庫的數(shù)據(jù)定義語言語句，獲得包含所述數(shù)據(jù)定義語言語句的應(yīng)答信息；

當(dāng)接收到所述遠(yuǎn)端數(shù)據(jù)庫響應(yīng)于所述數(shù)據(jù)庫訪問請(qǐng)求而反饋的所述數(shù)據(jù)定義語言語句的應(yīng)答信息時(shí)，從所述應(yīng)答信息中提取出所述遠(yuǎn)端數(shù)據(jù)庫的數(shù)據(jù)定義語言語句；對(duì)所述數(shù)據(jù)定義語言語句進(jìn)行語言轉(zhuǎn)換，得到本端數(shù)據(jù)庫的數(shù)據(jù)定義語言語句。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述數(shù)據(jù)定義語言語句創(chuàng)建或更新所述本端數(shù)據(jù)庫的庫表，包括：

與所述本端數(shù)據(jù)庫關(guān)聯(lián)的第二服務(wù)器建立通信連接；

將所述數(shù)據(jù)定義語言語句注入所述第二服務(wù)器中，以在所述第二服務(wù)器中運(yùn)行所述數(shù)據(jù)定義語言語句，以刪除所述本端數(shù)據(jù)庫的庫表，和/或在所述本端數(shù)據(jù)庫中創(chuàng)建新的庫表。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)同步工具是DataX。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述數(shù)據(jù)處理請(qǐng)求中的結(jié)構(gòu)化查詢語言語句進(jìn)行語言轉(zhuǎn)換，包括：

確定所述數(shù)據(jù)處理請(qǐng)求中結(jié)構(gòu)化查詢語言語句的語法信息；

獲取與所述語法信息對(duì)應(yīng)的目標(biāo)語言轉(zhuǎn)換關(guān)系；

按照所述目標(biāo)語言轉(zhuǎn)換關(guān)系對(duì)所述結(jié)構(gòu)化查詢語言語句中的語法關(guān)鍵詞進(jìn)行修改，或在所述結(jié)構(gòu)化查詢語言語句的目標(biāo)位置新增語法關(guān)鍵詞。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

獲取與所述遠(yuǎn)端數(shù)據(jù)庫對(duì)應(yīng)的語法信息；

基于所述遠(yuǎn)端數(shù)據(jù)庫對(duì)應(yīng)的語法信息與所述本端數(shù)據(jù)庫對(duì)應(yīng)的語法信息之間的語法差異，構(gòu)建所述遠(yuǎn)端數(shù)據(jù)庫與所述本端數(shù)據(jù)庫之間的語言轉(zhuǎn)換關(guān)系；

所述獲取與所述語法信息對(duì)應(yīng)的目標(biāo)語言轉(zhuǎn)換關(guān)系包括：

從所述語言轉(zhuǎn)換關(guān)系中獲取與所述語法信息對(duì)應(yīng)的目標(biāo)語言轉(zhuǎn)換關(guān)系。

8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的方法，其特征在于，所述本端數(shù)據(jù)庫為Hive數(shù)據(jù)倉庫，所述遠(yuǎn)端數(shù)據(jù)庫為TDW數(shù)據(jù)庫。