[發(fā)明專利]一種把傳統(tǒng)數(shù)據(jù)庫(kù)腳本批量轉(zhuǎn)換上云的大數(shù)據(jù)系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111053034.3
• 申請(qǐng)日: 2021-09-09
• 公開（公告）號(hào): CN113535758B
• 公開（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 羅劍鋒;王強(qiáng);陳學(xué)明;黃志翔;趙濤;吳名朝
• 申請(qǐng)（專利權(quán)）人: 浩鯨云計(jì)算科技股份有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/25;G06F16/28
• 代理公司: 南京中盟科創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32279
• 代理人: 張靖堯

本發(fā)明公開了一種把傳統(tǒng)數(shù)據(jù)庫(kù)腳本批量轉(zhuǎn)換上云的大數(shù)據(jù)系統(tǒng)和方法，該系統(tǒng)包括：語法解析器模塊、異構(gòu)數(shù)據(jù)庫(kù)之間轉(zhuǎn)換映射模塊及腳本轉(zhuǎn)換模塊。有益效果：本發(fā)明快速精準(zhǔn)將需要轉(zhuǎn)化的業(yè)務(wù)SQL識(shí)別和提取，按照需要上云轉(zhuǎn)化識(shí)別的語法，對(duì)SQL進(jìn)行語法重構(gòu)轉(zhuǎn)換，成功率達(dá)96.7%以上，語義提取識(shí)別和語法轉(zhuǎn)化準(zhǔn)確率達(dá)85.4%以上。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)產(chǎn)品領(lǐng)域，具體來說，涉及一種把傳統(tǒng)數(shù)據(jù)庫(kù)腳本批量轉(zhuǎn)換上云的大數(shù)據(jù)系統(tǒng)和方法。

背景技術(shù)

信息技術(shù)的飛速發(fā)展，推動(dòng)著IT技術(shù)的各個(gè)方面發(fā)生變革。近幾年，IT領(lǐng)域正加速步入云計(jì)算時(shí)代。云計(jì)算的提出引發(fā)了新的計(jì)算變革，催生出新的IT服務(wù)模式，進(jìn)而使工作方式和商業(yè)模式發(fā)生了根本性改變。追根溯源，云計(jì)算與并行計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算不無關(guān)系，更是虛擬化、效用計(jì)算、SaaS（Software-as-a-Service，軟件即服務(wù)）、SOA（面向服務(wù)的體系結(jié)構(gòu)，是一個(gè)組件模型）等技術(shù)混合演進(jìn)的結(jié)果。通過與相關(guān)技術(shù)、商業(yè)模式、創(chuàng)新要素形成的有機(jī)互動(dòng)，云計(jì)算已經(jīng)成為信息產(chǎn)業(yè)實(shí)現(xiàn)跨越式發(fā)展的重要驅(qū)動(dòng)力。

對(duì)企業(yè)而言，數(shù)據(jù)中心的各種系統(tǒng)（包括軟硬件與基礎(chǔ)設(shè)施）是一大筆資源投入。一方面，新系統(tǒng)（主要指硬件部分）一般經(jīng)過3-5年即面臨逐步老化與淘汰，軟件則面臨不斷升級(jí)的壓力；另一方面，IT的投入難以跟上業(yè)務(wù)發(fā)展的步伐，即使利用虛擬化技術(shù)，也解決不了不斷增加的業(yè)務(wù)對(duì)資源的變化需求，一定時(shí)期內(nèi)擴(kuò)展性總是有所限制。于是，企業(yè)產(chǎn)生了新的需求：IT資源能夠彈性擴(kuò)展、按需服務(wù)，將服務(wù)作為IT的核心，提升業(yè)務(wù)敏捷性，從而大幅降低成本。因此，面向服務(wù)的IT需求開始演化到云計(jì)算架構(gòu)上。

另外，現(xiàn)代企業(yè)有一個(gè)關(guān)鍵的生產(chǎn)資料和要素，那就是數(shù)據(jù)。數(shù)據(jù)已經(jīng)成為企業(yè)的核心資產(chǎn)，而對(duì)數(shù)據(jù)的使用和挖掘能力也日益成為企業(yè)的核心競(jìng)爭(zhēng)力。利用云計(jì)算技術(shù)與服務(wù)能夠更方便地收集、計(jì)算、挖掘數(shù)據(jù)，使那些不具備大數(shù)據(jù)基礎(chǔ)設(shè)施的企業(yè)也能享受到大數(shù)據(jù)帶來的紅利。

原來傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)通過存儲(chǔ)過程等腳本計(jì)算加工數(shù)據(jù)，實(shí)現(xiàn)相關(guān)ETL（數(shù)據(jù)倉(cāng)庫(kù)技術(shù)）功能，數(shù)據(jù)上云后，相關(guān)的計(jì)算加工邏輯ETL功能需要遷移上云，原有的存儲(chǔ)過程等腳本是經(jīng)過日積月累長(zhǎng)期沉淀的業(yè)務(wù)邏輯結(jié)果，如果通過人工方式進(jìn)行遷移上云，會(huì)存在大量的異構(gòu)數(shù)據(jù)庫(kù)語法、函數(shù)及關(guān)鍵字等差異造成的人工轉(zhuǎn)換工作量，同時(shí)這些工作可能是一些重復(fù)低效的工作。

針對(duì)相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對(duì)相關(guān)技術(shù)中的問題，本發(fā)明提出一種把傳統(tǒng)數(shù)據(jù)庫(kù)腳本批量轉(zhuǎn)換上云的大數(shù)據(jù)系統(tǒng)和方法，以克服現(xiàn)有相關(guān)技術(shù)所存在的上述技術(shù)問題。

為此，本發(fā)明采用的具體技術(shù)方案如下：

根據(jù)本發(fā)明的一個(gè)方面，提供了一種把傳統(tǒng)數(shù)據(jù)庫(kù)腳本批量轉(zhuǎn)換上云的大數(shù)據(jù)系統(tǒng)，該系統(tǒng)包括：語法解析器模塊、異構(gòu)數(shù)據(jù)庫(kù)之間轉(zhuǎn)換映射模塊及腳本轉(zhuǎn)換模塊；

其中，所述語法解析器模塊，用于根據(jù)不同的關(guān)系型數(shù)據(jù)庫(kù)對(duì)相關(guān)上云轉(zhuǎn)換識(shí)別語法及代碼規(guī)范定義進(jìn)行配置，且產(chǎn)品根據(jù)不同的項(xiàng)目現(xiàn)場(chǎng)通過配置的關(guān)鍵字對(duì)相關(guān)的關(guān)系型數(shù)據(jù)庫(kù)轉(zhuǎn)換的結(jié)構(gòu)化查詢語言進(jìn)行識(shí)別和提取，同時(shí)結(jié)合不同目標(biāo)庫(kù)轉(zhuǎn)換的語法進(jìn)行轉(zhuǎn)換重構(gòu)；

所述異構(gòu)數(shù)據(jù)庫(kù)之間轉(zhuǎn)換映射模塊，用于根據(jù)不同的數(shù)據(jù)庫(kù)相關(guān)的函數(shù)，對(duì)關(guān)鍵字的區(qū)別差異進(jìn)行梳理并配置成模板，同時(shí)通過模板選擇實(shí)現(xiàn)相關(guān)語法的轉(zhuǎn)換；

所述腳本轉(zhuǎn)換模塊，用于支持不同格式的代碼轉(zhuǎn)換輸出，并通過模板方式選擇，實(shí)現(xiàn)不同格式的腳本轉(zhuǎn)換；

其中，所述異構(gòu)數(shù)據(jù)庫(kù)之間轉(zhuǎn)換映射模塊轉(zhuǎn)換映射時(shí)，包括函數(shù)、語法及關(guān)鍵字轉(zhuǎn)換映射。

進(jìn)一步的，所述語法解析器模塊包括加載腳本模塊、分析語句單詞模塊及腳本拆分模塊；

其中，所述加載腳本模塊，用于針對(duì)加載的結(jié)構(gòu)化查詢語言腳本，通過JSON進(jìn)行匹配；