[發明專利]一種把傳統數據庫腳本批量轉換上云的大數據系統和方法

有效

• 申請號: 202111053034.3
• 申請日: 2021-09-09
• 公開（公告）號: CN113535758B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 羅劍鋒;王強;陳學明;黃志翔;趙濤;吳名朝
• 申請（專利權）人: 浩鯨云計算科技股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/25;G06F16/28
• 代理公司: 南京中盟科創知識產權代理事務所(特殊普通合伙) 32279
• 代理人: 張靖堯

1.一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，該系統包括：語法解析器模塊（1）、異構數據庫之間轉換映射模塊（2）及腳本轉換模塊（3）；

其中，所述語法解析器模塊（1），用于根據不同的關系型數據庫對相關上云轉換識別語法及代碼規范定義進行配置，且產品根據不同的項目現場通過配置的關鍵字對相關的關系型數據庫轉換的結構化查詢語言進行識別和提取，同時結合不同目標庫轉換的語法進行轉換重構；

所述異構數據庫之間轉換映射模塊（2），用于根據不同的數據庫相關的函數，對關鍵字的區別差異進行梳理并配置成模板，同時通過模板選擇實現相關語法的轉換；

所述腳本轉換模塊（3），用于支持不同格式的代碼轉換輸出，并通過模板方式選擇，實現不同格式的腳本轉換；

其中，所述根據不同的數據庫相關的函數，對關鍵字的區別差異進行梳理并配置成模板，同時通過模板選擇實現相關語法的轉換時，對關系型數據庫與HIVE數據庫相關的映射關系進行配置，同時針對拆分后的子句分析器里面包含的函數、語法及關鍵字進行映射。

2.根據權利要求1所述的一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，所述語法解析器模塊（1）包括加載腳本模塊（101）、分析語句單詞模塊（102）及腳本拆分模塊（103）；

其中，所述加載腳本模塊（101），用于針對加載的結構化查詢語言腳本，通過JSON進行匹配；

所述分析語句單詞模塊（102），用于分析結構化查詢語言語句中的每一個單詞，并對單詞所在的位置進行記錄；

所述腳本拆分模塊（103），用于分析單詞的含義，并歸類為結構化查詢語言中的字句部分。

3.根據權利要求1所述的一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，所述通過模板選擇實現相關語法的轉換時，語法的轉換包括字符串轉換、空值函數轉換、分區轉換、排序轉換及字符類型。

4.根據權利要求1所述的一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，所述針對拆分后的子句分析器里面包含的函數、語法及關鍵字進行映射時，所有的標識符區分大小寫，并使用雙引號引用對應的數據源表和列名；

針對動態參數，通過占位符來進行動態參數語法綁定，且在執行的過程中與占位符進行綁定。

5.根據權利要求1所述的一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，所述針對拆分后的子句分析器里面包含的函數、語法及關鍵字進行映射時，數據類型支持查詢運行時將結構化查詢語言類型映射到原生類型，若在具有相同運行時類型的兩個結構化查詢語言類型之間進行強制轉換時，不會產生任何影響，除非表中指出了異常；

若在兩個具有不同運行時類型的結構化查詢語言類型之間進行轉換時，將生成一個運行時轉換；

若一個值不能正確地轉換為另一個值，則運行時將替換默認值，且NULL轉換為不可為空類型時將替換為默認值。

6.根據權利要求5所述的一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，所述函數包括聚合函數及擴展函數；

其中，所述聚合函數，用于出現在任務查詢的SELECT子句中，任何聚合器使用表達式AGG expr FILTER WHERE whereExpr進行過濾；被過濾的聚合器聚合匹配了過濾器的行，且同一個結構化查詢語言查詢中的兩個聚合器可能有不同的過濾器；

所述擴展函數包括數值函數、字符串函數、時間函數、歸約函數、比較操作符及其他擴展函數。

7.根據權利要求1所述的一種把傳統數據庫腳本批量轉換上云的大數據系統，其特征在于，所述腳本轉換模塊（3）支持的腳本轉換包括ORACLE存儲過程、自定義SQL腳本及封裝調用的存儲過程。