[發明專利]一種基于FlinkSQL與達夢的實時數倉方法

在審

• 申請號: 202210877223.0
• 申請日: 2022-07-25
• 公開（公告）號: CN115328981A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 王飛;汪昱帥;李珞;馮治;余任杰
• 申請（專利權）人: 中電云數智科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F16/215;G06F9/448
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 袁鴻

本發明公開了一種基于FlinkSQL與達夢的實時數倉方法，包括：基于下載的flink?connector?jdbc源碼，新增達夢JDBC方言類，并繼承AbstractDialect抽象類；基于繼承的AbstractDialect抽象類，配置目標連接器，其中所述目標連接器中包括連接達夢MPP的多個方法；基于配置后的目標連接器，新增達夢RowConverter，繼承AbstractJdbcRowConverter接口，以實現達夢MPP與FlinkSQL的數據轉換。本發明實施例通過基于繼承的AbstractDialect抽象類，配置目標連接器，其中所述目標連接器中包括連接達夢MPP的多個方法；基于配置后的目標連接器，新增達夢RowConverter，繼承AbstractJdbcRowConverter接口，由此實現了接入數據到達夢MPP，完成數據治理工作。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種基于FlinkSQL與達夢的實時數倉方法。

背景技術

數據倉庫是伴隨著企業信息化發展起來的，在企業信息化的過程中，隨著信息化工具的升級和新工具的應用，數據量變得越來越大，數據實時性要求越來越高。傳統離線數倉的數據治理流程已經越難滿足企業發展需求。建設實時數倉已經成為企業迫在眉睫的緊要任務。

實時數倉的整個核心模塊是計算引擎以及存儲引擎，計算引擎目前以Flink為主，存儲引擎有Hbase、ClickHourse等開源解決方案。但是面對信創業務，要求自主可控等建設要求下。目前實時數倉的建設方案出現不足。

發明內容

本發明實施例提供一種基于FlinkSQL與達夢的實時數倉方法，用以接入數據到達夢MPP，完成數據治理工作，支持FlinkSQL高級語言，減少治理人員成本。

本發明實施例提供一種基于FlinkSQL與達夢的實時數倉方法，包括：

基于下載的flink-connector-jdbc源碼，新增達夢JDBC方言類，并繼承AbstractDialect抽象類；

基于繼承的AbstractDialect抽象類，配置目標連接器，其中所述目標連接器中包括連接達夢MPP的多個方法；

基于配置后的目標連接器，新增達夢RowConverter，繼承AbstractJdbcRowConverter接口，以實現達夢MPP與FlinkSQL的數據轉換。

可選的，配置目標連接器包括如下定義步驟：

配置canHandle方法，以標記達夢jdbc連接格式；

配置getRowConverter方法，以自定義的達夢數據轉換器，將數據庫數據信息轉換成flink數據類型；

配置defaultDriverName方法，以定義連接達夢MPP使用的jdbc連接驅動。

可選的，配置目標連接器還包括如下封裝步驟：

配置getInsertIntoStatement方法，封裝達夢MPP插入數據SQL語句，將寫入的表和數據字段，轉換成為達夢MPP支持的Insert語法；

配置getDeleteStatement方法，封裝達夢MPP刪除數據SQL語句，將刪除的表名和條件字段，轉換成為達夢MPP支持的Delete語法；

配置getUpsertStatement方法，封裝達夢MPP Upsert模式SQL語句，將flink需要更新的表與字段，轉換成達夢MPP的MERGE INTO語法；

配置getRowExistsStatement方法，封裝達夢MPP校驗數據是否存在語句；