[發明專利]面向多源異構數據源的接口系統、通用接口及其實現方法

在審

• 申請號: 202210029808.7
• 申請日: 2022-01-12
• 公開（公告）號: CN114528337A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 劉昊;程瑾;羅威;張濤;王秋燁;陳志凌;陳巍;郁晨熹;王朋;劉哲峰;劉蔭隆
• 申請（專利權）人: 南湖實驗室;北京大數據先進技術研究院
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F8/36;G06F16/28
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 張曉英

本發明公開了一種面向多源異構數據源的接口系統、通用接口及其實現方法，以面向多源異構數據源的通用接口實現方法為基礎，包括：新建一個工程，并在工程內建立一個通用接口；在通用接口中建立相互獨立的數據集合和操作集合；其中，數據集合被定義為能夠被具體數據類型繼承，且包括數據基類和繼承數據基類的二級數據類；操作集合包括操作基類和繼承操作基類的二級操作類；且所述的二級操作類被定義有其適用的具體數據類型以實現數據集合與操作集合的解耦與正交。通用接口中數據和操作形成兩個獨立的集合，并將操作抽象為接口，實現數據與操作的解耦和正交，使數據和操作能夠自由地組合，實現操作的復用。

技術領域

本發明屬于多源異構數據源的接口技術領域，尤其是涉及一種面向多源異構數據源的接口系統、通用接口及其實現方法。

背景技術

大數據的應用需求促進了大數據技術的蓬勃發展。近年來圍繞著大數據處理的各個層面，大量的軟件系統、技術被開發與應用，百花齊放，形成了大數據技術的生態體系，但同時也存在一些問題和不足之處，主要在于，目前使用的系統普遍存在大數據架構松散，缺少統一的底層設計，主次模糊，數據的核心地位不突出等問題。如典型的數據湖系統DeltaLake系統，它作為一個集大成的數據源，向下只能支持為數不多的底層數據源，向上只能支持有限的應用（只支持Spark），不支持數據源或應用的擴展，缺乏頂層設計，可擴展性、可移植性很弱。

發明內容

本發明的目的是針對上述問題，提供一種面向多源異構數據源的接口系統、通用接口及其實現方法。

為達到上述目的，本發明采用了下列技術方案：

一種面向多源異構數據源的通用接口實現方法，包括以下方法：

新建一個工程，并在工程內建立一個通用接口；

在通用接口中建立相互獨立的數據集合和操作集合；

其中，數據集合被定義為能夠被具體數據類型繼承，且包括數據基類和繼承數據基類的二級數據類；

操作集合包括操作基類和繼承操作基類的二級操作類；

且所述的二級操作類被定義有其適用的具體數據類型以實現數據集合與操作集合的解耦與正交。

在上述的面向多源異構數據源的通用接口實現方法中，所述的二級數據類包括結構化數據、半結構化數據、非結構化數據和二進制數據。

在上述的面向多源異構數據源的通用接口實現方法中，所述的數據集合采用面向對象編程方法將數據抽象為類，并將數據劃分為多個二級數據類。

在上述的面向多源異構數據源的通用接口實現方法中，所述的二級操作類包括構造器、生產器、觀察器和變值器。

在上述的面向多源異構數據源的通用接口實現方法中，所述的操作集合采用面向切面編程方法將操作抽象為接口，并以此抽象接口的形式定義二級操作類所適用的具體數據類型以與相應數據源抽象對接。

一種基于上述方法實現的面向多源異構數據源的通用接口，包括相互解耦且正交的操作抽象模塊和數據抽象模塊，所述的操作抽象模塊包括操作基類、繼承操作基類的多個二級操作類和定義二級操作類所適用的具體數據類型的抽象接口，所述的數據抽象模塊被定義為能夠被具體數據類型繼承且包括數據基類和繼承數據基類的多個二級數據類。

一種面向多源異構數據源的接口系統，包括所述的通用接口和與通用接口同位于所述工程中且繼承所述通用接口的自定義接口，所述的通用接口包括相互解耦且正交的操作抽象模塊和數據抽象模塊，所述的操作抽象模塊包括操作基類、繼承操作基類的多個二級操作類和定義二級操作類所適用的具體數據類型的抽象接口，所述的數據抽象模塊被定義為能夠被具體數據類型繼承且包括數據基類和繼承數據基類的多個二級數據類，所述的自定義接口包括多個針對具體數據類型且繼承相應二級數據類的接口子類，本接口系統通過所述的接口子類與相應數據源物理對接。

在上述的面向多源異構數據源的接口系統中，所述的接口子類還用于指定該類具體數據類型所能夠進行的操作。