[發(fā)明專利]發(fā)布到數(shù)據(jù)倉(cāng)庫(kù)

在審

• 申請(qǐng)?zhí)枺?/td>: 201980048334.7
• 申請(qǐng)日: 2019-07-19
• 公開(kāi)（公告）號(hào): CN112654977A
• 公開(kāi)（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: A·布洛姆;D·米勒;馬歇爾·A·伊斯曼
• 申請(qǐng)（專利權(quán)）人: 起元技術(shù)有限責(zé)任公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

一種用于生成可執(zhí)行應(yīng)用程序的方法，該可執(zhí)行應(yīng)用程序用于將數(shù)據(jù)進(jìn)行轉(zhuǎn)換并加載到結(jié)構(gòu)化數(shù)據(jù)集中，該方法包括接收元數(shù)據(jù)文件，該元數(shù)據(jù)文件指定用于將從聯(lián)網(wǎng)數(shù)據(jù)源接收的數(shù)據(jù)饋送結(jié)構(gòu)化到結(jié)構(gòu)化數(shù)據(jù)庫(kù)中的參數(shù)的值。該元數(shù)據(jù)文件指定用于轉(zhuǎn)換這些數(shù)據(jù)饋送的邏輯規(guī)則。驗(yàn)證這些參數(shù)的值和用于轉(zhuǎn)換該多個(gè)數(shù)據(jù)饋送的這些邏輯規(guī)則，以確保每個(gè)數(shù)據(jù)饋送的邏輯一致性。根據(jù)這些參數(shù)的經(jīng)驗(yàn)證值和邏輯規(guī)則來(lái)生成數(shù)據(jù)規(guī)則，這些數(shù)據(jù)規(guī)則指定用于轉(zhuǎn)換每個(gè)數(shù)據(jù)饋送的標(biāo)準(zhǔn)。生成可執(zhí)行應(yīng)用程序，該可執(zhí)行應(yīng)用程序被配置為：從一個(gè)或多個(gè)數(shù)據(jù)源接收包括數(shù)據(jù)饋送的源數(shù)據(jù)，并根據(jù)這些數(shù)據(jù)規(guī)則將該源數(shù)據(jù)轉(zhuǎn)換為滿足該結(jié)構(gòu)化數(shù)據(jù)記錄的該一個(gè)或多個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)。

優(yōu)先權(quán)聲明

本申請(qǐng)根據(jù)35U.S.C.§119(e)要求于2018年7月19日提交的美國(guó)專利申請(qǐng)序列號(hào)62/700,684的優(yōu)先權(quán)，該美國(guó)專利申請(qǐng)的全部?jī)?nèi)容通過(guò)引用并入本文。

技術(shù)領(lǐng)域

本申請(qǐng)描述了用于生成、更新和維護(hù)將數(shù)據(jù)進(jìn)行轉(zhuǎn)換并加載到數(shù)據(jù)倉(cāng)庫(kù)中的軟件的系統(tǒng)和方法。

背景技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)包括用于容納通常來(lái)自多個(gè)不同源的數(shù)據(jù)的系統(tǒng)。例如，數(shù)據(jù)倉(cāng)庫(kù)可以存儲(chǔ)從多個(gè)源接收的數(shù)據(jù)，并且其中一些源的類型可能與其他源不同。

發(fā)明內(nèi)容

在將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中之前，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以便符合數(shù)據(jù)倉(cāng)庫(kù)的標(biāo)準(zhǔn)。數(shù)據(jù)可能具有標(biāo)識(shí)其記錄的鍵值；可以檢查這些鍵值的引用完整性，或用在目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中的引用系統(tǒng)內(nèi)一致的替代鍵值來(lái)替換這些鍵值。可以根據(jù)常規(guī)歷史化方案對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，以便表示數(shù)據(jù)的變化歷史。數(shù)據(jù)可以用與諸如其加載時(shí)間、修改時(shí)間或當(dāng)前狀態(tài)等屬性相關(guān)的附加信息來(lái)修飾。可以將數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù)中的現(xiàn)有記錄合并，以更新信息、提供缺失的信息和糾正錯(cuò)誤。可以將數(shù)據(jù)加載到目標(biāo)表和輔助歷史表。由編譯器生成、更新和維護(hù)用于實(shí)現(xiàn)這些預(yù)處理任務(wù)的代碼，該編譯器接收指定邏輯規(guī)則和參數(shù)的值的元數(shù)據(jù)文件，這些規(guī)則和參數(shù)由目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)給出并指定要在運(yùn)行時(shí)執(zhí)行的動(dòng)作，這些動(dòng)作用于對(duì)傳入數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使得以某種方式(例如，結(jié)構(gòu)化數(shù)據(jù)在要存儲(chǔ)該結(jié)構(gòu)化數(shù)據(jù)的倉(cāng)庫(kù)中保持?jǐn)?shù)據(jù)完整性和/或讀優(yōu)化)對(duì)該數(shù)據(jù)進(jìn)行結(jié)構(gòu)化。

在一方面，描述了一種用于自動(dòng)生成應(yīng)用程序的過(guò)程，該應(yīng)用程序用于將數(shù)據(jù)進(jìn)行轉(zhuǎn)換并加載到結(jié)構(gòu)化數(shù)據(jù)集中，該結(jié)構(gòu)化數(shù)據(jù)集用于存儲(chǔ)來(lái)自一個(gè)或多個(gè)聯(lián)網(wǎng)數(shù)據(jù)源的數(shù)據(jù)。該過(guò)程包括接收指定參數(shù)的值以及用于轉(zhuǎn)換數(shù)據(jù)饋送的邏輯規(guī)則的至少一個(gè)元數(shù)據(jù)文件，其中，將從聯(lián)網(wǎng)數(shù)據(jù)源接收每個(gè)數(shù)據(jù)饋送，并將結(jié)果加載到結(jié)構(gòu)化數(shù)據(jù)集中。該過(guò)程包括：驗(yàn)證這些參數(shù)的值和用于轉(zhuǎn)換該多個(gè)數(shù)據(jù)饋送的這些邏輯規(guī)則對(duì)于每個(gè)數(shù)據(jù)饋送是一致的；根據(jù)這些參數(shù)的經(jīng)驗(yàn)證值和用于將這些數(shù)據(jù)饋送中的每個(gè)數(shù)據(jù)饋送轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)記錄的經(jīng)驗(yàn)證邏輯規(guī)則來(lái)生成數(shù)據(jù)規(guī)則，這些數(shù)據(jù)規(guī)則指定一個(gè)或多個(gè)標(biāo)準(zhǔn)。該過(guò)程包括至少生成用于運(yùn)行時(shí)環(huán)境的數(shù)據(jù)處理應(yīng)用程序。所生成的數(shù)據(jù)處理應(yīng)用程序可被配置為：從一個(gè)或多個(gè)數(shù)據(jù)源接收包括數(shù)據(jù)饋送的源數(shù)據(jù)，并根據(jù)所生成的數(shù)據(jù)規(guī)則將該源數(shù)據(jù)轉(zhuǎn)換為滿足該結(jié)構(gòu)化數(shù)據(jù)記錄的該一個(gè)或多個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)。

在一些實(shí)施方式中，數(shù)據(jù)處理應(yīng)用程序包括數(shù)據(jù)流圖、數(shù)據(jù)流子圖或多個(gè)數(shù)據(jù)流圖。在一些實(shí)施方式中，該結(jié)構(gòu)化數(shù)據(jù)集包括數(shù)據(jù)庫(kù)。

通常，該源數(shù)據(jù)包括數(shù)據(jù)記錄，并且該元數(shù)據(jù)文件中的參數(shù)指定該數(shù)據(jù)記錄的、表示該源數(shù)據(jù)的該數(shù)據(jù)記錄的鍵值的字段。在一些實(shí)施方式中，該元數(shù)據(jù)文件中的參數(shù)指定表示該源數(shù)據(jù)的鍵值的字段與該結(jié)構(gòu)化數(shù)據(jù)記錄的表示該結(jié)構(gòu)化數(shù)據(jù)記錄的另一鍵值的另一字段之間的映射。該元數(shù)據(jù)文件中的參數(shù)指定該鍵值的格式，并且其中，該鍵值被轉(zhuǎn)換為具有由該參數(shù)指定的格式。

在一些實(shí)施方式中，該過(guò)程包括從數(shù)據(jù)存儲(chǔ)中檢索參數(shù)的默認(rèn)值，以及基于該參數(shù)的默認(rèn)值定義這些數(shù)據(jù)規(guī)則。通常，邏輯規(guī)則為該結(jié)構(gòu)化數(shù)據(jù)記錄的字段指定格式，該字段包括數(shù)據(jù)歷史值。在一方面，該數(shù)據(jù)歷史值包括指示包括該數(shù)據(jù)歷史值的該結(jié)構(gòu)化數(shù)據(jù)記錄的更新時(shí)間的時(shí)間戳。

在一些實(shí)施方式中，接收該元數(shù)據(jù)文件包括：解析該元數(shù)據(jù)文件的標(biāo)題行，以確定哪些參數(shù)具有該元數(shù)據(jù)文件中的指定值。