[發(fā)明專利]一種CIM平臺(tái)中多源異構(gòu)數(shù)據(jù)合并歸檔的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210402433.4
• 申請(qǐng)日: 2022-04-18
• 公開(kāi)（公告）號(hào): CN114780546A
• 公開(kāi)（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 劉相池;趙浩宇;鄒天涌;丁長(zhǎng)兵;肖鋒
• 申請(qǐng)（專利權(quán)）人: 重慶數(shù)地科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/2455;G06F16/25
• 代理公司: 重慶中興達(dá)啟創(chuàng)專利代理事務(wù)所(普通合伙) 50264
• 代理人: 賴元章

本發(fā)明公開(kāi)了一種CIM平臺(tái)中多源異構(gòu)數(shù)據(jù)合并歸檔的方法，包括以下步驟：在CIM平臺(tái)內(nèi)預(yù)置一些基礎(chǔ)的數(shù)據(jù)校驗(yàn)規(guī)則，數(shù)據(jù)通過(guò)校驗(yàn)規(guī)則進(jìn)行校驗(yàn)，若通過(guò)校驗(yàn)便將數(shù)據(jù)標(biāo)記為通過(guò)，并進(jìn)入到下一個(gè)步驟；若不通過(guò)，則數(shù)據(jù)返回，并進(jìn)行自定義設(shè)置校驗(yàn)規(guī)則，直到所有數(shù)據(jù)均通過(guò)校驗(yàn)，讀取數(shù)據(jù)的表頭字段加載到內(nèi)存中；讀取數(shù)據(jù)的表頭字段和數(shù)據(jù)目的地字段信息，并建立映射關(guān)系；映射關(guān)系生產(chǎn)歸檔指令；執(zhí)行所述歸檔指令將數(shù)據(jù)寫(xiě)入數(shù)據(jù)目的地的數(shù)據(jù)庫(kù)目標(biāo)表；預(yù)置規(guī)則和自定義腳本規(guī)則的方式完成數(shù)據(jù)的校驗(yàn)和清洗，支持幾乎所有類型的數(shù)據(jù)進(jìn)行自動(dòng)化校驗(yàn)與轉(zhuǎn)換，用戶可以在不寫(xiě)代碼或者極少量腳本代碼的方式輕松完成異構(gòu)數(shù)據(jù)到最終目的數(shù)據(jù)表的操作。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理的技術(shù)領(lǐng)域，具體涉及一種CIM平臺(tái)中多源異構(gòu)數(shù)據(jù)合并歸檔的方法。

背景技術(shù)

CIM平臺(tái)中除了有BIM模型、圖像、視頻等結(jié)構(gòu)化數(shù)據(jù)之外，還有大量的非實(shí)體基礎(chǔ)數(shù)據(jù)需要整合處理，如規(guī)劃信息、人口信息、地塊信息等等，這些數(shù)據(jù)有可能是外部文件導(dǎo)入(Excel、CSV等)，也可能是從接口進(jìn)行獲取，但是CIM接入的系統(tǒng)繁雜，數(shù)據(jù)格式多樣，每次新數(shù)據(jù)接入都需要開(kāi)發(fā)人員進(jìn)行對(duì)接開(kāi)發(fā)，完成數(shù)據(jù)的接入和校驗(yàn)清洗之后數(shù)據(jù)才能使用。

現(xiàn)有這種外部數(shù)據(jù)接入模式，每次有數(shù)據(jù)接入需求都設(shè)計(jì)到開(kāi)發(fā)，極大地降低了外部各類數(shù)據(jù)接入CIM平臺(tái)的接入效率，使得整個(gè)過(guò)程運(yùn)行冗雜，增加前端開(kāi)發(fā)人員的重復(fù)工作量，且運(yùn)行效率低。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種CIM平臺(tái)中多源異構(gòu)數(shù)據(jù)合并歸檔的方法，以高效解決了多種私有協(xié)議處理的問(wèn)題，提高其適用性。

為達(dá)到上述目的，本發(fā)明提供了一種CIM平臺(tái)中多源異構(gòu)數(shù)據(jù)合并歸檔的方法，包括以下步驟：

在CIM平臺(tái)內(nèi)預(yù)置一些基礎(chǔ)的數(shù)據(jù)校驗(yàn)規(guī)則；

根據(jù)數(shù)據(jù)校驗(yàn)規(guī)則判斷校驗(yàn)的數(shù)據(jù)是否通過(guò)；

如果通過(guò)，

則將數(shù)據(jù)進(jìn)行標(biāo)記，并讀取數(shù)據(jù)的表頭字段加載到內(nèi)存中；

讀取數(shù)據(jù)的表頭字段和數(shù)據(jù)目的地字段信息，并建立映射關(guān)系；

根據(jù)所述映射關(guān)系生產(chǎn)歸檔指令；

執(zhí)行所述歸檔指令將數(shù)據(jù)寫(xiě)入數(shù)據(jù)目的地的數(shù)據(jù)庫(kù)目標(biāo)表。

雖然現(xiàn)有外部接入模式，每次需要重復(fù)開(kāi)發(fā)，但是其實(shí)不同數(shù)據(jù)接入CIM平臺(tái)的整體流程都是一樣的，不一樣的部分只是數(shù)據(jù)的校驗(yàn)和清洗規(guī)則，所以可以把其他部分統(tǒng)一起來(lái)減少重復(fù)開(kāi)發(fā)量，加快CIM平臺(tái)對(duì)外部數(shù)據(jù)接入的效率；通過(guò)預(yù)置規(guī)則和自定義腳本規(guī)則的方式完成數(shù)據(jù)的校驗(yàn)和清洗，支持幾乎所有類型的數(shù)據(jù)進(jìn)行自動(dòng)化校驗(yàn)與轉(zhuǎn)換，用戶可以在不寫(xiě)代碼或者極少量腳本代碼的方式輕松完成異構(gòu)數(shù)據(jù)到最終目的數(shù)據(jù)表的操作。

根據(jù)上述合并歸檔的方法的一有利特征為：還包括以下步驟：

在CIM平臺(tái)內(nèi)預(yù)置一些基礎(chǔ)的數(shù)據(jù)校驗(yàn)規(guī)則；

根據(jù)數(shù)據(jù)校驗(yàn)規(guī)則判斷校驗(yàn)的數(shù)據(jù)是否通過(guò)；

如果不通過(guò)，

則將數(shù)據(jù)返回重新進(jìn)行校驗(yàn)，并需要自定義設(shè)置校驗(yàn)規(guī)則，直到數(shù)據(jù)通過(guò)。

減少CIM系統(tǒng)接入外部數(shù)據(jù)的開(kāi)發(fā)量，可以讓非開(kāi)發(fā)人員在頁(yè)面上輕松完成數(shù)據(jù)的導(dǎo)入，預(yù)留的自定義腳本規(guī)則可以實(shí)現(xiàn)一些復(fù)雜的數(shù)據(jù)校驗(yàn)與轉(zhuǎn)換，增強(qiáng)了拓展性。

根據(jù)上述合并歸檔的方法的一有利特征為：其中數(shù)據(jù)來(lái)源包括數(shù)據(jù)文件或數(shù)據(jù)庫(kù)表。

根據(jù)上述合并歸檔的方法的一有利特征為，基礎(chǔ)的校驗(yàn)規(guī)則用于檢驗(yàn)字段的非空與字段長(zhǎng)度；通過(guò)基礎(chǔ)的校驗(yàn)規(guī)則對(duì)于大部分?jǐn)?shù)據(jù)便可完成校驗(yàn)，降低工人員無(wú)效工作，提升外部數(shù)據(jù)接入效率。

附圖說(shuō)明