[發(fā)明專利]基于DataX數(shù)據(jù)同步的軌道交通數(shù)據(jù)中臺(tái)實(shí)現(xiàn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011593213.1
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112597250A
• 公開(kāi)（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 智國(guó)盛;周馳楠;高凱;莫林
• 申請(qǐng)（專利權(quán)）人: 廣西交控智維科技發(fā)展有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06F16/28
• 代理公司: 北京華專卓海知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11664
• 代理人: 李巨智

本發(fā)明的提供了一種基于DataX數(shù)據(jù)同步的軌道交通數(shù)據(jù)中臺(tái)實(shí)現(xiàn)方法，通過(guò)統(tǒng)一的數(shù)據(jù)接口接收json格式數(shù)據(jù)；將所述json格式數(shù)據(jù)進(jìn)行數(shù)據(jù)分類，并轉(zhuǎn)換成待執(zhí)行文件；所述待執(zhí)行文件符合DataX框架識(shí)別條件；通過(guò)DataX對(duì)所述待執(zhí)行文件進(jìn)行同步。以此方式，可以接收各個(gè)系統(tǒng)的應(yīng)用數(shù)據(jù)，將不同的數(shù)據(jù)源進(jìn)行合并和完善，統(tǒng)一格式存儲(chǔ)，統(tǒng)一接口標(biāo)準(zhǔn)；減少數(shù)據(jù)應(yīng)用成本，為不同的業(yè)務(wù)應(yīng)用以標(biāo)準(zhǔn)的接口提供數(shù)據(jù)服務(wù)；提高數(shù)據(jù)管理能力，更加方便的定位所需數(shù)據(jù)，理解數(shù)據(jù)，確保數(shù)據(jù)的訪問(wèn)權(quán)限和數(shù)據(jù)的可用性。

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施例一般涉及軌道交通領(lǐng)域，并且更具體地，涉及一種基于DataX數(shù)據(jù)同步的軌道交通數(shù)據(jù)中臺(tái)實(shí)現(xiàn)方法。

背景技術(shù)

軌道交通是屬于集多專業(yè)，多工種于一身的復(fù)雜系統(tǒng)，通常有軌道路線，車站，車輛，維護(hù)檢修基地，供變電，通信信號(hào)，指揮控制中心等組成。每一個(gè)專業(yè)都自身成為一個(gè)獨(dú)立的系統(tǒng)，需要和別的依賴系統(tǒng)進(jìn)行數(shù)據(jù)的交互，以達(dá)到軌道交通運(yùn)營(yíng)的目的。

當(dāng)前軌道交通系統(tǒng)中的數(shù)據(jù)按照不同的專業(yè)由系統(tǒng)各自存儲(chǔ)，導(dǎo)致各個(gè)系統(tǒng)中的數(shù)據(jù)復(fù)用性較低，形成信息孤島；如果需要復(fù)用系統(tǒng)中的數(shù)據(jù)，需要不同系統(tǒng)開(kāi)發(fā)特定的接口進(jìn)行交互，導(dǎo)致數(shù)據(jù)應(yīng)用過(guò)程中成本較高；而且在應(yīng)用的過(guò)程中，由于不同的系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)不同，無(wú)法進(jìn)行統(tǒng)一管理，給數(shù)據(jù)管理增加了成本，最終難以實(shí)現(xiàn)數(shù)據(jù)價(jià)值，不利于數(shù)據(jù)挖掘和業(yè)務(wù)創(chuàng)新。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的實(shí)施例，提供了一種基于DataX數(shù)據(jù)同步的軌道交通數(shù)據(jù)中臺(tái)實(shí)現(xiàn)方案。

在本發(fā)明的第一方面，提供了一種基于DataX數(shù)據(jù)同步的軌道交通數(shù)據(jù)中臺(tái)實(shí)現(xiàn)方法。該方法包括：

通過(guò)統(tǒng)一的數(shù)據(jù)接口接收json格式數(shù)據(jù)；

將所述json格式數(shù)據(jù)進(jìn)行數(shù)據(jù)分類，并轉(zhuǎn)換成待執(zhí)行文件；所述待執(zhí)行文件符合DataX框架識(shí)別條件；

通過(guò)DataX對(duì)所述待執(zhí)行文件進(jìn)行同步。

進(jìn)一步地，所述將所述json格式數(shù)據(jù)進(jìn)行數(shù)據(jù)分類，包括：

根據(jù)所述json格式數(shù)據(jù)的數(shù)據(jù)主題ID從數(shù)據(jù)庫(kù)中獲取其對(duì)應(yīng)數(shù)據(jù)主題的配置內(nèi)容，根據(jù)配置內(nèi)容將所述json格式數(shù)據(jù)進(jìn)行數(shù)據(jù)分類。

進(jìn)一步地，所述配置內(nèi)容，包括：

目標(biāo)應(yīng)用地址、目標(biāo)應(yīng)用接收當(dāng)前數(shù)據(jù)的實(shí)現(xiàn)方式和目標(biāo)應(yīng)用的數(shù)據(jù)結(jié)構(gòu)。

進(jìn)一步地，所述DataX框架識(shí)別條件，包括：

數(shù)據(jù)文件為data格式文本，且包含同步任務(wù)信息。

進(jìn)一步地，還包括：

在通過(guò)DataX對(duì)所述待執(zhí)行文件進(jìn)行同步后，對(duì)同步結(jié)果進(jìn)行管理。

進(jìn)一步地，所述對(duì)同步結(jié)果進(jìn)行管理，包括：

判斷所述待執(zhí)行文件是否同步成功，如果是，則將同步成功的數(shù)據(jù)文件歸檔到歷史記錄；否則，記錄同步失敗次數(shù)，將同步失敗的數(shù)據(jù)文件歸檔到失敗記錄。

進(jìn)一步地，所述記錄同步失敗次數(shù)觸發(fā)失敗次數(shù)判斷，包括：

當(dāng)所述同步失敗次數(shù)小于預(yù)設(shè)失敗次數(shù)時(shí)，重新通過(guò)DataX對(duì)所述待執(zhí)行文件進(jìn)行同步，如果重新同步成功，則刪除所述同步失敗記錄中對(duì)應(yīng)的數(shù)據(jù)文件；

當(dāng)所述同步失敗次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，發(fā)出同步失敗消息。

在本發(fā)明的第二方面，提供了一種基于DataX數(shù)據(jù)同步的軌道交通數(shù)據(jù)中臺(tái)實(shí)現(xiàn)裝置。該裝置包括：

數(shù)據(jù)傳輸組件，用于通過(guò)統(tǒng)一的數(shù)據(jù)接口接收json格式數(shù)據(jù)；