[發(fā)明專利]可配置化數(shù)據(jù)傳輸及監(jiān)控方法、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911333082.0
• 申請(qǐng)日: 2019-12-23
• 公開(kāi)（公告）號(hào): CN111061798A
• 公開(kāi)（公告）日: 2020-04-24
• 發(fā)明（設(shè)計(jì)）人: 閆安;吳岳峰
• 申請(qǐng)（專利權(quán)）人: 杭州雷數(shù)科技有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F21/60;G06F9/48;G06F16/17
• 代理公司: 杭州創(chuàng)智卓英知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33324
• 代理人: 張迪

本發(fā)明公開(kāi)了一種可配置化數(shù)據(jù)傳輸及監(jiān)控方法，涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域，旨在應(yīng)用于異構(gòu)數(shù)據(jù)源的數(shù)據(jù)至異構(gòu)目標(biāo)源的傳輸，根據(jù)可配置化信息實(shí)現(xiàn)數(shù)據(jù)傳輸，以完成異構(gòu)型數(shù)據(jù)源之間的數(shù)據(jù)共享。該方法包含以下步驟：實(shí)時(shí)獲取并監(jiān)控任務(wù)配置信息，根據(jù)所述任務(wù)配置信息生成調(diào)度配置文件；調(diào)度Datax引擎解析所述調(diào)度配置文件，以讀取數(shù)據(jù)源的數(shù)據(jù)并寫(xiě)入目標(biāo)源。本發(fā)明還公開(kāi)了一種電子設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域，尤其涉及一種可配置化數(shù)據(jù)傳輸及監(jiān)控方法、設(shè)備及介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)背景下，數(shù)據(jù)具有十分重要的價(jià)值，如何運(yùn)用和分析數(shù)據(jù)已經(jīng)成為了信息化管理中不可或缺的一部分，因此數(shù)據(jù)的傳輸、共享、應(yīng)用和分析是在大數(shù)據(jù)時(shí)代至關(guān)重要。

然而，在傳統(tǒng)的軟件行業(yè)中，數(shù)據(jù)一般存儲(chǔ)在多種異構(gòu)型的第三方數(shù)據(jù)服務(wù)中，只能滿足自身應(yīng)用的使用。由于數(shù)據(jù)服務(wù)內(nèi)部閉塞，從而形成數(shù)據(jù)孤島，導(dǎo)致數(shù)據(jù)無(wú)法共享和分析；且由于異構(gòu)型數(shù)據(jù)服務(wù)的多樣性，導(dǎo)致不同數(shù)據(jù)服務(wù)在對(duì)接過(guò)程中會(huì)出現(xiàn)數(shù)據(jù)類型和數(shù)據(jù)規(guī)則不匹配的問(wèn)題。在實(shí)際生產(chǎn)中，我們需要對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化和加載操作，形成數(shù)據(jù)集市、業(yè)務(wù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)，以用于數(shù)據(jù)分析和使用，但原有的數(shù)據(jù)服務(wù)模式則不支持這一操作。

綜上所述，如何讓不同類型的異構(gòu)化數(shù)據(jù)服務(wù)共享在同一類型的數(shù)據(jù)服務(wù)平臺(tái)中，并打通各個(gè)數(shù)據(jù)服務(wù)的內(nèi)部關(guān)系，以滿足數(shù)據(jù)共享、應(yīng)用和分析的需求，已經(jīng)成為目前本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的之一在于提供一種可配置化數(shù)據(jù)傳輸及監(jiān)控方法，應(yīng)用于不同類型的異構(gòu)化數(shù)據(jù)源，旨在通過(guò)配置信息進(jìn)行數(shù)據(jù)源與目標(biāo)源之間的數(shù)據(jù)傳輸，并提供數(shù)據(jù)傳輸?shù)谋O(jiān)控。

本發(fā)明的目的之一采用以下技術(shù)方案實(shí)現(xiàn)：

一種可配置化數(shù)據(jù)傳輸及監(jiān)控方法，包括以下步驟：

實(shí)時(shí)獲取并監(jiān)控任務(wù)配置信息，根據(jù)所述任務(wù)配置信息生成調(diào)度配置文件；

調(diào)度Datax引擎解析所述調(diào)度配置文件，以讀取數(shù)據(jù)源的數(shù)據(jù)并寫(xiě)入目標(biāo)源。

進(jìn)一步地，實(shí)時(shí)獲取并監(jiān)控任務(wù)配置信息，根據(jù)所述任務(wù)配置信息生成調(diào)度配置文件，具體包括以下步驟：

實(shí)時(shí)獲取任務(wù)配置信息，監(jiān)控所述任務(wù)配置信息是否滿足調(diào)度條件，若滿足，則獲取數(shù)據(jù)源到目標(biāo)源的文件映射模板；

將所述任務(wù)配置信息寫(xiě)入所述文件映射模板，生成調(diào)度配置文件。

進(jìn)一步地，調(diào)度Datax引擎解析所述調(diào)度配置文件，包括：

所述Datax引擎解析所述調(diào)度配置文件，得到數(shù)據(jù)源和目標(biāo)源的映射關(guān)系；

測(cè)試所述數(shù)據(jù)源和所述目標(biāo)源的鏈接狀態(tài)。

進(jìn)一步地，讀取數(shù)據(jù)源的數(shù)據(jù)寫(xiě)入目標(biāo)源之前，還包括以下步驟：

判斷所述數(shù)據(jù)源的數(shù)據(jù)是否滿足所述目標(biāo)源的數(shù)據(jù)格式；

若滿足，則讀取所述數(shù)據(jù)源的數(shù)據(jù)寫(xiě)入所述目標(biāo)源；

反之，將臟數(shù)據(jù)存儲(chǔ)至日志信息。

進(jìn)一步地，讀取數(shù)據(jù)源的數(shù)據(jù)并寫(xiě)入目標(biāo)源，具體為：調(diào)度Datax引擎批量多線程讀取并加密所述數(shù)據(jù)源的數(shù)據(jù)，并將所述數(shù)據(jù)源的數(shù)據(jù)批量多線程的寫(xiě)入所述目標(biāo)源。

進(jìn)一步地，還包括以下步驟：

獲取并解析所述Datax引擎的日志信息，更新所述任務(wù)配置信息，刪除所述調(diào)度配置文件。

進(jìn)一步地，獲取并解析所述Datax引擎的日志信息，包括：