[發(fā)明專利]一種跨域作業(yè)流調(diào)度方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810457438.0
• 申請(qǐng)日: 2018-05-14
• 公開（公告）號(hào): CN108694082B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 肖華飚;朱翔淼
• 申請(qǐng)（專利權(quán)）人: 有時(shí)數(shù)聯(lián)科技（北京）有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京工信聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11266
• 代理人: 胡秋立

本發(fā)明公開了一種跨域作業(yè)流調(diào)度方法及系統(tǒng)，所述方法包括：在協(xié)同調(diào)度網(wǎng)絡(luò)中選取一個(gè)作業(yè)流調(diào)度集群A接收所述應(yīng)用提供者發(fā)送的數(shù)據(jù)處理業(yè)務(wù)需求；根據(jù)所述數(shù)據(jù)處理業(yè)務(wù)需求的邏輯進(jìn)行作業(yè)流的編排并分成多個(gè)數(shù)據(jù)業(yè)務(wù)處理分塊；將多個(gè)數(shù)據(jù)業(yè)務(wù)處理分塊按照作業(yè)流編排邏輯分配給協(xié)同調(diào)度網(wǎng)絡(luò)中的多個(gè)作業(yè)流調(diào)度集群進(jìn)行處理；所述多個(gè)作業(yè)流調(diào)度集群的每一個(gè)對(duì)對(duì)應(yīng)分配的數(shù)據(jù)業(yè)務(wù)處理分塊進(jìn)行處理，并生成數(shù)據(jù)；通過聯(lián)邦數(shù)據(jù)通道將生成的數(shù)據(jù)輸出至預(yù)定的作業(yè)流調(diào)度集群中并存儲(chǔ)在其對(duì)應(yīng)的數(shù)據(jù)庫中；所述方法及系統(tǒng)通過采用非主備模式的協(xié)同調(diào)度網(wǎng)絡(luò)做到多引擎并行的跨域數(shù)據(jù)調(diào)度，通過并行處理提高處理速度的同時(shí)規(guī)避了單點(diǎn)故障帶來的風(fēng)險(xiǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，更具體地，涉及一種跨域作業(yè)流調(diào)度方法及系統(tǒng)。

背景技術(shù)

隨著通信技術(shù)的日益發(fā)展，各類業(yè)務(wù)中需處理的數(shù)據(jù)量呈爆炸性增長，僅在本地的服務(wù)器完成數(shù)據(jù)處理的作業(yè)已經(jīng)越來越捉襟見肘，故分布式系統(tǒng)應(yīng)運(yùn)而生，在各個(gè)互聯(lián)的分布式服務(wù)器中處理分片處理后的分片數(shù)據(jù)，使各個(gè)部分的數(shù)據(jù)可以同時(shí)并行處理，這大大的加快了數(shù)據(jù)處理的能力；然而傳統(tǒng)的分布式的數(shù)據(jù)處理方法仍然存在一些不足：首先，傳統(tǒng)的分布式系統(tǒng)對(duì)參與聯(lián)合調(diào)度的服務(wù)器數(shù)量是有上限限制的，這使得隨著待處理數(shù)據(jù)量的增加會(huì)出現(xiàn)處理瓶頸；其次，傳統(tǒng)的分布式系統(tǒng)存在一個(gè)主服務(wù)器，所述主服務(wù)器為數(shù)據(jù)的入口并復(fù)制數(shù)據(jù)分片；而若該主服務(wù)器發(fā)生故障，會(huì)使得整個(gè)分布式系統(tǒng)癱瘓；再次，多個(gè)分布式服務(wù)器間，使用的開發(fā)語言可能存在差別，這使得在分布式系統(tǒng)的兼容性上存在隱患且后續(xù)的維護(hù)上也存在局限性。

發(fā)明內(nèi)容

為了解決背景技術(shù)存在的處理數(shù)據(jù)量存在上限、主服務(wù)器單點(diǎn)故障使得整個(gè)系統(tǒng)存在癱瘓風(fēng)險(xiǎn)以及各服務(wù)器間開發(fā)語言存在差別使得兼容性上存在隱患且維護(hù)成本高等問題，本發(fā)明提供了一種跨域作業(yè)流調(diào)度方法及系統(tǒng)，所述方法及系統(tǒng)采用非主備模式做到多引擎并行的跨域數(shù)據(jù)調(diào)度；所述多個(gè)調(diào)度集群中的任一個(gè)通過對(duì)業(yè)務(wù)的編排輸出作業(yè)流并分配給協(xié)同調(diào)度網(wǎng)絡(luò)(即分布式系統(tǒng))中的各個(gè)調(diào)度集群進(jìn)行并行處理；同時(shí)所述方法及系統(tǒng)采用容器技術(shù)，對(duì)作業(yè)的編程語言、實(shí)現(xiàn)方式?jīng)]有限制；所述一種跨域作業(yè)流調(diào)度方法包括：

在多個(gè)作業(yè)流調(diào)度集群組成的協(xié)同調(diào)度網(wǎng)絡(luò)中選取一個(gè)作業(yè)流調(diào)度集群A接收所述應(yīng)用提供者發(fā)送的數(shù)據(jù)處理業(yè)務(wù)需求；

通過所述作業(yè)流調(diào)度集群A根據(jù)所述數(shù)據(jù)處理業(yè)務(wù)需求的邏輯進(jìn)行作業(yè)流的編排并分成多個(gè)數(shù)據(jù)業(yè)務(wù)處理分塊；

將所述多個(gè)數(shù)據(jù)業(yè)務(wù)處理分塊按照作業(yè)流編排邏輯分配給所述協(xié)同調(diào)度網(wǎng)絡(luò)中的多個(gè)作業(yè)流調(diào)度集群進(jìn)行處理；

所述多個(gè)作業(yè)流調(diào)度集群的每一個(gè)對(duì)對(duì)應(yīng)分配的數(shù)據(jù)業(yè)務(wù)處理分塊進(jìn)行處理，并生成數(shù)據(jù)；

所述多個(gè)作業(yè)流調(diào)度集群的每一個(gè)將其生成的數(shù)據(jù)根據(jù)作業(yè)流定義中對(duì)該分塊的輸出位置的定義寫入數(shù)據(jù)聯(lián)邦通道的輸入接口中，并通過數(shù)據(jù)聯(lián)邦根據(jù)數(shù)據(jù)輸出位置定義由數(shù)據(jù)聯(lián)邦通道進(jìn)行通道鏈路選擇和數(shù)據(jù)傳輸；所述數(shù)據(jù)聯(lián)邦通道連接各個(gè)作業(yè)流調(diào)度集群；

在數(shù)據(jù)聯(lián)邦通道將各個(gè)作業(yè)流調(diào)度集群生成的數(shù)據(jù)傳輸?shù)阶鳂I(yè)流指定的數(shù)據(jù)輸出位置后，所述指定的數(shù)據(jù)輸出位置的作業(yè)流調(diào)度集群將所述各個(gè)作業(yè)流調(diào)度集群生成的數(shù)據(jù)整合并存儲(chǔ)在其對(duì)應(yīng)的數(shù)據(jù)庫中；

進(jìn)一步的，所述通過所述作業(yè)流調(diào)度集群A根據(jù)所述數(shù)據(jù)處理業(yè)務(wù)需求的邏輯進(jìn)行作業(yè)流的編排并分成多個(gè)數(shù)據(jù)業(yè)務(wù)處理分塊包括：所述作業(yè)流中包括多個(gè)作業(yè)節(jié)點(diǎn)，每個(gè)作業(yè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)數(shù)據(jù)業(yè)務(wù)處理分塊；所述作業(yè)節(jié)點(diǎn)包括所述協(xié)同調(diào)度網(wǎng)絡(luò)中任意集群已定義好的作業(yè)；所述作業(yè)流包括與各作業(yè)節(jié)點(diǎn)對(duì)應(yīng)的觸發(fā)策略、作業(yè)節(jié)點(diǎn)間的邏輯關(guān)系和邏輯分支判斷以及輸入輸出接口；所述作業(yè)流的編排方式包括調(diào)用與數(shù)據(jù)處理業(yè)務(wù)需求相對(duì)應(yīng)的作業(yè)流模板，并根據(jù)數(shù)據(jù)處理業(yè)務(wù)需求的邏輯對(duì)模板進(jìn)行修正，完成作業(yè)流的編排；

進(jìn)一步的，在多個(gè)作業(yè)流調(diào)度集群組成的協(xié)同調(diào)度網(wǎng)絡(luò)中選取一個(gè)作業(yè)流調(diào)度集群A的方法包括：選取協(xié)同調(diào)度網(wǎng)絡(luò)中的多個(gè)作業(yè)流調(diào)度集群與應(yīng)用者提供數(shù)據(jù)源的物理位置最近的作業(yè)流調(diào)度集群為作業(yè)流調(diào)度集群A；