[發(fā)明專利]任務(wù)處理方法及其裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210232656.0
• 申請(qǐng)日: 2022-03-09
• 公開（公告）號(hào): CN114791850A
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 祖李軍;肖陽(yáng)陽(yáng);劉偉煜;王磊
• 申請(qǐng)（專利權(quán)）人: 中國(guó)郵政儲(chǔ)蓄銀行股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50;H04L41/0668;H04L67/1095
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 周春枚

本發(fā)明公開了一種任務(wù)處理方法及其裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。其中，該方法包括：獲取第一服務(wù)器的任務(wù)環(huán)境信息，其中，第一服務(wù)器為部署于第一服務(wù)器組中并且正在執(zhí)行當(dāng)前任務(wù)的服務(wù)器，任務(wù)環(huán)境信息為當(dāng)前任務(wù)運(yùn)行所需的環(huán)境配置信息；基于任務(wù)環(huán)境信息對(duì)第二服務(wù)器進(jìn)行配置，其中，第二服務(wù)器為部署于第二服務(wù)器組中處于閑置狀態(tài)的服務(wù)器，第二服務(wù)器組為第一服務(wù)器組的備用服務(wù)器組；獲取當(dāng)前任務(wù)的任務(wù)狀態(tài)信息；當(dāng)?shù)谝环?wù)器出現(xiàn)異常時(shí)，將當(dāng)前任務(wù)移植至第二服務(wù)器，并利用第二服務(wù)器基于任務(wù)狀態(tài)信息繼續(xù)執(zhí)行當(dāng)前任務(wù)。本發(fā)明解決了針對(duì)相關(guān)技術(shù)中異地災(zāi)備數(shù)據(jù)同步過程中時(shí)效性不足的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種任務(wù)處理方法及其裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著技術(shù)發(fā)展，各行業(yè)基礎(chǔ)數(shù)據(jù)規(guī)模不斷增長(zhǎng)，面對(duì)海量數(shù)據(jù)，基于HBASE列式數(shù)據(jù)庫(kù)實(shí)時(shí)查詢是常用的解決方案。與此同時(shí)，信息系統(tǒng)對(duì)業(yè)務(wù)連續(xù)性要求越來越高，銀行等金融機(jī)構(gòu)因其業(yè)務(wù)的特殊性，需要對(duì)系統(tǒng)應(yīng)用和數(shù)據(jù)進(jìn)行異地災(zāi)備，當(dāng)系統(tǒng)提供查詢的數(shù)據(jù)量巨大時(shí)，既要滿足快速查詢檢索的需求，也要保證異地災(zāi)備數(shù)據(jù)同步的時(shí)效性；此外，由于HBASE中的數(shù)據(jù)通常需要經(jīng)過復(fù)雜的加工流程，并且定期跑批進(jìn)行修改或新增，當(dāng)故障發(fā)生時(shí)，需要實(shí)現(xiàn)災(zāi)備環(huán)境數(shù)據(jù)加工流程的快速切換，并且需要解決切換后作業(yè)跑批的連續(xù)性等問題。

現(xiàn)有方案基于HBASE+OOZIE的架構(gòu)，利用Hbase的流復(fù)制功能實(shí)現(xiàn)災(zāi)備數(shù)據(jù)同步，但也面臨著以下幾點(diǎn)問題：

(1)索引表大大增加了同步數(shù)據(jù)量，由于要對(duì)hbase進(jìn)行多條件靈活查詢，需要構(gòu)建多張索引表，單張索引表的記錄數(shù)通常與原表一致，這會(huì)造成需要同步的數(shù)據(jù)量成倍增加，而異地災(zāi)備的帶寬限制，造成同步時(shí)間增長(zhǎng)，降低了災(zāi)備數(shù)據(jù)的時(shí)效性，也增加了故障發(fā)生時(shí)主用和災(zāi)備環(huán)境數(shù)據(jù)不一致風(fēng)險(xiǎn)。

(2)主用和災(zāi)備環(huán)境的OOZIE調(diào)度作業(yè)狀態(tài)無(wú)法共享，數(shù)據(jù)加工復(fù)雜的應(yīng)用場(chǎng)景，作業(yè)數(shù)量可能達(dá)到成千上萬(wàn)個(gè)，當(dāng)發(fā)生切換時(shí)，災(zāi)備環(huán)境需要獲取原主用環(huán)境的作業(yè)日期和狀態(tài)，保證數(shù)據(jù)處理的連續(xù)性，而OOZIE調(diào)度組件通常與所在的hadoop集群深度綁定，主用和災(zāi)備集群的OOZIE使用的不同的元數(shù)據(jù)庫(kù)，故障發(fā)生時(shí)需要花費(fèi)大量的時(shí)間精力同步作業(yè)狀態(tài)并恢復(fù)數(shù)據(jù)加工流程。

(3)OOZIE組件的單點(diǎn)故障，目前主流的cdh和hdp兩大hadoop發(fā)行版本均未提供OOZIE的高可用方案，當(dāng)OOZIE服務(wù)出現(xiàn)故障時(shí)，可能導(dǎo)致數(shù)據(jù)加工流程的停止。

需要說明的是，HBASE是分布式的列式開源數(shù)據(jù)庫(kù)組件，基于key-value的數(shù)據(jù)存儲(chǔ)方式，支持PB級(jí)別的數(shù)據(jù)量的高并發(fā)快速檢索，具備流復(fù)制功能，可實(shí)現(xiàn)HBASE集群之間數(shù)據(jù)同步，數(shù)據(jù)可保存在HDFS分布式文件系統(tǒng)上，由HDFS保證高容錯(cuò)性。

OOZIE是基于工作流引擎的開源框架,是用于對(duì)數(shù)據(jù)加工作業(yè)的調(diào)度和控制,可調(diào)用shell、postgresql、hql、jar、spark等多種類型的腳本，并支持分支、合并、判斷等多種流程控制方式，與hadoop有非常深度的集成。

HBASE二級(jí)索引，由于HBASE是基于key-value的數(shù)據(jù)結(jié)構(gòu)，查詢條件需要提前選擇并組合成rowkey進(jìn)行存儲(chǔ)，若想靈活查詢非roweky組合的條件，需要根據(jù)業(yè)務(wù)需求對(duì)HBASE中數(shù)據(jù)構(gòu)建多張索引表，通過索引表找到rowkey，再通過rowkey查詢數(shù)據(jù)。

目前最常見的基于HBASE查詢的災(zāi)備部署方案是由OOZIE提供數(shù)據(jù)加工作業(yè)的調(diào)度，主用和災(zāi)備HBASE通過流復(fù)制進(jìn)行數(shù)據(jù)同步，主用環(huán)境的OOZIE工作流將數(shù)據(jù)加工完成后導(dǎo)入主用HBASE后，主用HBASE將hlog發(fā)送到災(zāi)備HBASE，災(zāi)備HBASE執(zhí)行hlog中的命令完成相同的數(shù)據(jù)操作實(shí)現(xiàn)數(shù)據(jù)同步，當(dāng)進(jìn)行災(zāi)備切換時(shí)，停止主用環(huán)境的OOZIE調(diào)度并啟動(dòng)災(zāi)備環(huán)境的OOZIE調(diào)度。而對(duì)于HBase的多條件查詢通過構(gòu)建多張索引表來實(shí)現(xiàn)，因此需要對(duì)索引表進(jìn)行同步來保證災(zāi)備的hbase災(zāi)備集群在切換后的可用性。