[發(fā)明專利]基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510332314.6
• 申請(qǐng)日: 2015-06-16
• 公開（公告）號(hào): CN105187375B
• 公開（公告）日: 2019-05-17
• 發(fā)明（設(shè)計(jì)）人: 邵志驊;吳曉東;許卉瑩;崔林山
• 申請(qǐng)（專利權(quán)）人: 公安部交通管理科學(xué)研究所
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L29/08
• 代理公司: 無錫盛陽(yáng)專利商標(biāo)事務(wù)所(普通合伙) 32227
• 代理人: 張寧;陶純佳

本發(fā)明提供了基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)，其解決現(xiàn)有單一調(diào)用Hadoop應(yīng)用組件無法進(jìn)行有效的管理與監(jiān)控的問題以及無法適應(yīng)交通管理各個(gè)業(yè)務(wù)系統(tǒng)的異構(gòu)性的問題；其在交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)與Hadoop技術(shù)組件之間設(shè)置代理服務(wù)系統(tǒng)，交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)通過代理服務(wù)系統(tǒng)的RPC控制端與接口服務(wù)模塊進(jìn)行業(yè)務(wù)數(shù)據(jù)的交互傳輸并由RPC控制端實(shí)現(xiàn)服務(wù)進(jìn)程的調(diào)用及處理，接口服務(wù)模塊對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行格式化、校驗(yàn)后與調(diào)度服務(wù)模塊進(jìn)行數(shù)據(jù)的交互傳輸，調(diào)度服務(wù)模塊對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行調(diào)度管理及監(jiān)控，代理服務(wù)系統(tǒng)的服務(wù)器模塊對(duì)Hadoop技術(shù)組件接口數(shù)據(jù)進(jìn)行封裝以實(shí)現(xiàn)代理服務(wù)系統(tǒng)與Hadoop技術(shù)組件之間數(shù)據(jù)的交互。

技術(shù)領(lǐng)域

本發(fā)明涉及公安交通管理行業(yè)Hadoop生態(tài)應(yīng)用組件的調(diào)度服務(wù)技術(shù)領(lǐng)域，具體為基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)。

背景技術(shù)

目前全國(guó)交通管理的各個(gè)業(yè)務(wù)信息系統(tǒng)的數(shù)據(jù)規(guī)模已達(dá)到數(shù)百億條。并且，全國(guó)每年新增違法記錄數(shù)據(jù)量有數(shù)億。當(dāng)前交通管理行業(yè)已經(jīng)嘗試使用Hadoop技術(shù)體系進(jìn)行數(shù)據(jù)管理工作，但是其采用的單一調(diào)用Hadoop應(yīng)用組件的方式很難進(jìn)行有效的管理與監(jiān)控，同時(shí)也無法適應(yīng)交通管理各個(gè)業(yè)務(wù)系統(tǒng)的異構(gòu)性。為此，需要設(shè)計(jì)一種統(tǒng)一的技術(shù)組件調(diào)度方法，實(shí)現(xiàn)hadoop技術(shù)體系與多源、異構(gòu)業(yè)務(wù)系統(tǒng)的整合，提高交管數(shù)據(jù)與技術(shù)組件的可靠性，實(shí)現(xiàn)基于代理服務(wù)Hadoop的組件調(diào)度、存儲(chǔ)管理、平臺(tái)監(jiān)控及日志管理等功能。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提供了基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法及系統(tǒng)，其能解決現(xiàn)有單一的調(diào)用Hadoop應(yīng)用組件無法進(jìn)行有效的管理與監(jiān)控的問題，同時(shí)解決其無法適應(yīng)交通管理各個(gè)業(yè)務(wù)系統(tǒng)的異構(gòu)性的問題。

基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)實(shí)現(xiàn)方法，其特征在于：其在交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、與Hadoop技術(shù)組件之間設(shè)置代理服務(wù)系統(tǒng)，所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)均通過所述代理服務(wù)系統(tǒng)的RPC控制端與接口服務(wù)模塊進(jìn)行業(yè)務(wù)數(shù)據(jù)的交互傳輸并由所述RPC控制端實(shí)現(xiàn)服務(wù)進(jìn)程的調(diào)用及處理，所述接口服務(wù)模塊對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行格式化、校驗(yàn)后與調(diào)度服務(wù)模塊進(jìn)行數(shù)據(jù)的交互傳輸，所述調(diào)度服務(wù)模塊對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行調(diào)度管理及監(jiān)控，代理服務(wù)系統(tǒng)的服務(wù)器模塊對(duì)所述Hadoop技術(shù)組件接口數(shù)據(jù)進(jìn)行封裝以實(shí)現(xiàn)所述代理服務(wù)系統(tǒng)與Hadoop技術(shù)組件之間數(shù)據(jù)的交互；

所述RPC控制端包括RPC客戶端和RPC服務(wù)器端，所述RPC客戶端與所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)直接對(duì)接，所述RPC客戶端與所述RPC服務(wù)器端之間數(shù)據(jù)雙向傳送對(duì)接；

所述接口服務(wù)模塊包括消息格式轉(zhuǎn)換單元、內(nèi)容校驗(yàn)單元和權(quán)限控制單元，所述消息格式轉(zhuǎn)換單元用于將數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，所述內(nèi)容校驗(yàn)單元通過創(chuàng)建數(shù)據(jù)檢驗(yàn)規(guī)則自動(dòng)為核心系統(tǒng)或外圍系統(tǒng)提供缺失、邏輯的各種數(shù)據(jù)檢驗(yàn)預(yù)警告警，用于提示各運(yùn)行板塊業(yè)務(wù)與管理人員實(shí)時(shí)進(jìn)行數(shù)據(jù)處置，所述權(quán)限控制用于對(duì)服務(wù)的訪問進(jìn)行安全控制。

基于代理服務(wù)的Hadoop生態(tài)組件調(diào)度服務(wù)系統(tǒng)，其包括交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、以及Hadoop技術(shù)組件，其特征在于：在所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)、與所述Hadoop技術(shù)組件之間設(shè)置有代理服務(wù)系統(tǒng)，所述代理服務(wù)系統(tǒng)包括

RPC控制端，用于與所述交通管理大數(shù)據(jù)平臺(tái)和/或其它交管業(yè)務(wù)系統(tǒng)直接對(duì)接，并進(jìn)行進(jìn)程的調(diào)用及程序處理；

接口服務(wù)模塊，用于對(duì)數(shù)據(jù)進(jìn)行消息格式轉(zhuǎn)換、校驗(yàn)及權(quán)限控制；

調(diào)度服務(wù)模塊，用于任務(wù)管理、任務(wù)監(jiān)控及日志管理；

以及處理器模塊，用于對(duì)所述Hadoop技術(shù)組件接口封裝并與所述調(diào)節(jié)服務(wù)模塊進(jìn)行數(shù)據(jù)的交互。

其進(jìn)一步特征在于：