[發(fā)明專利]基于分布式處理和消息驅(qū)動(dòng)模式的業(yè)務(wù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410252158.8
• 申請(qǐng)日: 2014-06-09
• 公開（公告）號(hào): CN104008176A
• 公開（公告）日: 2014-08-27
• 發(fā)明（設(shè)計(jì)）人: 林立偉;崔星燦;董振
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南觀瀾數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張勇

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)應(yīng)用軟件開發(fā)領(lǐng)域，尤其涉及一種基于分布式處理和消息驅(qū)動(dòng)模式

的業(yè)務(wù)處理方法。

背景技術(shù)

數(shù)據(jù)庫(kù)系統(tǒng)是用來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)，它在企業(yè)、部門乃至個(gè)人的日常生產(chǎn)生活等諸多領(lǐng)域都得到了廣泛的應(yīng)用。隨著公安信息、交通管理信息采集形式的多樣化和公安交管信息本身形式的多樣化，公安交管用戶對(duì)信息的使用方式產(chǎn)生了新的方法和需求。這些新的方法和需求很多已經(jīng)不能夠使用傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)(如Oracle數(shù)據(jù)庫(kù)、MS?SQLServer數(shù)據(jù)庫(kù)、DB2數(shù)據(jù)庫(kù)等)來(lái)滿足業(yè)務(wù)需求，一方面是因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的交互模式不再適用于這些業(yè)務(wù)需求，另一方面是傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)面臨大量數(shù)據(jù)時(shí)表現(xiàn)出系統(tǒng)瓶頸，不足以支撐這些業(yè)務(wù)需求。

具體的從交互模式來(lái)講，如圖1所示，一方面?zhèn)鹘y(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)隨著公安交管數(shù)據(jù)的產(chǎn)生和采集而將數(shù)據(jù)以某種方式存在數(shù)據(jù)庫(kù)系統(tǒng)中，另一方面公安交管用戶提出特定的條件，對(duì)數(shù)據(jù)庫(kù)系統(tǒng)內(nèi)的數(shù)據(jù)進(jìn)行查詢，而數(shù)據(jù)庫(kù)系統(tǒng)則將查詢結(jié)果返送給用戶。這種交互模式依靠用戶主動(dòng)提出特定條件的查詢而獲得相應(yīng)的查詢結(jié)果，是“用戶主動(dòng)-數(shù)據(jù)被動(dòng)”式。一些新的公安交管業(yè)務(wù)需求(如后文詳細(xì)說(shuō)明的預(yù)警報(bào)警業(yè)務(wù)、區(qū)間測(cè)速業(yè)務(wù)等)卻需要不同的交互模式，如圖2所示，是隨著數(shù)據(jù)的產(chǎn)生、采集到達(dá)處理平臺(tái)后，由處理平臺(tái)篩選出經(jīng)相關(guān)算法判定后符合條件的數(shù)據(jù)并將其主動(dòng)報(bào)告給用戶，是“數(shù)據(jù)主動(dòng)-用戶被動(dòng)”式，也即消息驅(qū)動(dòng)式。

重要的，傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)對(duì)上述消息驅(qū)動(dòng)式的業(yè)務(wù)，采取的是非直接的、變通的方案，如定時(shí)輪詢、觸發(fā)器方案等，而本發(fā)明此類消息驅(qū)動(dòng)式的業(yè)務(wù)，是基于分布式處理和消息驅(qū)動(dòng)模式的業(yè)務(wù)處理方法，是直接的、非變通的方法。傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)變通方案，尚能支持少量分析需求，但不能支持應(yīng)對(duì)大的數(shù)據(jù)規(guī)模，特別是不能支持近一兩年出現(xiàn)的更新的公安交管數(shù)據(jù)采集方式、更廣泛的公安交管數(shù)據(jù)采集來(lái)源會(huì)產(chǎn)生大規(guī)模的數(shù)據(jù)(每分鐘萬(wàn)條乃至更多)即交管大數(shù)據(jù)。在交管外的其它領(lǐng)域已經(jīng)出現(xiàn)一些分布式處理模式的解決方案，采用由一臺(tái)處理服務(wù)器到多臺(tái)處理服務(wù)器的部署方案，利用集群的處理能力聯(lián)合來(lái)應(yīng)對(duì)較大規(guī)模數(shù)據(jù)的處理需求。但是，尚沒(méi)有基于分布式處理和消息驅(qū)動(dòng)模式的公安交管具體業(yè)務(wù)處理方法。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明具體公開了一種基于分布式處理和消息驅(qū)動(dòng)模式的業(yè)務(wù)處理方法，本方案不同于傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)解決方案，基于分布式處理平臺(tái)的業(yè)務(wù)處理方法具有良好的擴(kuò)展性，即隨著公安交管數(shù)據(jù)產(chǎn)生率的增大和業(yè)務(wù)請(qǐng)求的增多，分布式處理平臺(tái)能夠通過(guò)添加計(jì)算節(jié)點(diǎn)的方式極大增強(qiáng)自身的處理能力。

為實(shí)現(xiàn)上述目的，本發(fā)明的具體方案如下：

一種基于分布式處理和消息驅(qū)動(dòng)模式的業(yè)務(wù)處理方法，包括以下步驟：

步驟一，將車輛通行數(shù)據(jù)以若干車輛通行消息的方式傳輸給消息接收單元；

步驟二，消息接收單元將接收到的數(shù)據(jù)傳輸給消息處理單元；

步驟三，消息處理單元使用自適應(yīng)處理算法或預(yù)定義處理算法對(duì)數(shù)據(jù)做出分析；

步驟四，將步驟三的分析應(yīng)用到業(yè)務(wù)群的各業(yè)務(wù)，形成分析過(guò)程和分析結(jié)果；將分析結(jié)果推送給用戶。

所述步驟三的自適應(yīng)處理算法需要自動(dòng)適應(yīng)由外界輸入的算法可調(diào)參數(shù)，從而產(chǎn)生不同的處理結(jié)果；預(yù)設(shè)處理算法使用預(yù)先設(shè)置的最優(yōu)參數(shù)，不需要外界輸入算法可調(diào)參數(shù)。

自適應(yīng)處理算法是具體業(yè)務(wù)的自適應(yīng)處理算法，如后文所述自適應(yīng)黑名單匹配算法、自適應(yīng)布控匹配算法等的統(tǒng)稱，預(yù)設(shè)處理算法是具體業(yè)務(wù)的預(yù)設(shè)處理算法，如后文所述預(yù)設(shè)模型預(yù)警算法、預(yù)設(shè)區(qū)間測(cè)速算法等的統(tǒng)稱。

所述步驟四的業(yè)務(wù)群的各業(yè)務(wù)包括黑名單報(bào)警業(yè)務(wù)、布控報(bào)警業(yè)務(wù)、模型預(yù)警業(yè)務(wù)、套牌車輛分析業(yè)務(wù)、區(qū)間測(cè)速業(yè)務(wù)、旅行時(shí)間分析業(yè)務(wù)和特定目標(biāo)監(jiān)控業(yè)務(wù)。形成的分析過(guò)程和分析結(jié)果是各業(yè)務(wù)不同的，將在后文分項(xiàng)詳述。

所述黑名單報(bào)警業(yè)務(wù)的處理方法，過(guò)程如下：

將黑名單內(nèi)容作為算法可調(diào)參數(shù)更新到自適應(yīng)黑名單匹配算法，由消息的到達(dá)觸發(fā)自適應(yīng)黑名單匹配算法的比對(duì)操作，選擇將黑名單加載并緩沖在服務(wù)器節(jié)點(diǎn)內(nèi)存中，并采用哈希方法將黑名單分區(qū)形成黑名單片段、并將黑名單片段部署到集群內(nèi)不同的服務(wù)器節(jié)點(diǎn)，由不同的服務(wù)器節(jié)點(diǎn)承擔(dān)具體的比對(duì)操作，比對(duì)觸發(fā)的黑名單車輛作為車輛報(bào)警實(shí)時(shí)推送給用戶。

所述布控報(bào)警業(yè)務(wù)的處理方法，過(guò)程如下：