[發(fā)明專利]實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接方法和裝置

在審

• 申請?zhí)枺?/td>: 201610859240.6
• 申請日: 2016-09-28
• 公開（公告）號(hào): CN107870946A
• 公開（公告）日: 2018-04-03
• 發(fā)明（設(shè)計(jì)）人: 路德棋
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司11021
• 代理人: 周泉

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體地涉及實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接方法和裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)行業(yè)的飛速發(fā)展，尤其是大數(shù)據(jù)時(shí)代的到來，對數(shù)據(jù)的收集、存儲(chǔ)、處理和加工顯得越發(fā)重要，實(shí)時(shí)數(shù)據(jù)更是其中倍受關(guān)注的焦點(diǎn)。如今，對海量實(shí)時(shí)數(shù)據(jù)的處理傾向于在實(shí)時(shí)流式計(jì)算中進(jìn)行，最終結(jié)果被存入數(shù)據(jù)庫中。由于實(shí)時(shí)計(jì)算的數(shù)據(jù)是瞬時(shí)的，在節(jié)點(diǎn)處進(jìn)行處理之后，需要將數(shù)據(jù)立即傳輸?shù)较掠危送?，也無法對數(shù)據(jù)的到達(dá)時(shí)機(jī)進(jìn)行控制。

數(shù)據(jù)連接(數(shù)據(jù)JOIN)是數(shù)據(jù)處理中的重要內(nèi)容。當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)來自多個(gè)數(shù)據(jù)源時(shí)，往往需要根據(jù)這些不同類型的數(shù)據(jù)之間的關(guān)聯(lián)對數(shù)據(jù)進(jìn)行結(jié)合。在數(shù)據(jù)庫中的這一結(jié)合是靜態(tài)結(jié)合。但是，在實(shí)時(shí)數(shù)據(jù)處理中，靜態(tài)結(jié)合無法實(shí)現(xiàn)對數(shù)據(jù)的多維度實(shí)時(shí)計(jì)算匯總，并且最后持久化到數(shù)據(jù)庫中的數(shù)據(jù)量比較大，查詢速度較慢。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提出了一種實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接方法和裝置。

根據(jù)本發(fā)明的一個(gè)方面，提出了一種實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接方法。所述方法包括：接收來自多個(gè)數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)；根據(jù)關(guān)聯(lián)路由規(guī)則，將所接收的實(shí)時(shí)數(shù)據(jù)路由到相應(yīng)的目標(biāo)節(jié)點(diǎn)；針對接收到所路由的實(shí)時(shí)數(shù)據(jù)的各個(gè)目標(biāo)節(jié)點(diǎn)，判斷每個(gè)目標(biāo)節(jié)點(diǎn)中所具有的實(shí)時(shí)數(shù)據(jù)是否滿足連接條件，得到相應(yīng)的判斷結(jié)果；當(dāng)所述判斷結(jié)果為肯定時(shí)，根據(jù)連接規(guī)則對相應(yīng)目標(biāo)節(jié)點(diǎn)中的實(shí)時(shí)數(shù)據(jù)進(jìn)行連接。

優(yōu)選地，所述方法還包括：當(dāng)所述判斷結(jié)果為否定時(shí)，將相應(yīng)目標(biāo)節(jié)點(diǎn)中新近路由的實(shí)時(shí)數(shù)據(jù)與之前存儲(chǔ)的實(shí)時(shí)數(shù)據(jù)一起進(jìn)行存儲(chǔ)。

優(yōu)選地，所述方法還包括：在對所接收的實(shí)時(shí)數(shù)據(jù)進(jìn)行路由之前，對所接收的實(shí)時(shí)數(shù)據(jù)進(jìn)行過濾，以去除重復(fù)的實(shí)時(shí)數(shù)據(jù)。

優(yōu)選地，所述關(guān)聯(lián)路由規(guī)則、連接條件和連接規(guī)則是預(yù)先配置的。

優(yōu)選地，所述關(guān)聯(lián)路由規(guī)則是數(shù)據(jù)源與目標(biāo)節(jié)點(diǎn)之間的映射表。

優(yōu)選地，所述連接條件規(guī)定以下各項(xiàng)中的至少一個(gè)：目標(biāo)節(jié)點(diǎn)中所具有的實(shí)時(shí)數(shù)據(jù)所來自的數(shù)據(jù)源、來自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)的數(shù)量。

優(yōu)選地，所述連接規(guī)則規(guī)定以下各項(xiàng)中的至少一個(gè)：來自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)的連接順序、來自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)的連接數(shù)量、連接類型。

根據(jù)本發(fā)明的另一方面，提出了一種實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接裝置。所述裝置中包括用于容納經(jīng)過路由的實(shí)時(shí)數(shù)據(jù)的一個(gè)或多個(gè)目標(biāo)節(jié)點(diǎn)。所述裝置還包括：接收模塊，用于接收來自多個(gè)數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)；路由模塊，用于根據(jù)關(guān)聯(lián)路由規(guī)則將所接收的實(shí)時(shí)數(shù)據(jù)路由到所述一個(gè)或多個(gè)目標(biāo)節(jié)點(diǎn)中的相應(yīng)的目標(biāo)節(jié)點(diǎn)；判斷模塊，用于針對接收到所路由的實(shí)時(shí)數(shù)據(jù)的各個(gè)目標(biāo)節(jié)點(diǎn)判斷每個(gè)目標(biāo)節(jié)點(diǎn)中所具有的實(shí)時(shí)數(shù)據(jù)是否滿足連接條件，得到相應(yīng)的判斷結(jié)果；以及連接模塊，用于當(dāng)所述判斷結(jié)果為肯定時(shí)根據(jù)連接規(guī)則對相應(yīng)目標(biāo)節(jié)點(diǎn)中的實(shí)時(shí)數(shù)據(jù)進(jìn)行連接。

優(yōu)選地，所述裝置還包括：存儲(chǔ)模塊，用于當(dāng)所述判斷結(jié)果為否定時(shí)將相應(yīng)目標(biāo)節(jié)點(diǎn)中新近路由的實(shí)時(shí)數(shù)據(jù)與之前存儲(chǔ)的實(shí)時(shí)數(shù)據(jù)一起進(jìn)行存儲(chǔ)。

優(yōu)選地，所述裝置還包括：過濾模塊，連接在所述接收模塊和所述路由模塊之間，用于對所接收的實(shí)時(shí)數(shù)據(jù)進(jìn)行過濾，以去除重復(fù)的實(shí)時(shí)數(shù)據(jù)。

優(yōu)選地，所述關(guān)聯(lián)路由規(guī)則、連接條件和連接規(guī)則是預(yù)先配置的。

優(yōu)選地，所述關(guān)聯(lián)路由規(guī)則是數(shù)據(jù)源與目標(biāo)節(jié)點(diǎn)之間的映射表。

優(yōu)選地，所述連接條件規(guī)定以下各項(xiàng)中的至少一個(gè)：目標(biāo)節(jié)點(diǎn)中所具有的實(shí)時(shí)數(shù)據(jù)所來自的數(shù)據(jù)源、來自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)的數(shù)量。

優(yōu)選地，所述連接規(guī)則規(guī)定以下各項(xiàng)中的至少一個(gè)：來自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)的連接順序、來自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)的連接數(shù)量、連接類型。

通過使用本發(fā)明所提出的實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接方法和裝置，能夠?qū)崿F(xiàn)對多個(gè)流式數(shù)據(jù)的實(shí)時(shí)合并，由此可以在下游進(jìn)行多維度實(shí)時(shí)匯總計(jì)算。此外，本發(fā)明的方案所產(chǎn)生的入庫數(shù)據(jù)減少，能夠緩解數(shù)據(jù)庫的壓力并提高查詢速度。

附圖說明

圖1示出了根據(jù)本發(fā)明的實(shí)施例的實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接方法的流程圖。

圖2示出了根據(jù)本發(fā)明的實(shí)施例的實(shí)時(shí)數(shù)據(jù)動(dòng)態(tài)連接裝置的框圖。

具體實(shí)施方式

下面將詳細(xì)描述本發(fā)明的具體實(shí)施例，應(yīng)當(dāng)注意，這里描述的實(shí)施例只用于舉例說明，并不用于限制本發(fā)明。在以下描述中，為了提供對本發(fā)明的透徹理解，闡述了大量特定細(xì)節(jié)。然而，對于本領(lǐng)域普通技術(shù)人員顯而易見的是：不必采用這些特定細(xì)節(jié)來實(shí)行本發(fā)明。在其他實(shí)例中，為了避免混淆本發(fā)明，未具體描述公知的電路、材料或方法。