[發(fā)明專利]實(shí)時(shí)流式圖關(guān)系的處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011483212.1
• 申請(qǐng)日: 2020-12-16
• 公開(kāi)（公告）號(hào): CN112632336A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 張波
• 申請(qǐng)（專利權(quán)）人: 恩億科（北京）數(shù)據(jù)科技有限公司
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/903
• 代理公司: 青島清泰聯(lián)信知識(shí)產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李紅巖

本發(fā)明公開(kāi)了一種實(shí)時(shí)流式圖關(guān)系的處理方法及系統(tǒng)，處理方法包括：數(shù)據(jù)處理步驟：從實(shí)時(shí)流式圖獲取實(shí)體關(guān)系數(shù)據(jù)并排序后，對(duì)排序后的所述實(shí)體關(guān)系數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充獲得第一數(shù)據(jù)及第二數(shù)據(jù)；迭代處理步驟：對(duì)所述第一數(shù)據(jù)及所述第二數(shù)據(jù)進(jìn)行key by迭代操作獲得結(jié)構(gòu)圖數(shù)據(jù)；結(jié)構(gòu)圖獲得步驟：根據(jù)設(shè)置的ID標(biāo)識(shí)將所述結(jié)構(gòu)圖數(shù)據(jù)進(jìn)行聚合獲得圖結(jié)構(gòu)關(guān)系。本發(fā)明在流式場(chǎng)景下，通過(guò)圖遍歷和聚合算法對(duì)關(guān)系數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理并且快速建立圖關(guān)系結(jié)構(gòu)，從而實(shí)現(xiàn)流式處理場(chǎng)景下的高吞吐量和實(shí)時(shí)性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地說(shuō)，尤其涉及一種實(shí)時(shí)流式圖 關(guān)系的處理方法及系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)相關(guān)技術(shù)的深入發(fā)展，日常都離不開(kāi)數(shù)據(jù)庫(kù)。選擇合適的 數(shù)據(jù)庫(kù)對(duì)于企業(yè)來(lái)說(shuō)可以達(dá)到是事半功倍的效果。大型企業(yè)互聯(lián)網(wǎng)數(shù)據(jù)中， 數(shù)據(jù)類型多種多樣，均會(huì)以合適的類型存儲(chǔ)至數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)類 型分為傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。圖數(shù)據(jù)庫(kù)作為非關(guān)系型數(shù) 據(jù)庫(kù)的一種，在表示實(shí)體間關(guān)系的領(lǐng)域內(nèi)，有著舉足輕重的作用。

在營(yíng)銷場(chǎng)景下，單個(gè)實(shí)體的屬性分布在多個(gè)不同主鍵的表中(例如消 費(fèi)者的手機(jī)號(hào)mobile，設(shè)備號(hào)imei，微信號(hào)openid等，每一類ID在各自的 表中作為主鍵存儲(chǔ)相應(yīng)的數(shù)據(jù))。如果將這些ID進(jìn)行統(tǒng)一，就可以很好的 描述實(shí)體的整體屬性。而如何將這些主鍵ID進(jìn)行打通，是企業(yè)面臨的一個(gè) 重要問(wèn)題。目前的實(shí)際解決方案上，是將這些相關(guān)的ID進(jìn)行圖關(guān)系的建立 與計(jì)算。

現(xiàn)有技術(shù)中使用圖數(shù)據(jù)庫(kù)，將數(shù)據(jù)保存至圖數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)進(jìn)行圖關(guān) 系的查詢，然后利用查詢的結(jié)果，來(lái)進(jìn)行計(jì)算，這種方式本質(zhì)上是利用了 圖數(shù)據(jù)庫(kù)來(lái)進(jìn)行實(shí)時(shí)性的補(bǔ)充，計(jì)算由圖數(shù)據(jù)庫(kù)完成；現(xiàn)有技術(shù)中還采用 使用圖計(jì)算引擎，直接打通多類ID。但是這兩種方式，在實(shí)際使用中發(fā)現(xiàn) 存在以下缺陷：

1、圖數(shù)據(jù)庫(kù)的使用門(mén)檻較高，且非常占用自用使用，以存儲(chǔ)查詢見(jiàn)長(zhǎng)， 而在于復(fù)雜查詢上，性能較差，尤其是對(duì)于具有高深度的實(shí)體進(jìn)行查詢時(shí)， 在深度的計(jì)算能力上，極其有限，實(shí)時(shí)性無(wú)法得到可靠保證；

2、圖計(jì)算引擎長(zhǎng)于計(jì)算批量數(shù)據(jù)的圖關(guān)系生成，由于是批量的數(shù)據(jù)接 入，數(shù)據(jù)量越大，計(jì)算越耗時(shí)，不具備良好的實(shí)時(shí)性。

因此亟需開(kāi)發(fā)一種克服上述缺陷的實(shí)時(shí)流式圖關(guān)系的處理方法及系統(tǒng)。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明提供一種實(shí)時(shí)流式圖關(guān)系的處理方法，其中， 包括：

數(shù)據(jù)處理步驟：從實(shí)時(shí)流式圖獲取實(shí)體關(guān)系數(shù)據(jù)并排序后，對(duì)排序后 的所述實(shí)體關(guān)系數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充獲得第一數(shù)據(jù)及第二數(shù)據(jù)；

迭代處理步驟：對(duì)所述第一數(shù)據(jù)及所述第二數(shù)據(jù)進(jìn)行key by迭代操作 獲得結(jié)構(gòu)圖數(shù)據(jù)；

結(jié)構(gòu)圖獲得步驟：根據(jù)設(shè)置的ID標(biāo)識(shí)將所述結(jié)構(gòu)圖數(shù)據(jù)進(jìn)行聚合獲得 圖結(jié)構(gòu)關(guān)系。

上述的處理方法，其中，所述數(shù)據(jù)處理步驟包括：

排序步驟：將包含單個(gè)實(shí)體的屬性數(shù)據(jù)的所述實(shí)體關(guān)系數(shù)據(jù)進(jìn)行排序 操作；

擴(kuò)充步驟：對(duì)排序后的所述實(shí)體關(guān)系數(shù)據(jù)進(jìn)行擴(kuò)充獲得所述第一數(shù)據(jù) 及所述第二數(shù)據(jù)。

上述的處理方法，其中，所述第一數(shù)據(jù)包括單純的實(shí)體關(guān)系，所述第 二數(shù)據(jù)包括單純的實(shí)體關(guān)系及帶有實(shí)體屬性的實(shí)體關(guān)系。

上述的處理方法，其中，所述迭代處理步驟包括：

判斷步驟：根據(jù)每個(gè)字段的屬性確定初始中心點(diǎn)和初始普通點(diǎn)；

迭代步驟：根據(jù)所述初始中心點(diǎn)和所述初始普通點(diǎn)進(jìn)行迭代操作獲得 包括最終中心點(diǎn)和最終普通點(diǎn)的結(jié)構(gòu)圖數(shù)據(jù)。

上述的處理方法，其中，所述結(jié)構(gòu)圖獲得步驟包括：

設(shè)置步驟：為所述實(shí)時(shí)流式圖的每一實(shí)體設(shè)置一ID標(biāo)識(shí)；