[發(fā)明專利]圖形數(shù)據(jù)庫(kù)寫(xiě)入的方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810923043.5
• 申請(qǐng)日: 2018-08-14
• 公開(kāi)（公告）號(hào): CN109344268A
• 公開(kāi)（公告）日: 2019-02-15
• 發(fā)明（設(shè)計(jì)）人: 何任天
• 申請(qǐng)（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號(hào): G06F16/51
• 分類號(hào): G06F16/51;G06F16/182;G06F16/25
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 劉延喜

本申請(qǐng)實(shí)施例提供了一種圖形數(shù)據(jù)庫(kù)寫(xiě)入的方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。涉及圖形數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，該方法包括：通過(guò)分布式計(jì)算平臺(tái)從分布式文件系統(tǒng)中獲取各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)，任一邊數(shù)據(jù)中攜帶該邊數(shù)據(jù)對(duì)應(yīng)的兩個(gè)頂點(diǎn)分別對(duì)應(yīng)的頂點(diǎn)標(biāo)識(shí)，然后通過(guò)分布式計(jì)算平臺(tái)將獲取到的各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)中。本申請(qǐng)實(shí)施例實(shí)現(xiàn)了將海量的數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖形數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，具體而言，本申請(qǐng)涉及一種圖形數(shù)據(jù)庫(kù)寫(xiě)入的方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著信息技術(shù)的發(fā)展，數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)應(yīng)運(yùn)而生，在數(shù)據(jù)庫(kù)中通過(guò)數(shù)據(jù)結(jié)構(gòu)的方式存儲(chǔ)數(shù)據(jù)，在數(shù)據(jù)結(jié)構(gòu)中，圖是頂點(diǎn)與邊的集合，頂點(diǎn)與邊可以有各自的屬性。在互聯(lián)網(wǎng)的個(gè)性化推薦、知識(shí)圖譜、社交網(wǎng)絡(luò)等場(chǎng)景下，用圖來(lái)存儲(chǔ)數(shù)據(jù)是直觀而高效的，圖的規(guī)模可以很大，例如百億個(gè)節(jié)點(diǎn)，千億個(gè)關(guān)系，為了存儲(chǔ)與查詢這些節(jié)點(diǎn)數(shù)據(jù)以及節(jié)點(diǎn)與節(jié)點(diǎn)之間的關(guān)系，圖形數(shù)據(jù)庫(kù)隨之產(chǎn)生。

圖數(shù)據(jù)庫(kù)是一種非關(guān)系型數(shù)據(jù)庫(kù)，它應(yīng)用圖形理論存儲(chǔ)實(shí)體之間的關(guān)系信息。為了更加直觀以及高效的查詢某些數(shù)據(jù)，需要將這些數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)，但是通常待寫(xiě)入圖形數(shù)據(jù)庫(kù)中的數(shù)據(jù)為億級(jí)別的數(shù)據(jù)，因此如何將海量的數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)成為一個(gè)關(guān)鍵問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N圖形數(shù)據(jù)庫(kù)寫(xiě)入的方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可以解決將海量的數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)的問(wèn)題。該技術(shù)方案如下：

第一方面，提供了一種圖形數(shù)據(jù)庫(kù)寫(xiě)入的方法，包括：

通過(guò)分布式計(jì)算平臺(tái)從分布式文件系統(tǒng)中獲取各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)，任一邊數(shù)據(jù)中攜帶該邊數(shù)據(jù)對(duì)應(yīng)的兩個(gè)頂點(diǎn)分別對(duì)應(yīng)的頂點(diǎn)標(biāo)識(shí)；

通過(guò)分布式計(jì)算平臺(tái)將獲取到的各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)中。

其中，若外置頂點(diǎn)標(biāo)識(shí)生成器通過(guò)多節(jié)點(diǎn)模式生成頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系，則頂點(diǎn)標(biāo)識(shí)是由頂點(diǎn)身份標(biāo)識(shí)與預(yù)設(shè)標(biāo)識(shí)進(jìn)行編碼獲得的，預(yù)設(shè)標(biāo)識(shí)包括以下至少一項(xiàng)：節(jié)點(diǎn)編號(hào)；時(shí)間戳。

在一個(gè)可能的實(shí)現(xiàn)方式中，通過(guò)分布式計(jì)算平臺(tái)從分布式文件系統(tǒng)中獲取各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)，之前還包括：

基于頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系將從源數(shù)據(jù)庫(kù)中獲取到的數(shù)據(jù)生成各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)，并將各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)中，生成的任一邊數(shù)據(jù)中攜帶該邊數(shù)據(jù)對(duì)應(yīng)的兩個(gè)頂點(diǎn)分別對(duì)應(yīng)的頂點(diǎn)標(biāo)識(shí)。

在一個(gè)可能的實(shí)現(xiàn)方式中，基于頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系將從源數(shù)據(jù)庫(kù)中獲取到的數(shù)據(jù)生成各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)，之前還包括：

從內(nèi)存數(shù)據(jù)庫(kù)中獲取頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系。

在一個(gè)可能的實(shí)現(xiàn)方式中，基于頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系將從源數(shù)據(jù)庫(kù)中獲取到的數(shù)據(jù)生成各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)，之前還包括：

從內(nèi)存數(shù)據(jù)庫(kù)中獲取頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系。

在一個(gè)可能的實(shí)現(xiàn)方式中，從內(nèi)存數(shù)據(jù)庫(kù)中獲取頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系，之前還包括：

從外置頂點(diǎn)標(biāo)識(shí)生成器中獲取預(yù)先生成的頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系；

將獲取到的頂點(diǎn)與頂點(diǎn)標(biāo)識(shí)之間的映射關(guān)系，存儲(chǔ)至內(nèi)存數(shù)據(jù)庫(kù)中。

具體地，通過(guò)分布式計(jì)算平臺(tái)將獲取到的各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)中，包括：

通過(guò)分布式計(jì)算平臺(tái)，并利用多節(jié)點(diǎn)并行模式，將獲取到的各個(gè)攜帶頂點(diǎn)標(biāo)識(shí)的頂點(diǎn)數(shù)據(jù)以及各個(gè)邊數(shù)據(jù)寫(xiě)入圖形數(shù)據(jù)庫(kù)中。