[發(fā)明專(zhuān)利]矢量數(shù)據(jù)的存儲(chǔ)方法、高效檢索方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210147831.6
• 申請(qǐng)日: 2022-02-17
• 公開(kāi)（公告）號(hào): CN114461830A
• 公開(kāi)（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 李志威;徐繼;龐亞菲;魏汝蘭;吳寶佑;宋磊;王顯鯤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東南方數(shù)碼科技股份有限公司
• 主分類(lèi)號(hào): G06F16/56
• 分類(lèi)號(hào): G06F16/56;G06F16/51
• 代理公司: 北京維正專(zhuān)利代理有限公司 11508
• 代理人: 俞振明;謝緒寧

本申請(qǐng)涉及一種矢量數(shù)據(jù)的存儲(chǔ)方法、高效檢索方法、設(shè)備及存儲(chǔ)介質(zhì)，所述的矢量數(shù)據(jù)的存儲(chǔ)方法，包括以下步驟：利用空間填充曲線(xiàn)算法將矢量數(shù)據(jù)對(duì)應(yīng)的平面空間循環(huán)分解為多級(jí)大小相同的網(wǎng)格，所有的網(wǎng)格通過(guò)一條曲線(xiàn)串起來(lái)，且所述曲線(xiàn)均勻的填滿(mǎn)整個(gè)平面空間；對(duì)每個(gè)最小網(wǎng)格按照切分層級(jí)依次進(jìn)行編碼，獲得每個(gè)網(wǎng)格的唯一編碼，進(jìn)而獲得所述矢量數(shù)據(jù)對(duì)應(yīng)的網(wǎng)格坐標(biāo)編碼；存儲(chǔ)所述矢量數(shù)據(jù)對(duì)應(yīng)的網(wǎng)格坐標(biāo)編碼。通過(guò)采用以上方法，從而可以實(shí)現(xiàn)存儲(chǔ)和管理海量矢量數(shù)據(jù)時(shí)，有利于實(shí)現(xiàn)對(duì)矢量數(shù)據(jù)進(jìn)行高效檢索。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)存儲(chǔ)及檢索技術(shù)領(lǐng)域，尤其是涉及一種矢量數(shù)據(jù)的存儲(chǔ)方法、高效檢索方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

Presto通常通過(guò)以下流程來(lái)處理用戶(hù)的查詢(xún)語(yǔ)句請(qǐng)求：客戶(hù)端通過(guò)http協(xié)議發(fā)送查詢(xún)語(yǔ)句給Presto集群的協(xié)調(diào)器，協(xié)調(diào)器接收到客戶(hù)端發(fā)送的查詢(xún)語(yǔ)句后，對(duì)該語(yǔ)句進(jìn)行解析，生成查詢(xún)執(zhí)行計(jì)劃，并根據(jù)查詢(xún)執(zhí)行計(jì)劃依次生成SQL查詢(xún)執(zhí)行器（用于查詢(xún)SQL解析與查詢(xún)計(jì)劃的構(gòu)建）- SQL階段執(zhí)行器（用于將構(gòu)建好的查詢(xún)計(jì)劃切分為多層階段任務(wù)）-遠(yuǎn)程http（超文本傳輸協(xié)議）任務(wù)；協(xié)調(diào)器將每個(gè)任務(wù)分發(fā)到所需要處理的數(shù)據(jù)所在的工作節(jié)點(diǎn)上進(jìn)行執(zhí)行；執(zhí)行源數(shù)據(jù)獲取階段的任務(wù)通過(guò)連接器從數(shù)據(jù)源中讀取所需要查詢(xún)或參與計(jì)算的數(shù)據(jù)；處于下游階段中的任務(wù)會(huì)讀取上游階段產(chǎn)生的輸出結(jié)果，并在該階段的每個(gè)任務(wù)所在的工作節(jié)點(diǎn)的內(nèi)存中進(jìn)行后續(xù)的計(jì)算和處理；協(xié)調(diào)器一直持續(xù)不斷的從單計(jì)算階段中的任務(wù)獲取計(jì)算結(jié)果，并將結(jié)果緩存到緩沖器中，直到所有計(jì)算結(jié)束；SQL查詢(xún)請(qǐng)求發(fā)起客戶(hù)端自提交查詢(xún)之后，即不斷的從協(xié)調(diào)器中獲取本次查詢(xún)的計(jì)算結(jié)果，直到獲得所有的計(jì)算結(jié)果。

雖然presto可以通過(guò)連接器實(shí)現(xiàn)對(duì)各大數(shù)據(jù)存儲(chǔ)引擎（如kudu、hbase等）進(jìn)行數(shù)據(jù)管理，如：數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)檢索及數(shù)據(jù)分析，但該技術(shù)不支持矢量數(shù)據(jù)的索引查詢(xún)及管理，無(wú)法實(shí)現(xiàn)對(duì)矢量數(shù)據(jù)進(jìn)行檢索。

現(xiàn)有技術(shù)中，有根據(jù)空間索引建立多級(jí)深度表的方式實(shí)現(xiàn)對(duì)矢量數(shù)據(jù)的存儲(chǔ)和索引，但是該方式僅僅適用于手機(jī)等移動(dòng)設(shè)備進(jìn)行地圖發(fā)布和瀏覽時(shí)，實(shí)現(xiàn)矢量數(shù)據(jù)的高效可視化，無(wú)法實(shí)現(xiàn)一般場(chǎng)景下的海量大數(shù)據(jù)的高效檢索。

發(fā)明內(nèi)容

為了實(shí)現(xiàn)海量大數(shù)據(jù)的高效檢索，本申請(qǐng)?zhí)峁┮环N矢量數(shù)據(jù)的存儲(chǔ)方法、高效檢索方法、設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本申請(qǐng)?zhí)峁┑囊环N矢量數(shù)據(jù)的存儲(chǔ)方法采用如下的技術(shù)方案：

一種矢量數(shù)據(jù)的存儲(chǔ)方法，包括以下步驟：

利用空間填充曲線(xiàn)算法將矢量數(shù)據(jù)對(duì)應(yīng)的平面空間循環(huán)分解為多級(jí)大小相同的網(wǎng)格，所有的網(wǎng)格通過(guò)一條曲線(xiàn)串起來(lái)，這條曲線(xiàn)均勻的填滿(mǎn)整個(gè)平面空間；

對(duì)每個(gè)最小網(wǎng)格按照切分層級(jí)依次進(jìn)行編碼，獲得每個(gè)網(wǎng)格的唯一編碼，進(jìn)而獲得所述矢量數(shù)據(jù)對(duì)應(yīng)的網(wǎng)格坐標(biāo)編碼；

存儲(chǔ)所述矢量數(shù)據(jù)對(duì)應(yīng)的網(wǎng)格坐標(biāo)編碼。

通過(guò)采用以上技術(shù)方案，尤其是利用空間填充曲線(xiàn)算法將矢量數(shù)據(jù)對(duì)應(yīng)的平面空間循環(huán)分解為多級(jí)大小相同的網(wǎng)格，所有的網(wǎng)格通過(guò)一條線(xiàn)串起來(lái)，該曲線(xiàn)可以均勻的填滿(mǎn)整個(gè)平面空間。對(duì)每個(gè)最小網(wǎng)格按照切分層級(jí)依次進(jìn)行編碼，從而使得空間要素的空間關(guān)系可以映射為一維，一維索引值可以支持更多數(shù)據(jù)庫(kù)，同時(shí)可以支持點(diǎn)線(xiàn)面等多種不同類(lèi)型的幾何圖形進(jìn)行索引；且對(duì)多級(jí)大小相同的網(wǎng)格進(jìn)行編碼時(shí)及存儲(chǔ)時(shí)，所有的網(wǎng)格編碼可存儲(chǔ)在一張表中，進(jìn)而所有的矢量數(shù)據(jù)也可以只存儲(chǔ)在一張表中進(jìn)行管理，不僅占用的存儲(chǔ)空間小，數(shù)據(jù)存儲(chǔ)及索引步驟簡(jiǎn)單，同時(shí)使得海量矢量數(shù)據(jù)的存儲(chǔ)及索引更加高效。

優(yōu)選的，劃分的每一級(jí)大小相同的網(wǎng)格之間的連線(xiàn)均呈倒Z字形。倒Z字形曲線(xiàn)在擁有很高的索引效率的同時(shí)，相比其他曲線(xiàn)，比如希爾伯特曲線(xiàn)等，實(shí)現(xiàn)過(guò)程更簡(jiǎn)單。