[發(fā)明專利]一種海量軌跡數(shù)據(jù)的讀寫方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110822979.0
• 申請日: 2021-07-21
• 公開（公告）號: CN113448968A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 陳晏鵬;李曉輝
• 申請（專利權(quán)）人: 浪潮軟件科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458;G06F16/27
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 孫晶偉

本發(fā)明公開一種海量軌跡數(shù)據(jù)的讀寫方法及系統(tǒng)，涉及數(shù)據(jù)檢索技術(shù)領(lǐng)域；基于分布式存儲方式，增加緩沖池暫存寫入軌跡數(shù)據(jù)并進(jìn)行軌跡數(shù)據(jù)批量寫入，構(gòu)建時空索引，利用時空索引依次通過時間范圍和空間范圍查詢軌跡數(shù)據(jù)的讀寫記錄并用于展示；本發(fā)明采用分布式架構(gòu)，將數(shù)據(jù)持久化過程中的頻繁隨機(jī)寫入改為批量順序?qū)懭耄詼p少尋址操作，進(jìn)而提升寫入效率。并且本發(fā)明建立時空索引，并先從時間范圍過濾，能大幅縮小搜索范圍，再從空間范圍進(jìn)行過濾，以提升搜索速度。同時利用時空索引進(jìn)行軌跡數(shù)據(jù)的查詢及展示，便于使用及提高用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明公開一種方法及系統(tǒng)，涉及數(shù)據(jù)檢索技術(shù)領(lǐng)域，具體地說是一種海量軌跡數(shù)據(jù)的讀寫方法及系統(tǒng)。

背景技術(shù)

隨著科學(xué)技術(shù)的發(fā)展，人們產(chǎn)生的軌跡數(shù)據(jù)種類越來越豐富，數(shù)量越來越多。傳統(tǒng)的集中式存儲方式受限于單機(jī)性能，不能滿足海量數(shù)據(jù)的并發(fā)寫入及查詢；而現(xiàn)有的分布式存儲方式采用多節(jié)點(diǎn)的設(shè)計，擁有良好的并發(fā)讀寫特性，適合海量數(shù)據(jù)的存儲、查詢。但現(xiàn)有的分布式存儲寫入方式及寫入速度還有待提高。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的問題，提供一種海量軌跡數(shù)據(jù)的讀寫方法及系統(tǒng)，能以毫秒級速度精確完成海量軌跡數(shù)據(jù)的寫入與查詢。

本發(fā)明提出的具體方案是：

一種海量軌跡數(shù)據(jù)的讀寫方法，基于分布式存儲方式，增加緩沖池暫存寫入軌跡數(shù)據(jù)并進(jìn)行軌跡數(shù)據(jù)批量寫入，

構(gòu)建時空索引，利用時空索引依次通過時間范圍和空間范圍查詢軌跡數(shù)據(jù)的讀寫記錄并用于展示。

進(jìn)一步，所述的一種海量軌跡數(shù)據(jù)的讀寫方法中進(jìn)行軌跡數(shù)據(jù)批量寫入：

根據(jù)分布式集群節(jié)點(diǎn)接收并暫存在緩沖池的軌跡數(shù)據(jù)，

滿足緩存池批量寫入條件時，進(jìn)行軌跡數(shù)據(jù)的批量寫入。

進(jìn)一步，所述的一種海量軌跡數(shù)據(jù)的讀寫方法中構(gòu)建時空索引：

分別構(gòu)建時間索引和空間索引，其中采用B+Tree構(gòu)建時間索引，采用Z-Order方法，并使用GeoHash編碼構(gòu)建空間索引。

進(jìn)一步，所述的一種海量軌跡數(shù)據(jù)的讀寫方法中利用時空索引依次通過時間范圍和空間范圍查詢指定對象的軌跡數(shù)據(jù)的讀寫記錄或者利用時空索引依次通過時間范圍和空間范圍查詢指定時空區(qū)域內(nèi)的軌跡數(shù)據(jù)的讀寫記錄。

一種海量軌跡數(shù)據(jù)的讀寫系統(tǒng)，包括緩存模塊、批量寫入模塊、索引模塊及查詢模塊，

緩存模塊基于分布式存儲方式，增加緩沖池暫存寫入軌跡數(shù)據(jù)，批量寫入模塊利用緩沖池進(jìn)行軌跡數(shù)據(jù)批量寫入，

索引模塊構(gòu)建時空索引，查詢模塊利用時空索引依次通過時間范圍和空間范圍查詢軌跡數(shù)據(jù)的讀寫記錄并用于展示。

進(jìn)一步，所述的一種海量軌跡數(shù)據(jù)的讀寫系統(tǒng)中批量寫入模塊進(jìn)行軌跡數(shù)據(jù)批量寫入：

根據(jù)分布式集群節(jié)點(diǎn)接收并暫存在緩沖池中的軌跡數(shù)據(jù)，

當(dāng)滿足緩存池批量寫入條件時，進(jìn)行軌跡數(shù)據(jù)的批量寫入。

進(jìn)一步，所述的一種海量軌跡數(shù)據(jù)的讀寫系統(tǒng)中索引模塊構(gòu)建時空索引：

分別構(gòu)建時間索引和空間索引，其中采用B+Tree構(gòu)建時間索引，采用Z-Order方法，并使用GeoHash編碼構(gòu)建空間索引。

進(jìn)一步，所述的一種海量軌跡數(shù)據(jù)的讀寫系統(tǒng)中查詢模塊利用時空索引依次通過時間范圍和空間范圍查詢指定對象的軌跡數(shù)據(jù)的讀寫記錄或者查詢模塊利用時空索引依次通過時間范圍和空間范圍查詢指定時空區(qū)域內(nèi)的軌跡數(shù)據(jù)的讀寫記錄。

本發(fā)明的有益之處是：