[發(fā)明專利]一種基于HBase的3D Tiles數(shù)據(jù)的存取方法及裝置

在審

• 申請?zhí)枺?/td>: 201911342914.5
• 申請日: 2019-12-23
• 公開（公告）號: CN111143363A
• 公開（公告）日: 2020-05-12
• 發(fā)明（設(shè)計）人: 張業(yè)鑫;李愛兵;高刃;李紅艷;李純;楊揚(yáng)
• 申請（專利權(quán)）人: 武漢光谷信息技術(shù)股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2457;G06F11/14
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 謝洋

本發(fā)明涉及一種基于HBase的3D Tiles數(shù)據(jù)的存取方法及裝置，該方法首先根據(jù)3D Tiles數(shù)據(jù)的數(shù)據(jù)類型以及瓦片級別對HBase數(shù)據(jù)庫進(jìn)行預(yù)分區(qū)，并確定每個分區(qū)的起始rowkey和終止rowkey；然后，根據(jù)3D Tiles數(shù)據(jù)文件名稱提取的瓦片級別和文件后綴組成rowkey；最后，根據(jù)所述rowkey對所述3D Tiles數(shù)據(jù)進(jìn)行存取操作，將所述3D Tiles數(shù)據(jù)存入對應(yīng)的分區(qū)或從相應(yīng)的分區(qū)讀取所述3D Tiles數(shù)據(jù)。HBase是根據(jù)rowkey查詢的，只要能快速的定位rowkey,就能實(shí)現(xiàn)快速的查詢。因此，建表分區(qū)，合理設(shè)計3D Tiles文件的rowkey，查詢時通過rowkey快速精確查找到3D Tiles文件，可達(dá)到毫秒級查詢速度。

技術(shù)領(lǐng)域

本發(fā)明涉及地理信息技術(shù)領(lǐng)域，具體涉及一種基于HBase的3D Tiles數(shù)據(jù)的存取方法及裝置。

背景技術(shù)

3D Tiles一種符合OGC標(biāo)準(zhǔn)規(guī)范的三維數(shù)據(jù)格式，設(shè)計用于流式傳輸和渲染大量3D地理空間內(nèi)容，例如攝影測量，3D建筑，BIM/CAD，實(shí)例化特征和點(diǎn)云。

現(xiàn)有的3D Tiles管理存在的問題有：文件夾管理方式，數(shù)據(jù)安全性較低，隨著數(shù)據(jù)規(guī)模越來越大，管理起來極為不便，而且會帶來讀取效率低下，不利于三維數(shù)據(jù)快速加載與地圖渲染。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中存在的技術(shù)問題，提供一種基于HBase的3DTiles數(shù)據(jù)的存取方法及裝置。HBase是一個高可靠性、高性能、可伸縮的分布式數(shù)據(jù)庫，通過rowkey可實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的快速查詢與讀取。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：

第一方面，本發(fā)明提供一種基于HBase的3D Tiles數(shù)據(jù)的存取方法，包括以下步驟：

根據(jù)3D Tiles數(shù)據(jù)的數(shù)據(jù)類型以及瓦片級別對HBase數(shù)據(jù)庫進(jìn)行預(yù)分區(qū)，并確定每個分區(qū)的起始rowkey和終止rowkey，其中所述數(shù)據(jù)類型包括：b3dm型三維瓦片數(shù)據(jù)，pnts型點(diǎn)云數(shù)據(jù)和json型元數(shù)據(jù)；

根據(jù)3D Tiles數(shù)據(jù)文件名稱提取的瓦片級別和文件后綴組成rowkey；

根據(jù)所述rowkey對所述3D Tiles數(shù)據(jù)進(jìn)行存取操作，將所述3D Tiles數(shù)據(jù)存入對應(yīng)的分區(qū)或從相應(yīng)的分區(qū)讀取所述3D Tiles數(shù)據(jù)。

由于HBase默認(rèn)只有分區(qū)，在數(shù)據(jù)寫入時，所有數(shù)據(jù)都會寫入這個默認(rèn)的分區(qū)，隨著數(shù)據(jù)量的不斷增加，此分區(qū)已經(jīng)不能承受不斷增長的數(shù)據(jù)量，會進(jìn)行分割，分成2個分區(qū)，在此過程中，會產(chǎn)生兩個問題：1.數(shù)據(jù)往一個分區(qū)上寫,會有寫熱點(diǎn)問題。2.分區(qū)分割會消耗寶貴的集群I/O資源?；诖宋覀兛梢钥刂圃诮ū淼臅r候，創(chuàng)建多個空分區(qū)，并確定每個分區(qū)的起始和終止rowkey，這樣只要我們的rowkey設(shè)計能均勻的命中各個分區(qū)，就不會存在寫熱點(diǎn)問題。既能保證數(shù)據(jù)均勻存儲，又能提高寫的效率。

3D Tiles數(shù)據(jù)包含3類文件：三維瓦片數(shù)據(jù)b3dm，點(diǎn)云數(shù)據(jù)pnts和元數(shù)據(jù)json。由于3D Tiles數(shù)據(jù)占主要的數(shù)據(jù)格式為b3dm，點(diǎn)云數(shù)據(jù)和json數(shù)據(jù)量很小，將其存入第一個或者最后一個分區(qū)就可以了。3D Tiles各個地圖級別瓦片數(shù)據(jù)量相對比較均勻，因此將各級瓦片分別建表分區(qū)存儲。

進(jìn)一步的，所述的將HBase數(shù)據(jù)庫根據(jù)3D Tiles數(shù)據(jù)的數(shù)據(jù)類型進(jìn)行預(yù)分區(qū)，還包括從瓦片文件夾名稱提取地圖級別作為分區(qū)名稱，對分區(qū)表進(jìn)行命名。便于存取數(shù)據(jù)時，直接查找到指定的分區(qū)，提高數(shù)據(jù)存取速度。