[發(fā)明專利]基于地質(zhì)信息編碼的分布式存儲方法和數(shù)據(jù)讀取方法

在審

• 申請?zhí)枺?/td>: 201910261034.9
• 申請日: 2019-04-02
• 公開（公告）號: CN111767264A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計）人: 盛秀杰;彭成;景妍;曹晉
• 申請（專利權(quán)）人: 中國石油化工股份有限公司;中國石油化工股份有限公司石油勘探開發(fā)研究院
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 北京聿宏知識產(chǎn)權(quán)代理有限公司 11372
• 代理人: 吳大建;何嬌

本發(fā)明提供一種基于地質(zhì)信息編碼的分布式存儲方法和數(shù)據(jù)讀取方法，該方法根據(jù)存取塊的地質(zhì)信息編碼將存取塊分割成子塊數(shù)據(jù)后存放到相應(yīng)網(wǎng)格所屬的存儲機器，這樣就給地質(zhì)數(shù)據(jù)賦予了更多的地理信息含義，并形成按地理區(qū)域的分布式存儲。一方面可以提升地質(zhì)數(shù)據(jù)的訪問和計算速度，減少單機存儲開銷，還可通過備份降低數(shù)據(jù)丟失風(fēng)險；另一方面實現(xiàn)了地質(zhì)信息編碼與地質(zhì)數(shù)據(jù)的結(jié)合，對于相近區(qū)域的地質(zhì)數(shù)據(jù)存放于相同機器中，更好地利用地質(zhì)數(shù)據(jù)的地理信息同時更好地管理地質(zhì)數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機技術(shù)的軟件開發(fā)領(lǐng)域，尤其涉及一種基于地質(zhì)信息編碼的分布式存儲方法和數(shù)據(jù)讀取方法。

背景技術(shù)

隨著地理信息采集技術(shù)的發(fā)展及數(shù)字化進程的加快，地理信息被廣泛的使用，由于各行業(yè)領(lǐng)域?qū)Φ乩硇畔⒌年P(guān)注側(cè)重點不同，造成地理信息的重復(fù)采集，造成信息資源的浪費。而統(tǒng)一的地理信息分類和編碼是實現(xiàn)系統(tǒng)內(nèi)和系統(tǒng)間的信息交換、集成與信息共享的關(guān)鍵問題之一。地理編碼的含義在不同行業(yè)中有著不同的定義，在不同的軟件中有不同的含義。對地理信息進行編碼，是地理信息設(shè)計中最重要的技術(shù)步驟之一，它代表著現(xiàn)實世界與信息世界的界面。在地質(zhì)上，地理信息用來確定地質(zhì)資料所屬區(qū)域，深度，方位，對于地震資料，測井資料和數(shù)字巖心資料等，其地理信息和數(shù)據(jù)本身具有同樣重要的意義。

目前在石油勘探領(lǐng)域存在著大量的大塊數(shù)據(jù)文件，隨著地震勘探技術(shù)的發(fā)展和計算機性能的提高，地震、測井等資料采集單位面積的數(shù)據(jù)塊大小相比以前成幾何級數(shù)增長，達到TB級別，目前以文件為單位的存儲方式，當(dāng)?shù)卣鹳Y料數(shù)據(jù)庫大小和數(shù)據(jù)量增大時給地震數(shù)據(jù)存儲帶來了巨大壓力，對磁盤存儲容量的要求不斷增加。面對數(shù)據(jù)量和精度逐漸增加的數(shù)據(jù)，給地震數(shù)據(jù)處理軟件系統(tǒng)也帶來了艱巨的挑戰(zhàn)，軟件也要隨著數(shù)據(jù)的更新而更新。盡管用來處理數(shù)據(jù)的計算機性能在不斷提高，但數(shù)據(jù)規(guī)模爆炸式的增長仍然超越了內(nèi)存的發(fā)展速度。從存儲、加載到顯示，需要重新審視現(xiàn)有的主流文件存儲格式，并配套研發(fā)相適應(yīng)的渲染、大數(shù)據(jù)挖掘等一系列支持大數(shù)據(jù)體的核心技術(shù)。面向地震道集數(shù)據(jù)的分布式文件架構(gòu)，將一個大的地震數(shù)據(jù)文件分解為多個可獨立操作的子文件，可以有效地提升地震數(shù)據(jù)處理的效率。

在地震資料處理系統(tǒng)中,對TB級的海量地震數(shù)據(jù)文件的存取存在嚴重的I/O瓶頸。隨著地震采集及電子掃描技術(shù)的發(fā)展，獲取的地震資料的量級快速增長。由于采用的是直接存儲整個大數(shù)據(jù)文件的方式，面向集群的大文件存取存在著對存儲和執(zhí)行環(huán)境要求高、網(wǎng)絡(luò)互連設(shè)備昂貴、地理上連接距離有限、需要配備專業(yè)人員維護、訪問速度瓶頸等問題。特別是，單個大文件I/O節(jié)點不僅因大量數(shù)據(jù)交換而變得很慢，還存在單點故障、容易造成集群癱瘓等實際問題。目前分布式存儲技術(shù)與分布式計算已經(jīng)在多個領(lǐng)域應(yīng)用，隨著分布式存儲技術(shù)的日漸成熟，用戶也隨之增加。如果能夠充分利用最新信息科學(xué)技術(shù)方便調(diào)取上游板塊基礎(chǔ)資料，如地震數(shù)據(jù)，并無縫地融合于油氣資源評價參數(shù)獲取與勘探部署決策過程中，對實現(xiàn)油氣高效勘探具有重要的現(xiàn)實意義。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)中的技術(shù)問題，本發(fā)明提供一種基于地質(zhì)信息編碼的分布式存儲方法和數(shù)據(jù)讀取方法，具體方案如下：

一種基于地質(zhì)信息編碼的分布式存儲方法，包括以下步驟：

S1：客戶端將目標區(qū)域劃分為多個網(wǎng)格，并針對各個網(wǎng)格設(shè)置網(wǎng)格編碼；

S2：客戶端將待存儲的原始數(shù)據(jù)分割為多個存取塊并將各個存取塊存儲在對應(yīng)的分布式文件中，根據(jù)各存取塊的地理信息確定各存取塊的空間信息網(wǎng)格編碼和形位碼，進而確定各存取塊的地質(zhì)信息編碼；

所述地質(zhì)信息編碼包括：存取塊的空間信息網(wǎng)格編碼、存取塊的形位碼、存取塊的數(shù)據(jù)長度和存取塊的數(shù)據(jù)類型；

針對所有存取塊中的每個存取塊，執(zhí)行以下步驟S3和步驟S4：

S3：客戶端將該存取塊的地質(zhì)信息編碼發(fā)送至分布式服務(wù)器，并接收所述分布式服務(wù)器根據(jù)該存取塊的地質(zhì)信息編碼反饋的針對該存取塊的子塊數(shù)據(jù)的反饋信息；