[發明專利]基于地質信息編碼的分布式存儲方法和數據讀取方法

在審

• 申請號: 201910261034.9
• 申請日: 2019-04-02
• 公開（公告）號: CN111767264A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 盛秀杰;彭成;景妍;曹晉
• 申請（專利權）人: 中國石油化工股份有限公司;中國石油化工股份有限公司石油勘探開發研究院
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 北京聿宏知識產權代理有限公司 11372
• 代理人: 吳大建;何嬌

本發明提供一種基于地質信息編碼的分布式存儲方法和數據讀取方法，該方法根據存取塊的地質信息編碼將存取塊分割成子塊數據后存放到相應網格所屬的存儲機器，這樣就給地質數據賦予了更多的地理信息含義，并形成按地理區域的分布式存儲。一方面可以提升地質數據的訪問和計算速度，減少單機存儲開銷，還可通過備份降低數據丟失風險；另一方面實現了地質信息編碼與地質數據的結合，對于相近區域的地質數據存放于相同機器中，更好地利用地質數據的地理信息同時更好地管理地質數據。

技術領域

本發明屬于計算機技術的軟件開發領域，尤其涉及一種基于地質信息編碼的分布式存儲方法和數據讀取方法。

背景技術

隨著地理信息采集技術的發展及數字化進程的加快，地理信息被廣泛的使用，由于各行業領域對地理信息的關注側重點不同，造成地理信息的重復采集，造成信息資源的浪費。而統一的地理信息分類和編碼是實現系統內和系統間的信息交換、集成與信息共享的關鍵問題之一。地理編碼的含義在不同行業中有著不同的定義，在不同的軟件中有不同的含義。對地理信息進行編碼，是地理信息設計中最重要的技術步驟之一，它代表著現實世界與信息世界的界面。在地質上，地理信息用來確定地質資料所屬區域，深度，方位，對于地震資料，測井資料和數字巖心資料等，其地理信息和數據本身具有同樣重要的意義。

目前在石油勘探領域存在著大量的大塊數據文件，隨著地震勘探技術的發展和計算機性能的提高，地震、測井等資料采集單位面積的數據塊大小相比以前成幾何級數增長，達到TB級別，目前以文件為單位的存儲方式，當地震資料數據庫大小和數據量增大時給地震數據存儲帶來了巨大壓力，對磁盤存儲容量的要求不斷增加。面對數據量和精度逐漸增加的數據，給地震數據處理軟件系統也帶來了艱巨的挑戰，軟件也要隨著數據的更新而更新。盡管用來處理數據的計算機性能在不斷提高，但數據規模爆炸式的增長仍然超越了內存的發展速度。從存儲、加載到顯示，需要重新審視現有的主流文件存儲格式，并配套研發相適應的渲染、大數據挖掘等一系列支持大數據體的核心技術。面向地震道集數據的分布式文件架構，將一個大的地震數據文件分解為多個可獨立操作的子文件，可以有效地提升地震數據處理的效率。

在地震資料處理系統中,對TB級的海量地震數據文件的存取存在嚴重的I/O瓶頸。隨著地震采集及電子掃描技術的發展，獲取的地震資料的量級快速增長。由于采用的是直接存儲整個大數據文件的方式，面向集群的大文件存取存在著對存儲和執行環境要求高、網絡互連設備昂貴、地理上連接距離有限、需要配備專業人員維護、訪問速度瓶頸等問題。特別是，單個大文件I/O節點不僅因大量數據交換而變得很慢，還存在單點故障、容易造成集群癱瘓等實際問題。目前分布式存儲技術與分布式計算已經在多個領域應用，隨著分布式存儲技術的日漸成熟，用戶也隨之增加。如果能夠充分利用最新信息科學技術方便調取上游板塊基礎資料，如地震數據，并無縫地融合于油氣資源評價參數獲取與勘探部署決策過程中，對實現油氣高效勘探具有重要的現實意義。

發明內容

為解決現有技術中的技術問題，本發明提供一種基于地質信息編碼的分布式存儲方法和數據讀取方法，具體方案如下：

一種基于地質信息編碼的分布式存儲方法，包括以下步驟：

S1：客戶端將目標區域劃分為多個網格，并針對各個網格設置網格編碼；

S2：客戶端將待存儲的原始數據分割為多個存取塊并將各個存取塊存儲在對應的分布式文件中，根據各存取塊的地理信息確定各存取塊的空間信息網格編碼和形位碼，進而確定各存取塊的地質信息編碼；

所述地質信息編碼包括：存取塊的空間信息網格編碼、存取塊的形位碼、存取塊的數據長度和存取塊的數據類型；

針對所有存取塊中的每個存取塊，執行以下步驟S3和步驟S4：

S3：客戶端將該存取塊的地質信息編碼發送至分布式服務器，并接收所述分布式服務器根據該存取塊的地質信息編碼反饋的針對該存取塊的子塊數據的反饋信息；