[發(fā)明專利]一種基于MapReduce的地震數(shù)據(jù)解析存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710813111.8
• 申請(qǐng)日: 2017-09-11
• 公開（公告）號(hào): CN107544090B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 李克文;謝鵬;馮德永;朱劍兵;李萍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)石油大學(xué)（華東）
• 主分類號(hào): G01V1/28
• 分類號(hào): G01V1/28
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開了一種基于MapReduce的地震數(shù)據(jù)解析存儲(chǔ)方法，其主要原理是通過(guò)MapReduce框架分布式解析SEG?Y文件并將所解析的地震屬性值通過(guò)Phoenix接口存儲(chǔ)至HBase分布式列存儲(chǔ)數(shù)據(jù)庫(kù)中。該方法相對(duì)于單機(jī)操作能并行快速且同步解析多個(gè)SEG?Y文件存儲(chǔ)至HBase中備用；對(duì)所需工區(qū)的地震屬性可以通過(guò)Phoenix在HBase中查詢并導(dǎo)出數(shù)據(jù)，相對(duì)于單機(jī)工作導(dǎo)出相同大小的數(shù)據(jù)量節(jié)約了大量時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明屬于地球物理勘探領(lǐng)域和機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及一種基于MapReduce的地震數(shù)據(jù)解析存儲(chǔ)方法。

背景技術(shù)

目前地震屬性數(shù)據(jù)體的數(shù)量多達(dá)上百個(gè)，每個(gè)地震屬性均以SEG-Y文件進(jìn)行保存，由于地震工區(qū)龐大且測(cè)網(wǎng)精度高，每個(gè)SEG-Y文件所占空間很大。常規(guī)的地震屬性抽取方法是：采用地震解析軟件導(dǎo)入SEG-Y文件，通過(guò)讀取目標(biāo)數(shù)據(jù)的字節(jié)段取出所需工區(qū)的某地震數(shù)據(jù),但是勘探技術(shù)的提高導(dǎo)致SEG-Y文件所占空間變大，從單機(jī)上提取某工區(qū)內(nèi)的若干個(gè)地震屬性值時(shí)需要對(duì)多個(gè)SEG-Y文件進(jìn)行讀取解析，導(dǎo)致讀取效率與查詢效率低下。

發(fā)明內(nèi)容

為克服現(xiàn)有地震SEG-Y文件單機(jī)解析上的不足，本發(fā)明提供了一種基于MapReduce的地震數(shù)據(jù)解析存儲(chǔ)方法，該方法可以通過(guò)MapReduce框架分布式解析SEG-Y文件并將所解析的地震屬性值存儲(chǔ)至HBase分布式列存儲(chǔ)數(shù)據(jù)庫(kù)中。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：先將地震屬性SEG-Y文件存儲(chǔ)至Hadoop的HDFS上，然后在MapReduce的InputFormat中針對(duì)SEG-Y文件進(jìn)行切分，切去道頭的3600字節(jié)，每個(gè)Split的大小為若干道的道數(shù)據(jù)所占字節(jié)數(shù)，以保證Map階段解析時(shí)的數(shù)據(jù)完整性；在Map階段每次讀取一道的數(shù)據(jù)進(jìn)行解析以防止Map內(nèi)容過(guò)載導(dǎo)致節(jié)點(diǎn)崩潰，并將Map階段的輸出通過(guò)Phoenix接口將解析完的地震屬性導(dǎo)出至HBase分布式列存儲(chǔ)數(shù)據(jù)庫(kù)中。

本發(fā)明的有益效果是：實(shí)現(xiàn)分布式解析、存儲(chǔ)地震文件，將單機(jī)抽取SEG-Y文件的方法上傳至機(jī)群，用MapReduce框架快速且同步解析多個(gè)SEG-Y文件并存儲(chǔ)至HBase中備用；對(duì)所需工區(qū)的地震屬性可以通過(guò)Phoenix在HBase中查詢并導(dǎo)出數(shù)據(jù)，相對(duì)于單機(jī)工作導(dǎo)出相同大小的數(shù)據(jù)量節(jié)約了大量時(shí)間。

附圖說(shuō)明

附圖1是本發(fā)明的MapReduce解析存儲(chǔ)過(guò)程

附圖2是本發(fā)明的源數(shù)據(jù)格式

附圖3是本發(fā)明的HBase中的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

上圖中：11.文件上傳，12.InputFormat分片，13.Mapper任務(wù)，14.Phoenix接口，15.HBase數(shù)據(jù)庫(kù)，21.SEG-Y文件格式，31.HBase表數(shù)據(jù)結(jié)構(gòu)。

具體實(shí)施方式

圖1是本發(fā)明的MapReduce解析存儲(chǔ)過(guò)程流程圖，本匹配方法分為三個(gè)階段，具體包括：

A.SEG-Y文件頭解析：本發(fā)明讀取SEG-Y文件前3600字節(jié)，解析并獲得該SEG-Y文件的時(shí)間深度TIME，道數(shù)TRACES；

B.InputFormat設(shè)計(jì)：本發(fā)明將SEG-Y文件上傳11至HDFS中，將已上傳至HDFS的SEG-Y文件作為MapReduce的輸入文件，MapReduce的InputFormat分片12去除前3600字節(jié)，每一個(gè)Split的長(zhǎng)度為TIME*4*N，N為一個(gè)正整數(shù)，根據(jù)單機(jī)性能調(diào)節(jié)以保持負(fù)載均衡及數(shù)據(jù)完整性；