[發(fā)明專利]一種基于MapReduce的地震數(shù)據(jù)解析存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710813111.8
• 申請(qǐng)日: 2017-09-11
• 公開(kāi)（公告）號(hào): CN107544090B
• 公開(kāi)（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 李克文;謝鵬;馮德永;朱劍兵;李萍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)石油大學(xué)（華東）
• 主分類號(hào): G01V1/28
• 分類號(hào): G01V1/28
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于MapReduce的地震數(shù)據(jù)解析存儲(chǔ)方法，其特征在于，包括以下步驟：

A.SEG-Y文件頭解析：

讀取SEG-Y文件前3600字節(jié)，解析并獲得該SEG-Y文件的時(shí)間深度TIME，道數(shù)TRACES；

B.InputFormat設(shè)計(jì)：

將SEG-Y文件上傳至HDFS中，將已上傳至HDFS的SEG-Y文件作為MapReduce的輸入文件，MapReduce的InputFormat分片去除前3600字節(jié)，每一個(gè)Split的長(zhǎng)度為TIME*4*N，N為一個(gè)正整數(shù)，可以根據(jù)單機(jī)性能調(diào)節(jié)以保持負(fù)載均衡及數(shù)據(jù)完整性；

C.Mapper任務(wù)設(shè)計(jì)：

每一個(gè)Mapper任務(wù)從Split中獲取一道的數(shù)據(jù)長(zhǎng)度，即TIME*4個(gè)字節(jié)，對(duì)前240字節(jié)解析并獲取該道數(shù)據(jù)的線道號(hào)，此后對(duì)每4個(gè)字節(jié)按IBM浮點(diǎn)數(shù)進(jìn)行解析以得到數(shù)值，每一個(gè)Mapper的輸出不經(jīng)過(guò)Reduce過(guò)程直接通過(guò)Phoenix接口存儲(chǔ)至HBase數(shù)據(jù)庫(kù)中，以達(dá)到縮短I/O處理時(shí)間的目的。