[發(fā)明專利]一種海洋大數(shù)據(jù)分類解析與網(wǎng)格化存儲方法

在審

• 申請?zhí)枺?/td>: 201711293286.7
• 申請日: 2017-12-08
• 公開（公告）號: CN107992584A
• 公開（公告）日: 2018-05-04
• 發(fā)明（設計）人: 鮑鵬飛;黃孝鵬;崔威威
• 申請（專利權）人: 中國船舶重工集團公司第七二四研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及一種海洋大數(shù)據(jù)分類解析、數(shù)據(jù)預處理和存儲方法。

背景技術

隨著海洋強國戰(zhàn)略不斷貫徹和深化，我國涉海產(chǎn)業(yè)經(jīng)濟持續(xù)穩(wěn)定、健康發(fā)展，對海洋信息匯聚、存儲與共享提出日益強烈的需求。特別是對現(xiàn)有海洋數(shù)據(jù)重新匯聚、處理和存儲，有助于形成立體、連續(xù)、實時、多要素綜合集成觀測能力，匯聚海量、多源、多類、多維度、多分辨率的海洋信息要素，滿足涉海行業(yè)、專業(yè)對不同尺度多源異構海洋信息的訪問和共享需求；另一方面隨著海洋數(shù)據(jù)不斷匯聚、增長，數(shù)據(jù)規(guī)模的量變能夠借助多種技術途徑轉化為信息服務質變，利用海洋大數(shù)據(jù)挖掘、可視化等技術手段可提高涉海行業(yè)決策的科學性和針對性。

海洋大數(shù)據(jù)報文復雜，且無統(tǒng)一的存儲標準，大多數(shù)海洋觀測系統(tǒng)將傳感器傳回的報文數(shù)據(jù)直接本地存儲或者解析后存儲，沒有進行分類解析、剔異、去重、補缺預處理，不適合大規(guī)模統(tǒng)一處理；對原始數(shù)據(jù)進行分類解析等一系列預處理，方便數(shù)據(jù)后期入庫和快速檢索。不同海域不同平臺的數(shù)據(jù)相互獨立、互不連通，數(shù)據(jù)共享與使用效率低，信息產(chǎn)品服務保障能力弱，難以滿足日益增長的海洋業(yè)務需求，需要構建統(tǒng)一存儲模型，對數(shù)據(jù)進行網(wǎng)格化存儲、匯聚，實現(xiàn)海洋數(shù)據(jù)的互聯(lián)、互通、互操作。因此，開展海洋大數(shù)據(jù)分類存解析與網(wǎng)格化儲技術研究，夯實海洋大數(shù)據(jù)服務基礎，可為多樣化海洋應用服務提供數(shù)據(jù)支撐，同時對于海洋信息化建設具有重要意義。

參考相關國家和行業(yè)標準，根據(jù)其感知要素將海洋數(shù)據(jù)分為九大類：海洋目標、海洋活動、海洋水文、海洋氣象、海洋災害、海洋化學、海洋生物、海洋聲光電磁、海洋地理；每個海洋信息要素包含多個變量，共同組成海洋大數(shù)據(jù)池。根據(jù)不同感知手段獲取的數(shù)據(jù)類型不同，可將海洋數(shù)據(jù)分為：視頻數(shù)據(jù)、圖像數(shù)據(jù)、文本數(shù)據(jù)等。根據(jù)數(shù)據(jù)處理程度，海洋大數(shù)據(jù)可分三類：原始數(shù)據(jù)、一次數(shù)據(jù)和二次數(shù)據(jù)。其中，原始數(shù)據(jù)是傳感器獲取到得最原始的數(shù)據(jù)，如海洋站數(shù)據(jù)；原始數(shù)據(jù)經(jīng)過實時解析后分層分類標準化整編、預處理后得到可提供為海洋服務提供要素信息的一次數(shù)據(jù)；對一次數(shù)據(jù)進行關聯(lián)分析、轉換評估資料同化、聯(lián)合反演、數(shù)據(jù)挖掘、環(huán)境預警報等典型處理形成的面相分析應用的數(shù)據(jù)，可提供二次數(shù)據(jù)產(chǎn)品服務和典型應用服務。高效存儲與管理海洋大數(shù)據(jù)具有重要理論和實踐意義。

本發(fā)明通過對傳感器原始數(shù)據(jù)進行分類解析獲得海洋信息要素，并根據(jù)九類海洋數(shù)據(jù)及感知變量的特征，提出數(shù)據(jù)網(wǎng)格概念，構建網(wǎng)格映射規(guī)則模型實現(xiàn)海量數(shù)據(jù)的高速有效存儲，利用高速緩存技術、數(shù)據(jù)遷移技術實現(xiàn)緩沖區(qū)與磁盤數(shù)據(jù)交互，實現(xiàn)海洋大數(shù)據(jù)的存儲以及快速調度使用；進而對海洋數(shù)據(jù)快速組織與檢索，完成海洋大數(shù)據(jù)可視化。提升海洋大數(shù)據(jù)利用效率。

發(fā)明內容

本發(fā)明的目的在于提供一種海量海洋數(shù)據(jù)的分類、解析、建模和存儲的技術方法，提升數(shù)據(jù)處理能力，為海洋大數(shù)據(jù)的廣泛應用提供支撐。

實現(xiàn)本發(fā)明的解決方案是：根據(jù)海洋感知的數(shù)據(jù)特征，將海洋觀測的各海洋要素的變量看作在時間和空間分布的場，建立海洋數(shù)據(jù)網(wǎng)格映射規(guī)則模型。前端傳感器采集的數(shù)據(jù)先進行解析處理，并將數(shù)據(jù)分類，經(jīng)過去重取精等預處理得到整合后海洋數(shù)據(jù)，根據(jù)網(wǎng)格映射規(guī)則模型，利用采集數(shù)據(jù)的位置、海撥、時間等信息，將數(shù)據(jù)映射到對應存儲網(wǎng)格，生成海洋大數(shù)據(jù)網(wǎng)格，便于海洋數(shù)據(jù)的快速組織，可快提取海洋觀測要素的數(shù)據(jù)資源。利用高速緩存技術、數(shù)據(jù)遷移技術實現(xiàn)緩沖區(qū)與磁盤數(shù)據(jù)交互，實現(xiàn)海洋大數(shù)據(jù)的存儲以及快速調度使用；進而對海洋數(shù)據(jù)快速組織與檢索，可為進一步實現(xiàn)數(shù)據(jù)可視化。

與傳統(tǒng)的海洋數(shù)據(jù)存儲和調度使用技術相比，本發(fā)明具有顯著優(yōu)點：1.網(wǎng)格映射規(guī)則模型可以滿足不同數(shù)據(jù)對象、不同時空的多分辨率存儲要求，易于數(shù)據(jù)可視化。2.相對于原始報文數(shù)據(jù)本地存儲，本方案采集前端傳感器數(shù)據(jù)后，經(jīng)過分類解析、去重取精處理后，實現(xiàn)對原始數(shù)據(jù)的清洗過濾形成可為上層服務提供精細有效的基礎數(shù)據(jù)，降低數(shù)據(jù)冗余度，并且可溯源。3.通過數(shù)據(jù)場和海洋觀測要素的映射關系，可以更加有效地獲取感興趣的多種海洋環(huán)境變量，降低相關數(shù)據(jù)提取的復雜度。4.海洋數(shù)據(jù)量巨大，傳統(tǒng)的方法受物理內存大小限制和磁盤數(shù)據(jù)讀取速度的限制難以滿足實時性要求，并且調度效率相對低，本發(fā)明采用緩存策略實現(xiàn)內存與磁盤間的數(shù)據(jù)實時調度。

下面結合附圖對本發(fā)明作進一步詳細描述。

附圖說明

圖1是海洋數(shù)據(jù)網(wǎng)格化存儲示意圖。

圖2是網(wǎng)格映射規(guī)則模型。

圖3是海洋大數(shù)據(jù)分類解析與存網(wǎng)格化存儲方法流程圖。

具體實施方式

本發(fā)明具體實施方法為：