[發明專利]一種通用海洋數據質控方法、計算機設備和儲存介質

在審

• 申請號: 202211072769.5
• 申請日: 2022-09-02
• 公開（公告）號: CN115375168A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 朱嘉
• 申請（專利權）人: 朱嘉
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F16/16
• 代理公司: 廣州恒成智道知識產權代理有限公司 44575
• 代理人: 劉挺;龔潔

本發明公開了一種通用海洋數據質控方法、計算機設備和儲存介質，可以在復雜監測環境下對采集和儲存過程監控告警，確保數據儲存過程安全可靠；儲存過程中可以多種形式保存科研數據。通過統一轉換監測設備數據格式，根據需要和規范自定義多種特定數據特征的數據質量檢測方法組合，對大量科研數據進行質量控制檢測，明確數據可用性，為后續科研成果提供支撐，該系統提供良好的可視化操作界面實現科研人員與系統的交互，并按規范提供有高可讀性的結果報表輸出，并提供實體報告文件打印存檔。

技術領域

本發明涉及數據處理技術領域，具體是指一種通用海洋數據質控方法、計算機設備和儲存介質。

背景技術

海洋信息技術的快速發展過程中，海洋監測數據逐漸成為實現海洋氣象研究領域最重要的資源之一。

海上網絡環境不暢，衛星通信效率低質量差，很難將體量龐大并且精度要求高的科研數據及時傳輸至地面研究場所，科研數據價值高精度高，需要有船上采集和穩定儲存環境，確保數據安全。

同時，隨著數據采集效率提升、數據量不斷增大，數據質量問題也隨之而來。海洋環境復雜，科研人員收集到的原始數據難以避免地含有大量誤差、錯誤、缺失等“噪音”，科研人員不僅在應用數據時受到嚴重阻礙，甚至會使科研結果可信度受損。

針對以上現象，已有許多方法和技術作為支撐解決部分問題，但在處理數據儲存、匯交、質量控制的過程中，想要同時滿足數據儲存安全以及數據的規范化、結構化、可視化需求，仍缺少完善而行之有效的方案。

首先，針對不同數據類型，檢測設備輸出產生數據的方式(如編碼類型、輸出數據格式、接口規范等)往往有很大差異，且科研數據量龐大，需要以TB為單位儲存，如不能針對不同監測設備的輸出結果自動保存在安全的非易失性介質，以及轉換為標準編碼和數據結構，會為分析人員增加大量無意義工作。

其次，不同科研人員分工篩查數據運用的工具、方法以及判斷標準不一。沒有統一規范的數據處理方法，會對數據可用性結果的判斷產生明顯干擾。

再者，科研工作領域劃分細，針對不同的科研數據，分析員更關注某種特定數據特征是否符合要求。如果只是將數據進行籠統整合統一處理，不僅浪費硬件資源，對實際的科研工作反而有負向作用，且某些數據會因為多種質量問題被重復標注，影響實驗結論。

另外，如果沒有易操作的、可視化的操作過程和結果報表輸出，對科研人員的心智無疑增加了額外的負擔，對科研結果的輸出效率造成不必要的損害。

發明內容

本發明要解決的技術問題是克服以上技術缺陷，提供一種通用海洋數據質控方法、計算機設備和儲存介質。

為解決上述技術問題，本發明提供的技術方案為：一種通用海洋數據質控方法，包括以下步驟：

步驟一：自動獲取海洋數據監測點所收集的觀測數據，并對所述觀測數據進行保存；

步驟二：對所述觀測數據進行統一自動化轉換，并輸出為統一的編碼和數據結構；

步驟三：對經過所述統一自動化轉換的所述觀測數據進行通用性數據質量控制檢測；其中，所述通用性數據質量控制檢測包括全等性檢驗、日期檢驗、位置檢驗、著陸檢驗和缺測檢驗；

步驟四：對經過所述統一自動化轉換的所述觀測數據進行專用數據質量控制檢測；其中，所述專用數據質量控制檢測包括范圍檢驗和一致性檢驗；

步驟五：根據所述通用性數據質量控制檢測和所述專用數據質量控制檢測的檢測結果，進行數據質量判斷；

步驟六：對所述觀測數據、所述檢測結果和所述數據質量判斷的判斷結果，采用非易失性儲存介質進行保存；

步驟七：將所述檢測結果和所述數據質量判斷的判斷結果，輸出為可讀性報表。