[發明專利]基于集群并行運算的GNSS導航信號海量數據快速處理方法

有效

• 申請號: 201710284834.3
• 申請日: 2017-04-27
• 公開（公告）號: CN107133110B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 賀成艷;盧曉春;郭際;王雪;饒永南
• 申請（專利權）人: 中國科學院國家授時中心
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 顧潮琪

1.一種基于集群并行運算的GNSS導航信號海量數據快速處理方法，其特征在于包括下述步驟：

步驟1，收集所有有關GNSS導航數據處理的各類型數據；挑選出能夠綜合分析、相互無依賴關系的數據；

步驟2，采用若干計算機作為節點構建集群環境，包括用戶節點、管理節點、存儲節點和計算節點；所述的用戶節點提供用戶界面，接受用戶任務，通過運行調度器將任務分派到其它節點，并將運算結果返回給用戶；所述的管理節點對集群中的任意節點進行監視和操作，并處理集群中所有節點的日志和報警信息；所述的存儲節點提供存儲共享，確保數據同步訪問；所述的計算節點包括胖節點和工作節點，胖節點的計算能力優于工作節點，每個集群包括1個胖節點和若干工作節點；各個節點間通過進程間通信網絡在執行并行任務時進行進程間通信，管理節點通過管理網絡收集集群信息、監視集群計算機和執行維護任務的網絡，計算節點通過存儲訪問網絡訪問存儲節點；

步驟3，針對步驟1挑選出的數據進行任務分解、數據分解或數據流分解；所述的任務分解對應用程序根據其執行的功能進行分解；所述的數據分解將應用程序根據各任務所處理的數據進行分解，利用多個線程對不同的數據塊執行相同的操作；所述的數據流分解將一個線程的輸出作為另一個線程的輸入；

步驟4，構建可并行執行算法，具體步驟如下：

(1)通過提取存儲節點的數據文件和文件列表文件標識，完成數據采集文件的提取；

(2)對提取的數據文件進行合理性檢驗、剔除野值、系統誤差修正和公共誤差修正；

(3)將M個同步通道、每個通道N顆衛星、每顆衛星L個頻點的任務一次性投入集群系統，并行計算，最后在胖節點上面完成各工作節點計算數據比價匯總；

(4)對于需要其他指標結果作為輸入的數據，在執行并行計算后執行串行計算。

2.根據權利要求1所述基于集群并行運算的GNSS導航信號海量數據快速處理方法，其特征在于：所述的步驟(4)之后，客戶端與集群繪圖服務程序建立TCP Socket連接，通過并行和管道兩種方式傳輸繪圖或顯示所需數據，由集群JAVA接口配合繪圖調度完成繪圖并行處理。

3.根據權利要求2所述基于集群并行運算的GNSS導航信號海量數據快速處理方法，其特征在于：所述的步驟(4)計算的參數及結果圖形在胖節點上按照預定義的評估結果報表格式或要求匯總，利用多線程進行作業日志管理和報表顯示。