[發(fā)明專利]一種基于通用PC機的射電天文數(shù)據(jù)處理方法

有效

• 申請?zhí)枺?/td>: 201410055134.3
• 申請日: 2014-02-18
• 公開（公告）號: CN103810140B
• 公開（公告）日: 2017-01-04
• 發(fā)明（設(shè)計）人: 李寬君;顧俊驊;武向平
• 申請（專利權(quán)）人: 中國科學(xué)院國家天文臺
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 中科專利商標代理有限責(zé)任公司11021
• 代理人: 宋焰琴

技術(shù)領(lǐng)域

本發(fā)明屬于射電天文處理技術(shù)領(lǐng)域，特別涉及一種基于通用PC機射電天文數(shù)據(jù)處理方法。

背景技術(shù)

21CMA(21?Centimeter?Array)是工作在70-200MHz頻段的大型米波綜合孔徑天線陣，旨在于探測宇宙的再電離時代。21CMA由80個子天線陣組成，每個子天線陣的有效面積約為200平方米，分布在東西、南北3公里基線上，八十個陣列的接受信號經(jīng)放大濾波后分別經(jīng)光纜傳輸控制器，由80個服務(wù)器組成的計算機集群對信號進行數(shù)字采集及相關(guān)處理后產(chǎn)生供后續(xù)數(shù)據(jù)處理需要的數(shù)據(jù)。產(chǎn)生的數(shù)據(jù)保存到硬盤上進行下一步的數(shù)據(jù)處理流程.目前工作的東西40個天線陣每天產(chǎn)生1.2T的數(shù)據(jù)，需要進行下一步的數(shù)據(jù)處理.如果80組天線同時運行，每天有將近2.5T的數(shù)據(jù)需要進行數(shù)據(jù)處理，傳統(tǒng)的射電天文數(shù)據(jù)處理方法是將數(shù)據(jù)放在高性能的工作站進行運算，而現(xiàn)在通用的HPC數(shù)據(jù)接口，比如IDE(integrated?development?environment)，SATA(serial?advanced?technology?attachment)，SCSI(small?computer?system?interface)和光纖的傳輸速度都是有限的。

圖1示出了現(xiàn)有技術(shù)中SGI工作站的結(jié)構(gòu)示意圖。如圖1所示，所述SGI工作站是一臺有32顆Intel?Itanium雙核CPU，128GB內(nèi)存和帶寬為4G的光纖磁盤陣列容量為12TB。配置了雙控制器4通道4GB光纖硬盤陣列，有兩個盤箱構(gòu)成，把每個盤箱分別作為兩組RAID5，共4組RAID，兩個盤箱分別通過光纖與RAID控制器相連以提高并發(fā)能力。數(shù)據(jù)通過4條4GB的光纖通道分別連接到4個PCI光纖通道卡上，每個光纖通道卡分別插在不同的PCI總線上。以現(xiàn)在每天1.2T的數(shù)據(jù)量，同時處理一個月的數(shù)據(jù)1.2T*30＝36TB為例，在SGI工作站需要進行4次數(shù)據(jù)導(dǎo)入，然后進行數(shù)據(jù)處理，最后進行結(jié)果保存。數(shù)據(jù)導(dǎo)入通過raid5磁盤陣列的NFS協(xié)議進行，NFS協(xié)議導(dǎo)入數(shù)據(jù)的速度為30MB/s，因此導(dǎo)入30天的數(shù)據(jù)需要3000小時，進行數(shù)據(jù)處理后保存的數(shù)據(jù)導(dǎo)出也需要3000小時。

隨著大孔徑望遠鏡和天線陣列的投入使用，隨之而來的是海量數(shù)據(jù)的產(chǎn)生，每天會有上PB量級的數(shù)據(jù)，所以需要一種通用的計算機的數(shù)據(jù)處理方法來解決。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問題

隨著海量數(shù)據(jù)的產(chǎn)生，傳統(tǒng)的射電天文數(shù)據(jù)處理方法受到計算機數(shù)據(jù)傳輸帶寬限制的影響越來越明顯，導(dǎo)致處理方法遇到一個瓶頸期。堆積如山的數(shù)據(jù)接踵而來，如何有效快速的處理是本發(fā)明首要解決的一個問題。使用工作站來進行天文數(shù)據(jù)處理是一種傳統(tǒng)的方法，而隨著數(shù)據(jù)的不斷膨脹，工作站擴展的弊端越來越明顯，首先受其架構(gòu)的影響，有一個擴展的極限值；其次受數(shù)據(jù)傳輸帶寬瓶頸的影響，不能保證數(shù)據(jù)快速的傳輸。

(二)技術(shù)方案

本發(fā)明提供了一種基于通用PC機的射電天文數(shù)據(jù)處理方法，其中該方法由多臺通用PC機執(zhí)行以分別處理不同天的射電天文數(shù)據(jù)，該方法包括：

步驟1：對天線接收到的射電天文數(shù)據(jù)進行預(yù)處理；

步驟2：根據(jù)預(yù)處理后的射電天文數(shù)據(jù)統(tǒng)計所有基線、所有通道的標準方差值；

步驟3：根據(jù)所得到的標準方差值對兩兩基線每天的光程差進行校準修正；

步驟4：根據(jù)修正后的兩兩基線每天的光程差對每天的射電天文數(shù)據(jù)進行修正，并將多臺通用PC機處理得到的修正后的射電天文數(shù)據(jù)進行疊加得到最終處理數(shù)據(jù)。

通過一種通用的計算機系統(tǒng)來解決不斷增長的天文數(shù)據(jù)觀測處理方法，首先通過分布式的通用PC機來掛載不同的數(shù)據(jù)進行數(shù)據(jù)處理，單機數(shù)據(jù)處理解決了數(shù)據(jù)傳輸?shù)钠款i，能更加高效的進行數(shù)據(jù)交換和數(shù)據(jù)處理；其次數(shù)據(jù)累加采用了基于4.5Gb的INFINIBAND技術(shù)來提高傳輸功能，數(shù)據(jù)雙向傳輸速度達到900MB/s。

(三)有益效果

這種方法解決了傳統(tǒng)天文數(shù)據(jù)處理方法不易擴展、受數(shù)據(jù)傳輸帶寬限制，不能快速有效的進行數(shù)據(jù)交換和數(shù)據(jù)處理，此方法數(shù)據(jù)處理效率得到了很大的提高。

附圖說明

圖1示出了現(xiàn)有技術(shù)中SGI工作站的結(jié)構(gòu)示意圖；

圖2示出了本發(fā)明中基于通用PC機的數(shù)據(jù)射電天文數(shù)據(jù)處理方法流程圖；

圖3示出了本發(fā)明中計算機系統(tǒng)配置的結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明作進一步的詳細說明。