[發(fā)明專利]一種云中并行快速傅里葉變換數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201811383328.0
• 申請日: 2018-11-20
• 公開（公告）號: CN109543137B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設計）人: 包衛(wèi)東;朱曉敏;楊聘;周文;張耀鴻;高雄;張雄濤;張大宇;方濤生;王釗;周志堅;張亮
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學
• 主分類號: G06F17/14
• 分類號: G06F17/14
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 馬驍;于潔

本發(fā)明公開了一種云中并行快速傅里葉變換數(shù)據(jù)處理方法及裝置，包括：將獲取的快速傅里葉變換FFT的初始數(shù)據(jù)進行數(shù)據(jù)預處理，得到運算數(shù)據(jù)；基于云計算大數(shù)據(jù)處理框架，將所述運算數(shù)據(jù)分成P個運算數(shù)據(jù)集，并存儲于彈性分布式數(shù)據(jù)集RDD中；將所述RDD映射到云中的P個計算節(jié)點；給P個所述計算節(jié)點分配計算資源；按照分配的所述計算資源，在每個計算節(jié)點對所述運算數(shù)據(jù)集進行FFT蝶形運算，得到每個計算節(jié)點本地運算數(shù)據(jù)集，并將所述本地運算數(shù)據(jù)集存儲于RDD中；將所述RDD中當前數(shù)據(jù)集兩兩交換后，進行FFT蝶形運算，得到運算結(jié)果，并將所述運算結(jié)果存儲于所述RDD中，重復本步驟，直到得到唯一的最終運算結(jié)果。

技術(shù)領域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領域，特別是指一種云中并行快速傅里葉變換FFT數(shù)據(jù)處理方法及裝置。

背景技術(shù)

在信號處理領域，快速傅里葉變換(FFT)是一種廣泛使用的算法，用于將信號數(shù)據(jù)從時間變換到頻率。但當數(shù)據(jù)規(guī)模變得巨大時，這種傳統(tǒng)算法不能有效地解決信號處理問題。隨著數(shù)據(jù)的指數(shù)增長，大規(guī)模FFT存在著三大挑戰(zhàn)，即大數(shù)據(jù)量、實時性要求高和資源利用率高。在云網(wǎng)絡等需要大數(shù)據(jù)處理的場景中，傳統(tǒng)方法無法滿足這些大數(shù)據(jù)的大規(guī)模計算需求計算資源。

目標檢測通常采用一些傳統(tǒng)的方法，如雷達檢測來檢測航空目標。但是，當來自高空飛行器的信號較弱時，這些方法就不可用。幸運的是，利用衛(wèi)星的空間電信號來檢測目標是探測航空目標的一種可行的發(fā)展方法。由于飛機會反射來自衛(wèi)星的信號，因此地面接收站會獲得兩個不同的信號，包括直接來自衛(wèi)星的純信號和飛機反射的反射信號。通過對純信號和反射信號進行分析比較，可以得到空中目標的位置信息。需要說明的是，比較過程中需要實時處理一個小時的大量數(shù)據(jù)，這就要求后臺的數(shù)據(jù)處理系統(tǒng)具有對大容量數(shù)據(jù)進行計算的能力，在時間上縮放信號數(shù)據(jù)。

具體來說，在信號比較中，需要處理大量數(shù)據(jù)，同時產(chǎn)生巨大的中間數(shù)據(jù)。在這個過程中，傅立葉變換起著不可或缺的作用。傅立葉變換將時間函數(shù)分解為頻率。作為傅立葉變換序列中的一種算法，離散傅立葉變換被廣泛用于檢測接收信號的特征。從這些特征可以獲得目標的信息。但是，離散傅里葉變換的計算量很大，導致效率低下。FFT算法，有效地簡化和加速了離散傅里葉變換，成功地將離散傅立葉變換的復雜度降低。

盡管快速傅立葉變換比離散傅里葉變換更有效，但當數(shù)據(jù)規(guī)模變得巨大時，這種傳統(tǒng)算法不能有效地解決信號處理問題。FFT算法不僅用于信號處理，而且還應用于許多其他領域，如圖像處理，光譜分析，數(shù)據(jù)壓縮，數(shù)據(jù)壓縮，數(shù)據(jù)壓縮等等，因此提高大數(shù)據(jù)FFT算法的效率對很多的研究領域都有利。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提出一種云中并行快速傅里葉變換數(shù)據(jù)處理方法及裝置，以緩解現(xiàn)有技術(shù)中存在的大數(shù)據(jù)量信號處理效率低，實時性不高以及資源利用率低的問題。

基于上述目的，本發(fā)明提供了一種云中并行快速傅里葉變換數(shù)據(jù)處理方法，包括：

將獲取的快速傅里葉變換FFT的初始數(shù)據(jù)進行數(shù)據(jù)預處理，得到運算數(shù)據(jù)；

基于云計算大數(shù)據(jù)處理框架，將所述運算數(shù)據(jù)分成P個運算數(shù)據(jù)集，并存儲于彈性分布式數(shù)據(jù)集RDD中；

將所述RDD映射到云中的P個計算節(jié)點；

給P個所述計算節(jié)點分配計算資源；

按照分配的所述計算資源，在每個計算節(jié)點對所述運算數(shù)據(jù)集進行FFT蝶形運算，得到每個計算節(jié)點本地運算數(shù)據(jù)集，并將所述本地運算數(shù)據(jù)集存儲于RDD中；

將所述RDD中當前數(shù)據(jù)集兩兩交換后，進行FFT蝶形運算，得到運算結(jié)果，并將所述運算結(jié)果存儲于所述RDD中，重復本步驟，直到得到唯一的最終運算結(jié)果。

進一步的，所述將獲取的快速傅里葉變換FFT的初始數(shù)據(jù)進行數(shù)據(jù)預處理，得到運算數(shù)據(jù)，包括：