[發明專利]一種基于GPU的金融數據存儲方法和系統

有效

• 申請號: 202011117919.0
• 申請日: 2020-10-19
• 公開（公告）號: CN112256195B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 邰偉鵬;路遙;鐘亮;申元霞
• 申請（專利權）人: 安徽工業大學;安徽工大信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/901;G06T1/60
• 代理公司: 安徽知問律師事務所 34134
• 代理人: 王亞軍

本發明公開了一種基于GPU的金融數據存儲方法和系統，屬于數據存儲技術領域。本發明的方法為：讀取金融數據，并對金融數據進行預處理得到預處理數據；其中，預處理數據包括不同資產的數據；將預處理數據存儲至數組；再從數組中讀取預處理數據并創建數據塊，每個數據塊存儲有ID屬性和DATE屬性；其中，ID屬性為資產代碼，DATE屬性為數據生成的日期；根據ID屬性和DATE屬性將數據塊構建為空間數據結構進行存儲。本發明的系統包括存儲器和處理器，處理器與存儲器連接。本發明克服了現有技術中，金融數據采用數組結構進行存儲導致計算效率較低的不足，本發明可以將金融數據以空間立體結構形式進行存儲，從而可以提高計算效率，有效地利用了GPU的運算能力。

技術領域

本發明屬于數據存儲技術領域，更具體地說，涉及一種基于GPU的金融數據存儲方法和系統。

背景技術

隨著互聯網的普及和計算機技術的進步，通過量化分析的方法來優化資產配置也越來越受大眾的青睞。在量化投資領域，面對資產海量的資產交易數據和日益復雜的市場環境，數據分析模型也更加復雜化。為了快速決策，對計算技術也提出了更高的要求，如何能夠快速有效進行模型分析成為量化投資領域的一個迫切需求。

圖形處理器(Graphics Processing Unit，GPU)在功能和性能上逐步增強，在浮點計算性能和存儲帶寬已遠超CPU。如今GPU不只局限于傳統的圖形渲染功能，已成為一種流行的通用計算設備。隨著GPU的可編程性不斷增強，GPU的應用能力已經遠遠超出了圖形渲染任務，利用GPU完成通用計算的研究逐漸活躍起來。在金融數據分析領域，每天市場都會產生大量的交易數據。而我們每天，甚至是時時刻刻都要完成對此海量數據的處理與分析，如此CPU的負擔將會非常的沉重，或根本無法按時完成計算任務。與單純使用CPU的做法相比，GPU具有數以千計的計算核心、可實現10-100倍應用吞吐量，因此GPU已經成為數據科學家處理大數據的處理器，而且它對能源的需求遠遠低于CPU；所以使用GPU進行加速運算，可以大幅降低成本提高效率。

但是GPU的應用場景遠不及CPU那樣廣泛，GPU以圖形類數值計算為核心，用于處理類型高度統一、相互無依賴的大規模數據和不需要被打斷的純凈的計算環境。此外，不是所有運算都可以并行化，其實這也是并行計算的弱勢。但幾乎所有矩陣運算都有并行化的可能。而金融數據分析中，可以有大量的數據需要進行矩陣運算。傳統的以數組為存儲結構的方式難以滿足對資產多維數據的分析，數組只能存儲單一類型的數據。例如，在計算市場的恐慌指數時，就需要多個類型的數據，這時使用數組結構計算就會很麻煩。

綜上所述，現有技術中金融數據采用數組結構進行存儲導致計算效率較低，且未能有效利用GPU的運算能力，因此如何對金融數據進行有效存儲以提高計算效率，是現有技術亟需解決的問題。

發明內容

1.要解決的問題

本發明克服了現有技術中，金融數據采用數組結構進行存儲導致計算效率較低的不足，提供了一種基于GPU的金融數據存儲方法和系統，可以將金融數據以空間立體結構形式進行存儲，從而可以提高計算效率，有效地利用了GPU的運算能力。

2.技術方案

為了解決上述問題，本發明所采用的技術方案如下：

本發明的一種基于GPU的金融數據存儲方法，包括：讀取金融數據，并對金融數據進行預處理得到預處理數據；其中，預處理數據包括不同資產的數據；將預處理數據存儲至數組；再從數組中讀取預處理數據并創建數據塊，每個數據塊存儲有ID屬性和DATE屬性；其中，ID屬性為資產代碼，DATE屬性為數據生成的日期；之后根據ID屬性和DATE屬性將數據塊構建為空間數據結構進行存儲。

更進一步地，對金融數據進行預處理的具體過程為：去除金融數據中的異常值和無效值，并對缺失數據進行補齊。

更進一步地，將預處理數據存儲至數組的具體過程為：將預處理數據以數組的結構進行存儲，并將存儲有預處理數據的數組復制至顯存中。