[發明專利]一種基于云計算技術的股票數據采集和存儲方法和系統

有效

• 申請號: 201210327443.2
• 申請日: 2012-09-06
• 公開（公告）號: CN102917009A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 李成華;江小平;張華;余良;李凡
• 申請（專利權）人: 中南民族大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

技術領域

本發明屬于網絡應用技術領域，更具體地，涉及一種基于云計算技術的股票數據采集和存儲方法和系統。

背景技術

證劵交易日產生的股票數據的特征主要表現為實時性和大規模。目前，滬深兩市在交易日每支股票每5秒會產生一條更新數據，每天數據增長容量在1.5-2GB之間。據2011年相關統計數據，在國內滬深交易所上市交易股票數1800支左右，香港交易所6700左右，國外僅以美國納斯達克證券市場為例上市交易股票數5800支左右。若把基金和債劵考慮在內則某時刻同時產生的數據量更多。隨著時間的積累，股票數據規模非常可觀，且與一般日志數據不同的是，這些數據在金融工程領域有較高的分析價值，金融投資研究機構需要經常對歷史和實時數據進行挖掘創新。處理高頻且大規模的股票數據是一個大型的工程問題，包括數據如何去存儲，到這些數據如何建模、計算，到最后形成高效的數據組織之后如何應用這些數據。

一般的數據庫系統無法滿足如此大規模和實時性，靈活性的要求。單獨使用關系型數據庫實現方法存在開發復雜、實時性差、管理困難、數據結構靈活性差等問題。若采用Oracle?Timesten解決方案，存在軟硬件成本昂貴、橫向擴展難度較大以及需要有使用經驗的技術員工等問題。

發明內容

針對現有技術的缺陷，本發明的目的在于提供一種基于云計算技術的股票數據采集和存儲方法，其開發簡單、實現大規模股票數據的快速采集、股票數據高效組織、數據結構擴展性好。

為實現上述目的，本發明提供了一種基于云計算技術的股票數據采集和存儲方法，包括以下步驟：

（1）獲取多個股票代碼，并為該股票代碼生成對應的URL列表文件，

（2）設置云計算平臺的Hadoop分布式文件系統的分片大小，

（3）將URL列表文件存儲在Hadoop分布式文件系統上，

（4）接收用戶提交的股票數據采集請求，根據文件分片的個數將股票數據采集請求分解為相應個數的Map任務，并將分解后的Map任務指派給相應分片所在的從服務器執行，

（5）根據分解后的Map任務從服務器向遠程股票數據服務器發出Http數據請求，并且遠程股票數據服務器返回股票數據，從而實現股票數據的并行采集，

（6）根據分解后的Map任務對股票數據進行解析，解析功能函數程序的編制遵循遠程股票服務器對股票數據的結構描述，

（7）根據分解后的Map任務將解析后的股票數據存儲在從服務器上的分布式數據庫HBase中。

步驟（1）中URL列表文件是按行組織的文本形式的文件，每一行為一個URL鏈接，且每個URL鏈接含有190支股票代碼。

步驟（4）具體為，采集工作是遵循Hadoop分布式并行編程MapReduce模型開發出來的應用程序，其中包含一個Map任務功能函數，所述函數中實現了股票數據采集、解析和存儲功能。

步驟（6）具體為，首先以回車符作為特征將含有股票數據的StockData值分割成190個數據對象，保存在TempResult數組中，然后依次取出TempResult數組中的每一個元素，使用String對象的Split方法，利用雙引號符號特征將信息內容分割成二個部分，其中第一部分包含了股票代碼ID，第二部分中包含了有用的股票數據信息，先取出第二部分內容，再按逗號分割成32份，保存在數組Result中。

通過本發明所構思的以上技術方案，與現有技術相比，本發明具有以下的有益效果：

1、開發簡單：因為步驟（4）中采用了開源云計算Hadoop系統提供的提供的MapReduce分布式計算編程模型，開發人員只需寫較少的代碼就可以完成復雜的分布式應用程序的開發。

2、實時性強：因為在步驟（4）、步驟（5）和步驟（6）中編寫了MapReduce模型的計算任務，將股票數據的采集、解析和存儲等較重的計算任務分解成若干小計算任務分配到多臺服務器上并行執行完成，所以，本方法具有較高計算效率，能實現股票數據的快速采集和存儲。

3、股票數據的高效組織：因為在步驟（7）中結合股票數據處理應用的需求特征設計了基于分布式數據庫HBase技術的股票數據存儲結構，便于各種應用服務的開發，如查詢服務、統計應用或者如進行股票變化規律聚類等數據挖掘高級應用，實現結構良好的股票歷史數據存儲中心。