[發明專利]一種基于云計算技術的股票數據采集和存儲方法和系統

有效

• 申請號: 201210327443.2
• 申請日: 2012-09-06
• 公開（公告）號: CN102917009A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 李成華;江小平;張華;余良;李凡
• 申請（專利權）人: 中南民族大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

1.一種基于云計算技術的股票數據采集和存儲方法，其特征在于，包括以下步驟：

（1）獲取多個股票代碼，并為該股票代碼生成對應的URL列表文件；

（2）設置云計算平臺的Hadoop分布式文件系統的分片大小；

（3）將所述URL列表文件存儲在所述Hadoop分布式文件系統上；

（4）接收用戶提交的股票數據采集請求，根據文件分片的個數將所述股票數據采集請求分解為相應個數的Map任務，并將分解后的Map任務指派給相應分片所在的從服務器執行；

（5）根據所述分解后的Map任務從服務器向遠程股票數據服務器發出Http數據請求，并且所述遠程股票數據服務器返回股票數據，從而實現股票數據的并行采集；

（6）根據所述分解后的Map任務對所述股票數據進行解析，解析功能函數程序的編制遵循遠程股票服務器對股票數據的結構描述；

（7）根據所述分解后的Map任務將解析后的股票數據存儲在從服務器上的分布式數據庫HBase中。

2.根據權利要求1所述的股票數據采集和存儲方法，其特征在于，所述URL列表文件是按行組織的文本形式的文件，每一行為一個URL鏈接，且每個URL鏈接含有190支股票代碼。

3.根據權利要求1所述的股票數據采集和存儲方法，其特征在于，步驟（4）具體為，采集工作是遵循Hadoop分布式并行編程MapReduce模型開發出來的應用程序，其中包含一個Map任務功能函數，所述函數中實現了股票數據采集、解析和存儲功能。

4.根據權利要求1所述的股票數據采集和存儲方法，其特征在于，步驟（6）具體為，首先以回車符作為特征將含有股票數據的StockData值分割成190個數據對象，保存在TempResult數組中，然后依次取出TempResult數組中的每一個元素，使用String對象的Split方法，利用雙引號符號特征將信息內容分割成二個部分，其中第一部分包含了股票代碼ID，第二部分中包含了有用的股票數據信息，先取出第二部分內容，再按逗號分割成32份，保存在數組Result中。

5.一種基于云計算技術的股票數據采集和存儲系統，其特征在于，

包括URL列表文件生成模塊、文件分片大小設置模塊、URL列表文件存儲模塊、股票數據采集請求提交模塊、數據采集模塊、數據解析模塊、數據存儲模塊、以及云計算軟件系統支撐模塊；

所述URL列表文件生成模塊用于獲取多個股票代碼，并為股票代碼生成對應的URL列表文件；

所述文件分片大小設置模塊用于設置云計算平臺的Hadoop分布式文件系統的分片大小；

所述URL列表文件存儲模塊用于將所述URL列表文件存儲在所述Hadoop分布式文件系統上；

所述股票數據采集請求提交模塊用于向云計算平臺提交股票數據采集請求；

所述數據采集模塊用于從遠程股票數據服務器獲取股票數據；

所述數據解析模塊用于對獲取到的股票數據進行格式解析；

所述數據存儲模塊用于將解析后股票數據存儲到分布式數據庫系統中；

所述云計算軟件系統支撐模塊用于提供所述URL列表文件生成模塊、所述文件分片大小設置模塊、所述URL列表文件存儲模塊、所述股票數據采集請求提交模塊、所述數據采集模塊和所述數據解析模塊運行的軟件支撐環境。