[發明專利]一種基于MongoDB的證券實時交易關聯分析的方法

在審

• 申請號: 201611062583.6
• 申請日: 2016-11-25
• 公開（公告）號: CN106776837A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 鄭銳韜;李勇波;孫傲冰;季統凱;張恒
• 申請（專利權）人: 國云科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q40/04
• 代理公司: 廣東莞信律師事務所44332
• 代理人: 余倫

技術領域

本發明涉及軟件信息的大數據處理分析領域，是一種基于MongoDB對證券實時交易數據進行存儲并進行實時分析的方法。

背景技術

證券市場的實時交易信息，具有信息多、數量大、交易頻繁的特點，在這頻繁的交易中存在著很多的交易聯動信息，對于在市場中進行短期交易的人來說，各證券信息的關聯聯動有著很好的參考價值，越快知道證券交易過程是的關聯信息，在瞬息萬變的證券市場中，越能快速地獲取買賣的判斷，從而在市場中獲利，但人的獲取信息量的途徑的限，很難在短時間內獲取大量的異動信息，以中國證券市場的A股為例，截止2016年11月大概有3000只股票，每天有4個小時的交易時間，按每3秒鐘獲取一次交易信息，一天就大概有4.5G的數據量，這么大的數據量，基本有很多是沒有異動或是沒有關聯的自然運動，可大量過濾掉，但人無法一下子及時處理這么多的數據，通過本方法，可能借助計算機的自動處理的能力，幫助交易人員從大量的交易信息中獲取有用的關聯異動信息。

證券實時分析具有數據量大、實時性要求高的特點，對于傳統的關系型數據庫進行數據的存取，當數據量大時在性能上遠遠達不到要求，從而無法滿足實時性的情況。

發明內容

本發明解決的技術問題在于提供一種基于MongoDB的證券實時交易關聯分析的方法，解決大數據量的數據分析過程中采用傳統關系型存儲時查詢效率低、響應速度慢的缺點，并從多線程的角度，實現在大量的證券數據在短時間內進行獲取并進行分析。

本發明解決上述技術問題的技術方案是，

所述的方法包括以下幾個步驟：

步驟1：將MongoDB(一個基于分布式文件存儲的數據庫)當作一個高效的數據存取空間，搭建一個獨立的MongoDB或由多個MongoDB形成的集群用于證券實時數據獲取后高效的存取操作；

步驟2：獲取各個證券的詳細信息，用于進行證券數據實時獲取與進行分析時使用；

步驟3：設計一個永久存儲表，每次獲取的數據存儲在該表，用于后續的數據確認分析；同時設計一個在半個小時內有效的臨時存儲表，用于進行短時間內的各關聯分析的數據獲取；

步驟4：設置間隔獲取時間，前述的間隔點上獲取實時證券數據，并經過去重處理，把獲取的實時數據分別存儲到永久存儲表及臨時存儲表上；

步驟5：通過查詢臨時存儲表上的數據，分析獲取在多種時間段內的各證券的表現形式，對于各時間段內同時出現的各種異常，輸出相應的異動類型與證券編碼，形成實時的證券實時關聯分析，用于進行證券交易的指導參考。

所述的存取操作，包括：搭建獨立的MongoDB或MongoDB集群，存儲證券實時數據獲取下來后的歷史數據與臨時數據，對于歷史數據大的，搭建MongoDB集群，并對歷史數據按日期進行分區讀取。

所述的詳細信息，包括編碼(前綴)、名稱、股本、大股東占比等信息。

所述步驟3，具體步驟為：

步驟一：在MongoDB上設計一個永久存儲表，用于存儲不斷累積的證券實時交易的歷史數據，按日期時間進行分區，并設計存儲在不同的數據存儲空間上；對于部署在集群，可增加證券編碼的哈希存儲，通過證券編碼將不同的證券數據哈希存儲在多臺服務器上；

步驟二：對于實時的證券數據分析，在MongoDB上設計一個臨時存儲表，用于存儲半個小時內的證券數據，利用MongoDB的TTL索引，在一個時間列上建立一個TTL索引，在臨時表上設置半個小時時間，該時間點自動刪除臨時表的數據。

所述的步驟4，具體步驟為：

步驟一：在獲取相關的證券編寫及前綴基礎上調用證券實時數據接口，所有的證券數據，按已有的詳細數據，完成實時數據調用的初始化，運行證券數據實時獲取程序，通過線程并發的形式把數據發送到接口上獲取數據；

步驟二：多線程獲取的證券實時數據，包括當天的開盤價、最高價、最低價、實時價、成交量、成交額、買五檔的數量及價格、賣五檔的數量及價格，各獲取數據的線程在獲取了各個證券的實時信息后，進行解析，同時查詢獲取的實時信息是否與最近的一次獲取的信息是相同的，相同表示已經存在的，不再進行保存；

步驟三：經過去重后的證券實時數據，分別保存在永久存儲表與臨時存儲表，用于后續的歷史查詢與實時關聯分析；

所述的證券實時數據獲取的間隔獲取時間可配置為每3秒或5秒獲取一次，對于獲取頻率高的數據，存儲和系統的處理需高要求。

所述實現證券實時交易異動關聯分析，具體步驟為：