[發明專利]基于分布式數據流基金資產實時估值的方法、系統及應用

有效

• 申請號: 201811039814.0
• 申請日: 2018-09-06
• 公開（公告）號: CN109165863B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 董富強;杜金龍;孫正;賈志春;周正國;黃河
• 申請（專利權）人: 華泰證券股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q40/06;G06F16/25
• 代理公司: 南京科知維創知識產權代理有限責任公司 32270
• 代理人: 杜依民

本發明提出一種分布式數據流基金資產實時估值的方法、系統及應用在橫向擴展基礎計算資源的基礎上，能夠穩定快速進行大量基金資產數據導入并處理是實時計算，可以滿足10000支產品3秒內完成基金所有資產的估值核算，同時輸出資產凈值、單位凈值、實收資本等關鍵指標數據。解決了基金管理人無法實時獲取基金資產凈值波動的問題，使用戶能夠在市場行情波動以及基金經理投資后立馬獲取基金實時的資產凈值。使用本發明方法和系統投資人員能夠在日間及時準確感知基金投資結果，基金經理在投資后能立即感知基金凈值的變化，能獲取反饋基金凈值。本發明方法和系統。

技術領域

本發明涉及一種基于分布式數據流的實時計算方法，具體的說是一種基于分布式數據流基金資產實時估值的方法、系統及應用，應用于證券行業基金資產實時估值并快速發布實時資產凈值、實時單位凈值。

背景技術

基金估值是指按照公允價格對基金資產和負債的價值進行計算、評估，以確定基金資產凈值和基金份額凈值的過程。基金估值過程中涉及數據導入、清算、核算等步驟，隨著私募基金產品越來越多，交易量越來越龐大，基金估值所消耗的時間也在不斷增長。

目前傳統估值僅能在日終進行估值，大量的估值產品同一時刻進行處理，對于數據庫以及計算核心有很高的要求，且隨著產品增多，完成1000個產品單次估值至少需要20分鐘以上的時間（市場上成熟產品：贏時勝和恒生相關估值系統均在此范圍）；即使具備實時估值的能力，其單次估值間隔至少在分鐘級別以上。

隨著基金經理對于投資的風控、止損、投資效率的關注，對于基金整體凈值的掌握要求越來越高，傳統估值只能在日終進行相關資產估值，投資人員無法在日間及時準確感知基金投資結果。如何讓基金經理在投資后立馬感知基金凈值的變化是一個重要的輔助決策問題，而受限于估值數據以及估值效率的影響，無法立馬反饋基金凈值。因此如何能夠穩定快速進行大量基金資產數據導入并處理是實時計算的一個重要問題。

發明內容

為了解決上述技術問題，本發明提出一種基于分布式數據流基金資產實時估值的方法，包括以下步驟：

步驟1、產品基礎數據同步；根據產品類別、產品資金賬戶、產品證券賬戶，使用多線程按照數據來源分類抽取基金估值所需最近日期的估值表、交易數據、匯率數據、基金申購贖回數據至Redis中；

步驟2、數據分布化；獲取到步驟1相應數據后，根據產品賬戶進行分類，將相同產品的相同類型數據分別歸類，并按照產品代碼、表名、日期等作為主鍵，數據內容作為鍵值存儲至內存數據庫Redis中進行數據分布化；

步驟3、實時交易數據同步；根據產品類別、產品資金賬戶、產品證券賬戶，使用多線程按照數據來源分類抽取基金估值所需實時交易數據至Redis中，剔除上次已抽取數據，同時記錄本次數據抽取位置；執行完本步驟后進行步驟4；

步驟4、持倉計算任務生成；根據產品列表，生成唯一任務ID、任務生成時間以及待估值產品代碼，拼接后形成任務信息表；通過消息分發服務高吞吐量的分布式發布訂閱消息系統中不同的消息主題TOPIC，向服務端分別發布持倉計算任務和基金凈值計算任務；

步驟5、計算任務分布化；本步驟在服務端完成，由流式處理框架storm進行自動分布式計算，根據步驟4中的任務信息表，將任務拆分為“任務號+時間+產品代碼”的格式，并將各任務分發至流式處理框架storm中的計算核心進行計算，同時由流式處理框架storm進行自動負載均衡。

步驟6、持倉分布式計算；每個計算核心以產品為維度進行計算；在收到持倉計算任務時，每個計算核心從Redis中根據主鍵獲取待計算產品的基礎持倉，根據步驟1和步驟2所生成的Redis；然后計算核心從Redis中獲取基金交易數據，根據步驟3和步驟2所生成的Redis，在計算核心內存重新計算基金的持倉數據，并將最新持倉更新至Redis中；