[發明專利]一種數據分析方法及系統

有效

• 申請號: 201710428901.4
• 申請日: 2017-06-08
• 公開（公告）號: CN107203637B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 方瓊輝
• 申請（專利權）人: 恒生電子股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李金;王寶筠

1.一種數據分析方法，其特征在于，所述方法包括：

同時調用數據接收線程以及用于進行數據分析的至少一個計算線程，所述至少一個計算線程中每個計算線程下掛不同的分析規則；

通過所述數據接收線程接收數據；

在通過所述數據接收線程接收到數據后，獲取所接收到的數據的屬性信息，并根據所述屬性信息和預設索引字段構建內存聚簇索引，以使計算線程同時獲取所述內存聚簇索引對應的關聯數據集中的所有數據，具有同一內存聚簇索引的多條數據在內存空間上聚集在一起形成關聯數據集；

通過每個計算線程根據所述內存聚簇索引，獲取所接收到的數據的關聯數據集，并通過每個計算線程下掛的分析規則對所述關聯數據集中的所有數據進行分析，得到分析結果。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：將所接收到的數據存儲至內存的數據隊列中；

在每個計算線程完成對所述關聯數據集的數據分析后，記錄本次數據分析的最后一條數據在所述數據隊列中的位置。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：在所述關聯數據集通過每個計算線程進行第一次數據分析時，將每個計算線程得到的分析結果存儲至內存中；

在所述關聯數據集通過每個計算線程進行第i次數據分析時，從所述內存中獲取所述關聯數據集在第i-1次數據分析時得到的分析結果，將所述第i-1次數據分析時得到的分析結果和第i次數據分析時得到的分析結果進行合并，并將合并后的分析結果存儲至內存中，其中i為大于1的整數。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：在內存中每存儲一條分析結果，將所述分析結果的狀態標識為待存儲狀態；

判斷所述內存的待存儲隊列中是否包括所述分析結果，如果不包括，則將所述分析結果存儲至所述內存的待存儲隊列中；

在調用數據接收線程以及用于進行數據分析的至少一個計算線程的同時，調用存儲線程；

通過所述存儲線程將所述待存儲隊列中的分析結果存儲至永久存儲設備中，并將所述分析結果的狀態標識為已存儲狀態。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：通過預先配置的查詢接口接收查詢請求；

從所述內存中查找與所述查詢請求對應的分析結果，并輸出所對應的分析結果；

和/或者

所述方法還包括：通過預先配置的查詢接口接收查詢請求；

通過數據庫驅動程序訪問所述永久存儲設備，從所述永久存儲設備中獲取所述查詢請求對應的分析結果，并輸出所對應的分析結果。

6.一種數據分析系統，其特征在于，所述系統包括：

調用模塊，用于同時調用數據接收線程以及用于進行數據分析的至少一個計算線程，所述至少一個計算線程中每個計算線程下掛不同的分析規則；

接收模塊，用于通過所述數據接收線程接收數據；

第一獲取模塊，用于在通過所述數據接收線程接收到數據后，獲取所接收到的數據的屬性信息；

構建模塊，用于根據所述屬性信息和預設索引字段構建內存聚簇索引，以使計算線程同時獲取所述內存聚簇索引對應的關聯數據集中的所有數據，具有同一內存聚簇索引的多條數據在內存空間上聚集在一起形成關聯數據集；

第二獲取模塊，用于通過每個計算線程根據所述內存聚簇索引，獲取所接收到的數據的關聯數據集；

分析模塊，用于通過每個計算線程下掛的分析規則對所述關聯數據集中的所有數據進行分析，得到分析結果。

7.根據權利要求6所述的系統，其特征在于，所述系統還包括：第一存儲模塊，用于將所接收到的數據存儲至內存的數據隊列中；

記錄模塊，用于在每個計算線程完成對所述關聯數據集的數據分析后，記錄本次數據分析的最后一條數據在所述數據隊列中的位置。