[發明專利]基于多引擎數據分群方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010464222.4
• 申請日: 2020-05-27
• 公開（公告）號: CN111782677A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 鄧煜
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/22;G06F16/27
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種基于多引擎數據分群方法，其特征在于，包括下述步驟：

接收用戶端發出的分群請求，根據用戶端的分群請求，通過Hadoop發起數據分群；

接收用戶端根據數據分群發出數據包計算指令；

通過ElasticSearch識別所述數據包計算指令的任務類型；

若所述數據包計算指令是高運算量任務類型，則根據所述數據包計算指令，通過ElasticSearch判斷數據包的運算量是否超過運算量閾值；

如果所述運算量沒有超過運算量閾值，則通過ElasticSearch實現運算并輸出運算結果；及

如果所述運算量超過了運算量閾值，則通過spark實現運算并輸出運算結果。

2.根據權利要求1所述的基于多引擎數據分群方法，其特征在于，所述根據用戶端的分群請求，通過Hadoop發起數據分群的步驟具體包括：

通過spark-streaming獲取數據分群請求；

通過spark-streaming控制Hadoop的hive數據倉庫生成與所述分群請求相對應的分群。

3.根據權利要求1所述的基于多引擎數據分群方法，其特征在于，所述數據包存儲于區塊鏈中，若所述數據包計算指令是高運算量任務類型，所述根據所述數據包計算指令，通過ElasticSearch判斷數據包的運算量是否超過運算量閾值的步驟具體包括：

將所述數據包計算指令輸出到消息隊列；

判斷所述消息隊列中的所述數據包計算指令所對應的數據包的數據量是否超過數據量閾值；

如果數據包的數據量沒有超過數據量閾值，則確定數據包的運算量沒有超過運算量閾值；

如果數據包的數據量超過了數據量閾值，則確定數據包的運算量超過了運算量閾值。

4.根據權利要求1所述的基于多引擎數據分群方法，其特征在于，所述通過ElasticSearch實現運算并輸出運算結果的步驟具體包括：

從Hadoop獲取標簽底表，所述標簽底表存儲有數據表的標簽；

通過spark根據所述標簽底表獲取Hadoop產生的數據表并合并；

將合并的數據表同步到ElasticSearch引擎并進行數據抽取或實時查詢。

5.根據權利要求1所述的基于多引擎數據分群方法，其特征在于，所述通過spark實現運算并輸出運算結果的步驟具體包括：

通過spark-streaming解析所述數據包計算指令，并且確定分群數據源、分群ID、用戶條件和輸出方式；

根據分群數據源、分群ID、用戶條件確定操作數據的SQL語句；

對所述分群數據源執行所述SQL語句并獲取相應的操作數據；

將操作數據輸出到hive數據倉庫中，并根據輸出方式向用戶提供查詢接口或下載鏈接。

6.根據權利要求1所述的基于多引擎數據分群方法，其特征在于，在接收用戶端發出的分群請求的步驟之后，接收用戶端根據數據分群發出數據包計算指令的步驟之前，還包括：

根據所述分群請求確定分群中的數據量；

根據數據分群中的數據量，確定數據分群的數據量是否符合預設范圍；

如果符合預設范圍，則繼續接收用戶端根據數據分群發出數據包計算指令；

如果不符合預設范圍，則拒絕接收用戶端根據數據分群發出數據包計算指令，并輸出相應的告警信息。