[發明專利]大數據獲取方法、裝置、設備及存儲介質

在審

• 申請號: 201810242151.6
• 申請日: 2018-03-22
• 公開（公告）號: CN108959337A
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 許四平;戴珍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 吳立

1.一種大數據獲取方法，其特征在于，所述大數據獲取方法包括：

通過數據采集集群采集底層數據；

根據所述底層數據的業務屬性匹配用戶信息數據庫中所屬用戶，并將所述底層數據分類儲存在對應的存儲模塊中；

獲取用戶訪問請求，解析所述用戶訪問請求獲取解析數據并向所述用戶信息數據庫發送所述解析數據和用戶驗證請求，當所述解析數據通過驗證時，提取對應存儲模塊中的數據并進行顯示。

2.如權利要求1所述的大數據獲取方法，其特征在于，所述通過數據采集集群采集底層數據，包括；

通過Spark Streaming集群監測數據庫產生的業務增量數據，并獲取所述業務增量數據。

3.如權利要求1所述的大數據獲取方法，其特征在于，根據所述底層數據的業務屬性匹配用戶信息數據庫中所屬用戶，并將所述底層數據分類儲存在對應的存儲模塊中，包括：

解析所述底層數據的業務屬性獲取數據屬性和存儲屬性，其中，所述數據屬性包括用戶信息數據和數據類型，所述存儲屬性包括數據類型與存儲地點之間的對應關系；

根據所述數據屬性和所述存儲屬性更新用戶信息數據庫中的用戶身份屬性文件，所述用戶身份屬性文件包括用戶ID、密碼、數據類型信息以及存儲模塊信息；

根據所述數據類型將所述底層數據進行分類，并根據所述存儲屬性將所述底層數據儲存在對應的存儲模塊中。

4.如權利要求3所述的大數據獲取方法，其特征在于，根據所述數據類型將所述底層數據進行分類，并根據所述存儲屬性將所述底層數據儲存在對應的存儲模塊中，包括；

根據所述數據屬性中的數據類型將所述底層數據分為統計數據、清單數據、匯總數據以及key value數據；

將所述統計數據、所述清單數據以及所述匯總數據存儲到Elasticsearch集群中，并將所述key value數據存儲到Hbase集群中。

5.如權利要求1所述的大數據獲取方法，其特征在于，獲取用戶訪問請求，解析所述用戶訪問請求獲取解析數據并向所述用戶信息數據庫發送所述解析數據和用戶驗證請求，當所述解析數據通過驗證時，提取對應存儲模塊中的數據并進行顯示，包括：

獲取用戶訪問請求，解析所述用戶訪問請求得到用戶ID、密碼和請求數據類型并生成用戶驗證請求，并向所述用戶信息數據庫發送所述用戶ID、所述密碼、所述請求數據類型以及所述用戶驗證請求；

根據所述用戶驗證請求檢測到所述用戶身份屬性文件包括所述用戶ID、所述密碼以及所述請求數據類型時，判定所述解析數據通過驗證，并提取所述用戶身份屬性文件中所述請求數據類型對應的存儲模塊中的數據并進行顯示。

6.如權利要求5所述的大數據獲取方法，其特征在于，提取所述用戶身份屬性文件中所述請求數據類型對應的存儲模塊中的數據并進行顯示，還包括：

當存儲模塊為Redis緩存時，直接從所述Redis緩存提取數據并進行顯示；

當存儲模塊不為所述Redis緩存時，從所述ElasticSearch集群或者所述HBase集群中提取數據并存儲在所述Redis緩存中。

7.一種大數據獲取裝置，其特征在于，所述大數據獲取裝置包括：

數據采集模塊，用于通過數據采集集群采集底層數據；

數據匹配存儲模塊，用于根據所述底層數據的業務屬性匹配用戶信息數據庫中所屬用戶，并將所述底層數據分類儲存在對應的存儲模塊中；

數據提取模塊，用于獲取用戶訪問請求，解析所述用戶訪問請求獲取解析數據并向所述用戶信息數據庫發送所述解析數據和用戶驗證請求，當所述解析數據通過驗證時，提取對應存儲模塊中的數據并進行顯示。

8.如權利要求7所述的大數據獲取裝置，其特征在于，所述數據采集模塊具體通過Spark Streaming集群監測數據庫產生的業務增量數據，并獲取所述業務增量數據。