[發明專利]大數據獲取方法、裝置、設備及存儲介質

在審

• 申請號: 201810242151.6
• 申請日: 2018-03-22
• 公開（公告）號: CN108959337A
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 許四平;戴珍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 吳立

本發明屬于大數據技術領域，特別涉及一種大數據獲取方法、裝置、設備及存儲介質。大數據獲取方法包括獲取數據采集集群采集的底層數據；根據所述底層數據的業務屬性匹配用戶信息數據庫中所屬用戶，并將所述底層數據分類儲存在對應的存儲模塊中；獲取用戶訪問請求，解析所述用戶訪問請求獲取解析數據并向所述用戶信息數據庫發送所述解析數據和用戶驗證請求，當所述解析數據通過驗證時，提取對應存儲模塊中的數據并進行顯示。本發明技術方案能夠快速將底層數據按不同使用類型分別存儲在對應存儲模塊中，并對外提供統一訪問接口進行數據傳輸。

技術領域

本發明涉及大數據技術領域，尤其涉及一種大數據獲取方法、裝置、設備及存儲介質。

背景技術

現有大數據輸出給關聯系統使用主要是通過Sqoop導出到關系型數據庫，供外部系統使用。Sqoop作為Hadoop與傳統數據庫之間的橋梁，對于數據的導入導出有著重要作用。Sqoop是SQL-to-Hadoop的縮寫，主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關系型數據庫中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。Sqoop每一次應用都需要將數據導出指定系統，當數據量大以及操作次數多時，會增加操作人員的工作量和影響操作準確率。因此，現有技術中大數據獲取方法不具備高效率傳輸和準確傳輸的功能，使得工作效率和準確率不高。

發明內容

本發明的目的在于提供一種大數據獲取方法、裝置、設備及存儲介質，能夠實現將數據存儲按不同使用類型分別存儲在對應存儲模塊中，對外提供統一訪問接口進行數據傳輸，提高數據獲取的傳輸速率和傳輸數據準確性。

本發明是這樣實現的，本發明第一方面提供一種大數據獲取方法，包括：

通過數據采集集群采集底層數據；

根據所述底層數據的業務屬性匹配用戶信息數據庫中所屬用戶，并將所述底層數據分類儲存在對應的存儲模塊中；

獲取用戶訪問請求，解析所述用戶訪問請求獲取解析數據并向所述用戶信息數據庫發送所述解析數據和用戶驗證請求，當所述解析數據通過驗證時，提取對應存儲模塊中的數據并進行顯示。

本發明第二方面提供一種大數據獲取裝置，所述大數據獲取裝置包括：

數據采集模塊，用于通過數據采集集群采集的底層數據；

數據匹配存儲模塊，用于根據所述底層數據的業務屬性匹配用戶信息數據庫中所屬用戶，并將所述底層數據分類儲存在對應的存儲模塊中；

數據提取模塊，用于獲取用戶訪問請求，解析所述用戶訪問請求并向所述用戶信息數據庫發送用戶驗證請求，當驗證通過時獲取用戶令牌并根據所述用戶令牌提取對應存儲模塊中數據并進行顯示。

本發明第三方面提供一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如本發明第一方面所述方法的步驟。

本發明第四方面提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如本發明第一方面所述方法的步驟。

本發明提供一種大數據獲取方法、裝置、設備及存儲介質，通過數據采集集群采集獲取底層數據，根據底層數據的業務屬性匹配用戶信息數據庫中的所屬用戶，并按數據的使用類型分別儲存在對應的存儲模塊中，當獲取到用戶訪問請求時，解析用戶訪問請求獲得解析數據并向用戶信息數據庫發送解析數據和用戶驗證請求，當解析數據驗證通過時提取用戶身份屬性文件中對應的存儲模塊中的數據并進行顯示，實現了將數據按使用類型的不同分別存儲在對應的存儲模塊中，定義底層數據信息，保存用戶與底層數據屬主關系，對外提供統一訪問接口，外部系統通過用戶信息數據庫驗證提取對應底層數據并返回顯示，減少操作人員的工作量，提高了數據傳輸速率和準確性。