[發明專利]大數據統一接口方法、裝置、設備及存儲介質

有效

• 申請號: 201810058823.8
• 申請日: 2018-01-22
• 公開（公告）號: CN108363741B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 許四平;朱子虎;戴珍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 陽開亮

本發明涉及大數據應用領域，提供了一種大數據統一接口方法、裝置、設備及存儲介質，所述方法包括：在服務數據庫中建立與大數據源數據庫連接的不同類型的訪問接口，通過與所述服務數據庫連接的外部接口系統獲取訪問所述服務數據庫的外部請求，并根據外部請求獲取與外部請求相對應的訪問接口；當所述訪問接口為多個時，獲取所述多個訪問接口的訪問速度，根據訪問速度獲取訪問接口；將外部請求輸入至該訪問接口，使所述外部接口系統通過所述訪問接口訪問所述大數據源數據庫。本發明提供的大數據統一接口方法、裝置、設備及存儲介質，使外部系統在各種網絡環境下都能順利獲取數據，減少對服務外部系統的數據庫的影響，保證了外部系統的使用需求。

技術領域

本發明屬于大數據應用領域，更具體地說，是涉及一種大數據統一接口方法、裝置、設備及存儲介質。

背景技術

目前需要使用大數據的數據源時，都是通過Sqoop數據導出工具從Hadoop等大數據的數據源中導出到服務數據庫，供外部系統使用。其中，Sqoop是一款用于Hadoop和關系型數據庫之間數據導入導出的工具，Hadoop是一個分布式系統基礎架構。

當Sqoop導出的數據量較大，或者是網絡比較擁堵時，就會造成導出數據超時，外部系統無法順利獲取想要的數據，并且會對服務外部系統的數據庫造成影響，使數據庫變得不穩定，影響其它用戶的使用。另外，由于Sqoop工具只能是批量性導出，因此，當大數據的數據源發生變化時，需要重新導出數據，外部系統無法及時獲得更新的數據。

因此，亟待一種方法可以使外部系統訪問數據時能夠在網絡擁堵時順利獲取數據，減少對服務外部系統的數據庫的影響，保證外部系統正常的使用需求，同時也可以根據需要獲取實時的數據。

發明內容

針對現有技術的不足，本發明提供一種數據統一接口方法、裝置、設備及存儲介質，可以在網絡擁堵時順利獲取數據，減少對服務外部系統的數據庫的影響，保證外部系統正常的使用需求，同時也可以根據需要獲取實時的數據。

本發明是這樣實現的：

本發明第一方面提供一種大數據統一接口方法，所述方法包括以下步驟：

在服務數據庫中建立與大數據源數據庫連接的不同類型的訪問接口；

通過與所述服務數據庫連接的外部接口系統獲取訪問所述服務數據庫的外部請求，并根據所述外部請求獲取與所述外部請求相對應的訪問接口；在所述外部請求的數據類型為除鍵值數據和索引數據之外的其他類型時，所述訪問接口為實時訪問接口、離線訪問接口或者是批量訪問接口中的一個或者多個；

當所述訪問接口為多個時，獲取所述多個訪問接口的訪問速度，根據所述訪問速度獲取訪問接口；

將所述外部請求輸入至所述訪問接口，使所述外部接口系統通過所述訪問接口訪問所述大數據源數據庫。

本發明第二方面提供一種大數據統一接口裝置，所述接口裝置包括：

接口建立模塊：用于在服務數據庫中建立與大數據源數據庫連接的不同類型的訪問接口；

請求獲取模塊：用于通過與所述服務數據庫連接的外部接口系統獲取訪問所述服務數據庫的外部請求，并根據所述外部請求獲取與所述外部請求相對應的訪問接口；在所述外部請求的數據類型為除鍵值數據和索引數據之外的其他類型時，所述訪問接口為實時訪問接口、離線訪問接口或者是批量訪問接口中的一個或者多個；

接口選取模塊：用于當所述訪問接口為多個時，獲取所述多個訪問接口的訪問速度，根據所述訪問速度獲取訪問接口；

接口訪問模塊：用于將所述外部請求輸入至所述訪問接口，使所述外部接口系統通過所述訪問接口訪問所述大數據源數據庫。