[發明專利]采用Spark SQL模式實現http接口調用方法

有效

• 申請號: 202011353571.5
• 申請日: 2020-11-26
• 公開（公告）號: CN112287012B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王家敏;周俊杰
• 申請（專利權）人: 杭州火樹科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F8/41;H04L67/02
• 代理公司: 杭州融方專利代理事務所(普通合伙) 33266
• 代理人: 沈相權

本發明公開了一種采用Spark SQL模式實現http接口調用方法。屬于Spark SQL模式實現http接口調用技術領域，提供一種在數據建模實施過程中與超文本傳輸協議http接口提供的數據源進行交互時維護和管理工作簡單。將超文本傳輸協議調用封裝成標準的接口；建模人員在數據庫語言的表達式中引用接口，同時分別設置接口的請求頭、請求地址和請求參數；將每個請求的返回結果轉化成數據集，用于支持建模人員后續使用數據庫語言進行分析；在執行查詢數據庫語言的計算指數函數時，先對數據庫語言進行語法解析，生成語法樹，其中子例程函數被解析成這棵樹的一個節點，此時該節點還處于未解析的執行計劃階段。

技術領域

本發明涉及Spark SQL模式實現http接口調用技術領域，具體涉及一種采用SparkSQL 模式實現http接口調用方法。

背景技術

在數據建模實施過程中需要與超文本傳輸協議http接口提供的數據源進行交互，為了實現業務模型，只能通過程序來實現，程序獲取到數據后并將數據寫入數據庫，然后再通過據庫語言SQL實現數據建模。這種模式對建模實施人員要求比較高，既要會寫據庫語言SQL，同時還需要會開發程序，或同時需要會寫SQL和會寫程序的工程師一起參與數據模型實施。

隨著業務的發展，不同類型任務越來越多，相互之間存在不同的依賴，無論是新需求的增加還是修改，導致建模任務的維護和管理工作越來越復雜。

發明內容

本發明是為了解決在數據建模實施過程中與超文本傳輸協議http接口提供的數據源進行交互時維護和管理工作復雜的不足，提供一種在數據建模實施過程中與超文本傳輸協議 http接口提供的數據源進行交互時維護和管理工作簡單，可靠性好的采用SparkSQL模式實現http接口調用方法。

為實現以上目的，本發明通過以下技術方案予以實現：

采用Spark SQL模式實現http接口調用方法，所述方法實現過程如下：

(1)將超文本傳輸協議調用封裝成標準的接口；

(2)建模人員在數據庫語言的表達式中引用接口，同時分別設置接口的請求頭、請求地址和請求參數；

(3)將每個請求的返回結果轉化成數據集，用于支持建模人員后續使用數據庫語言進行分析；

(4)在執行查詢數據庫語言的計算指數函數時，先對數據庫語言進行語法解析，生成語法樹，其中子例程函數被解析成這棵樹的一個節點，此時該節點還處于未解析的執行計劃階段；

(5)在節點匹配到關鍵詞后的表名后，從內存或者外部的計算引擎數據源管理類中去查找該表是否存在；如果該表存在，則此時該表處于邏輯計劃階段；

(6)然后對計算引擎進行基于邏輯計劃規則的優化；

(7)將原來的邏輯計劃轉化成優化后的邏輯計劃；接下來通過物理規則對優化后的邏輯計劃進行優化；通過物理規則對優化后的邏輯計劃進行優化包括保證哈希分區的相同鍵值的所有行都在同一分區內，并將邏輯計劃轉換為物理計劃；

(8)將語法樹的節點處理成各個不同的類型；

(9)然后通過遍歷語法樹，對語法樹的每個節點調用生成代碼方法生成java字節碼，生成的java字節碼在java虛擬機上運行。

本方案在數據建模實施過程中與超文本傳輸協議http接口提供的數據源進行交互時維護和管理工作簡單，可靠性好。

作為優選，在建模人員在數據庫語言的表達式中引用接口時，還要為超文本傳輸協議接口創建超文本傳輸協議的實現類，此時超文本傳輸協議的函數將會有三個輸入，這三個輸入分別是請求地址、方法和參數。