[發明專利]一種Gaia系統中的統一表達API調用系統及調用方法

在審

• 申請號: 202011477680.8
• 申請日: 2020-12-15
• 公開（公告）號: CN112416537A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 李文佳;趙宇海;王國仁;季航旭;李博揚
• 申請（專利權）人: 東北大學;北京理工大學
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/48;G06F9/50
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李珉

1.一種Gaia系統中的統一表達API調用系統，其特征在于：包括環境設定模塊、數據獲取模塊、數據轉換模塊和數據輸出模塊；

所述環境設定模塊，用于設定API的分布式運行環境，具體包括創建一個管道對象并設置其執行選項，管道對象封裝整個API的數據處理任務；

所述數據獲取模塊用于獲取數據構建API的初始數據集；所述初始數據集的數據可以通過數據獲取方法從外部數據源讀取，或通過讀取Gaia系統內存中的數據并進行Create轉換后構建；

所述數據轉換模塊對API的數據集進行數據轉換，創建一個新的數據集；根據數據劃分依據、轉換函數、觸發邏輯及輸出結果的時間、誤差處理，通過改變、過濾、分組、分析或其他方式處理數據集中的數據元素，進而創建一個新的數據集，而不改變原數據集；管道對象依次將后續數據轉換應用于每個新創建的新數據集，直到完成用戶需求；

所述數據輸出模塊將最終完成用戶需求轉換后的數據集輸出至指定位置。

2.根據權利要求1所述的一種Gaia系統中的統一表達API調用系統，其特征在于：所述API的數據處理任務包括讀取輸入數據，變換數據和輸出數據。

3.根據權利要求1所述的一種Gaia系統中的統一表達API調用系統，其特征在于：

所述數據劃分依據基于時間滾動窗口、滑動窗口或會話窗口來劃分；

所述轉換函數包括API自帶的轉換函數、組合轉換函數以及用戶自定義的轉換函數；

所述觸發邏輯及輸出結果的時間：在API中由管道對象中的水位線和觸發器指定；

所述誤差處理是指將數據集中的遲到數據作為增量進行計算后輸出，或是將遲到數據的計算結果和窗口內數據計算結果合并作為全量進行輸出。

4.一種Gaia系統中的統一表達API的調用方法，基于權利要求1所述系統實現，其特征在于：包括以下步驟：

步驟1：設定API的分布式運行環境；創建一個管道對象并設置其執行選項；所述管道對象封裝整個API的數據處理任務，具體包括構建初始數據，指定數據轉換和輸出數據；

步驟2：在創建的管道對象中構建API的初始數據集；使用數據獲取方法從外部數據源讀取數據，或使用Create轉換從Gaia系統內存中的數據構建；構建的初始數據集可以是有界的或是無界的；

步驟3：對API的數據集進行數據轉換；根據數據劃分依據、轉換函數、觸發邏輯及輸出結果的時間、誤差處理方式，通過改變、過濾，分組、分析或其他方式處理數據集中的數據，將原數據集通過轉換后生成一個新的數據集，而不改變原數據集；管道對象依次將后續轉換應用于每個新生成的數據集，直到完成用戶需求；

步驟4：將步驟3數據轉換后滿足用戶需求的數據集輸出至指定位置。

5.根據權利要求4所述的一種Gaia系統中的統一表達API調用方法，其特征在于：所述步驟2構建的初始數據集如果是有界的，使用批處理作業處理方式，一次讀取整個數據集，并在有限長度的作業中執行處理；如果初始數據集是無界的，則使用連續運行的流式作業處理方式讀取數據集。