[發明專利]數據加速處理方法、裝置及電子設備

有效

• 申請號: 201911310882.0
• 申請日: 2019-12-18
• 公開（公告）號: CN112988860B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 邵笑笑
• 申請（專利權）人: 菜鳥智能物流控股有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 廣州鑄智知識產權代理有限公司 44886
• 代理人: 徐瑞紅

1.一種數據加速處理方法，包括：

獲取待加速的第一數據表的表信息，所述第一數據表存儲于數據倉庫中；

調用與數據倉庫對應的第一數據定義模板和與第一加速庫對應的第二數據定義模板，并根據所述表信息，在所述第一加速庫中創建第一加速表，所述第一加速表用于對所述第一數據表中的數據進行同步處理，所述同步處理包括數據的讀取、轉換和寫入，所述第一加速庫用于存儲所述第一加速表；

根據第一加速任務模板，生成第一加速任務腳本，所述第一加速任務模板中定義了所述同步處理的處理邏輯，所述第一加速任務腳本與基于所述第一數據定義模板和第二數據定義模板而生成的數據定義文件相關聯，用于對數據定義文件進行調用以完成對數據的所述同步處理；

執行第一加速任務腳本，獲取第一數據表中的數據同步到所述第一加速表中，所述第一加速表通過設置的第二加速庫進行進一步加速，所述第二加速庫用于存儲第二加速表，所述第二加速表用于對所述第一加速表中的數據進行同步處理，所述第二加速庫作為二級加速庫，所述第一加速庫作為初級加速庫。

2.根據權利要求1所述的方法，其中，還包括：

根據用戶需求和預設的任務調度機制，生成加速任務；

對所述加速任務進行任務調度，以觸發執行第一加速任務腳本。

3.根據權利要求1所述的方法，其中，還包括：

接收用戶提交的針對數據倉庫中的第一數據表的加速請求，觸發獲取待加速的第一數據表的表信息的處理，所述加速請求中包含所述第一數據表的表信息。

4.根據權利要求1所述的方法，其中，還包括：

檢測用戶對數據倉庫中數據表的使用頻度，將使用頻度大于預設閾值的數據表作為所述第一數據表。

5.根據權利要求1所述的方法，其中，所述第一加速庫和第二數據定義模板為多個，多個第一加速庫具有不同的數據庫結構，并分別對應于不同的第二數據定義模板，所述方法還包括：根據用戶指定的第一加速庫，確定所述第二數據定義模板。

6.根據權利要求1所述的方法，其中，所述第一加速庫和第二數據定義模板為多個，多個第一加速庫具有不同的數據庫結構，并分別對應于不同的第二數據定義模板，還包括：

檢測用戶對數據倉庫中第一數據表的使用行為特征和/或第一數據表的數據特點，確定與所述用戶適配的第一加速庫和對應的第二數據定義模板。

7.根據權利要求1所述的方法，其中，還包括：

響應于第一數據表的表結構的變更，觸發調用與數據倉庫對應的第一數據定義模板和與第一加速庫對應的第二數據定義模板，變更所述第一加速表的表結構。

8.根據權利要求1所述的方法，其中，還包括：

獲取用戶指定的第一數據表中的散列鍵；

根據所述散列鍵在所述第一加速庫中，對所述第一加速表進行分布式存儲。

9.根據權利要求1所述的方法，其中，還包括：

獲取所述第一加速表的表信息；

調用與所述第一加速庫對應的第二數據定義模板和與所述第二加速庫對應的第三數據定義模板，并根據所述第一加速表的表信息，在所述第二加速庫中創建所述第二加速表，所述第二加速庫用于對所述第一加速庫中的數據進行進一步加速；

根據與所述第二加速庫對應的第二加速任務模板，生成第二加速任務腳本；

執行所述第二加速任務腳本，獲取第一加速數據表中的數據同步到所述第二加速表中。

10.根據權利要求1所述的方法，其中，還包括：

響應于添加新的第三加速庫的配置請求，所述配置請求中包括：與所述新的第三加速庫對應的第四數據定義模板和第三加速任務腳本；

對所述第四數據定義模板和第三加速任務腳本進行部署，并將所述第三加速庫添加到加速庫列表中，所述加速庫列表中記錄了與所述數據倉庫對應的多個加速庫。