[發明專利]數據入庫方法及計算機可讀存儲介質

在審

• 申請號: 202211677757.5
• 申請日: 2022-12-26
• 公開（公告）號: CN115982187A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 鄭明毅;姚錦輝;林鎏娟
• 申請（專利權）人: 福建星網視易信息系統有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 柯玉珊

1.一種數據入庫方法，其特征在于，包括：

根據預設的周期，獲取待入庫數據；

根據預設的存儲格式，將所述待入庫數據存儲為臨時文件，并將所述臨時文件上傳至分布式對象存儲系統；

根據數據庫中的目標表的字段，創建S3外部表，并將所述S3外部表的存儲路徑設置為所述分布式對象存儲系統的存儲路徑；

通過所述S3外部表，將所述臨時文件中的數據導入至所述目標表。

2.根據權利要求1所述的數據入庫方法，其特征在于，所述通過所述S3外部表，將所述臨時文件中數據導入至所述目標表之前，進一步包括：

判斷所述目標表中是否含有索引；

若否，則執行所述通過所述S3外部表，將所述臨時文件中的數據導入至所述目標表的步驟；

若是，則在數據庫中創建臨時表，并通過所述S3外部表，將所述臨時文件中的數據導入至所述臨時表；

根據目標表中的索引，在所述臨時表中創建相同的索引；

刪除所述目標表，并將所述臨時表重命名為所述目標表的表名。

3.根據權利要求1或2所述的數據入庫方法，其特征在于，所述通過所述S3外部表，將所述臨時文件中數據導入至所述目標表之前，進一步包括：

對所述臨時文件中的數據進行壓縮。

4.根據權利要求1所述的數據入庫方法，其特征在于，所述根據預設的周期，獲取待入庫數據具體為：

若數據為流式數據，則將流式數據發布到分布式消息系統，并根據預設的周期，從分布式消息系統中批量獲取流式數據，得到待入庫數據；

若數據為文件數據，則根據預設的周期，下載文件數據，作為待入庫數據。

5.根據權利要求1所述的數據入庫方法，其特征在于，所述將所述臨時文件上傳至分布式對象存儲系統之后，進一步包括：

刪除本地的臨時文件。

6.根據權利要求1所述的數據入庫方法，其特征在于，所述通過所述S3外部表，將所述臨時文件中數據導入至所述目標表之后，進一步包括：

刪除所述S3外部表。

7.根據權利要求1所述的數據入庫方法，其特征在于，還包括：

當要導出數據時，根據數據庫中待導出數據所在的表的字段，創建S3可寫外部表，并將所述S3外部表的存儲路徑設置為分布式對象存儲系統的存儲路徑；

將所述待導出數據插入至所述S3可寫外部表中。

8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-7任一項所述的方法。