[發明專利]數據入庫方法及計算機可讀存儲介質

在審

• 申請號: 202211677757.5
• 申請日: 2022-12-26
• 公開（公告）號: CN115982187A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 鄭明毅;姚錦輝;林鎏娟
• 申請（專利權）人: 福建星網視易信息系統有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 福州市博深專利事務所(普通合伙) 35214
• 代理人: 柯玉珊

本發明公開了一種數據入庫方法及計算機可讀存儲介質，方法包括：根據預設的周期，獲取待入庫數據；根據預設的存儲格式，將所述待入庫數據存儲為臨時文件，并將所述臨時文件上傳至分布式對象存儲系統；根據數據庫中的目標表的字段，創建S3外部表，并將所述S3外部表的存儲路徑設置為所述分布式對象存儲系統的存儲路徑；通過所述S3外部表，將所述臨時文件中的數據導入至所述目標表。本發明可提高批量數據的導入速度，且可降低主節點的負載。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種數據入庫方法及計算機可讀存儲介質。

背景技術

對于Greenplum數據庫，在數據批量入庫時，如果使用傳統的“insert?into目標表values()”方式進行批量入庫，那么在數據量很大的時候，不僅速度不夠快，并且對于Greenplum的master節點(主節點)會造成很大的壓力；同時如果導入數據要覆蓋掉原表數據，采用先清空后導入的方法會造成導入數據期間查詢表數據為空的問題，若導入到的目標表有索引，導入速度還會慢很多。

因此，如何提高Greenplum數據庫的批量數據導入速度成為有待解決的問題。

發明內容

本發明所要解決的技術問題是：提供一種數據入庫方法及計算機可讀存儲介質，可提高批量數據的導入速度，且可降低主節點的負載。

為了解決上述技術問題，本發明采用的技術方案為：一種數據入庫方法，包括：

根據預設的周期，獲取待入庫數據；

根據預設的存儲格式，將所述待入庫數據存儲為臨時文件，并將所述臨時文件上傳至分布式對象存儲系統；

根據數據庫中的目標表的字段，創建S3外部表，并將所述S3外部表的存儲路徑設置為所述分布式對象存儲系統的存儲路徑；

通過所述S3外部表，將所述臨時文件中的數據導入至所述目標表。

本發明還提出一種計算機可讀存儲介質，其上存儲有計算機程序，所述程序被處理器執行時實現如上所述的方法。

本發明的有益效果在于：通過S3外部表實現批量數據的導入，可有效利用計算節點并行裝載數據，提高批量數據的導入速度，且數據不經過主節點，降低了主節點的負載，使得數據的導入不受主節點的瓶頸限制。

附圖說明

圖1為本發明的一種數據入庫方法的流程圖；

圖2為本發明實施例一的方法流程圖。

具體實施方式

為詳細說明本發明的技術內容、所實現目的及效果，以下結合實施方式并配合附圖詳予說明。

請參閱圖1，一種數據入庫方法，包括：

根據預設的周期，獲取待入庫數據；

根據預設的存儲格式，將所述待入庫數據存儲為臨時文件，并將所述臨時文件上傳至分布式對象存儲系統；

根據數據庫中的目標表的字段，創建S3外部表，并將所述S3外部表的存儲路徑設置為所述分布式對象存儲系統的存儲路徑；

通過所述S3外部表，將所述臨時文件中的數據導入至所述目標表。

從上述描述可知，本發明的有益效果在于：可提高批量數據的導入速度，且可降低主節點的負載。

進一步地，所述通過所述S3外部表，將所述臨時文件中數據導入至所述目標表之前，進一步包括：

判斷所述目標表中是否含有索引；

若否，則執行所述通過所述S3外部表，將所述臨時文件中的數據導入至所述目標表的步驟；