[發明專利]基于MapReduce的數據導出方法、裝置及設備

有效

• 申請號: 201910577385.0
• 申請日: 2019-06-28
• 公開（公告）號: CN110413670B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 陳笑寒
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張明;周良玉

本說明書實施例提供一種基于MapReduce的數據導出方法、裝置及設備，在基于MapReduce的數據導出方法中，接收數據導出任務。基于該數據導出任務的輸入配置，確定待導出數據的多張數據表，每張數據表包括若干條數據記錄。讀取多張數據表中的各條數據記錄，并將其轉換成相應的鍵值Key_Value對，該Key_Value對至少包含一個Key值。基于Key_Value對的Key值，對與各條數據記錄相應的Key_Value對進行分組，以得到至少一個Key_Value對集合。將各個Key_Value對集合導出至各自對應的文件中。

技術領域

本說明書一個或多個實施例涉及計算機技術領域，尤其涉及一種基于MapReduce的分布式數據導出方法、裝置及設備。

背景技術

傳統的數據導出方法通常可以包括如下三個步驟：1.從數據端的離線數據庫中讀取數據并下載成本地持久層的臨時文件。2.將臨時文件按照一定的格式轉換為賬單文件。3.上傳賬單文件到遠程存儲空間。該方法的底層實現是狀態機，該狀態機的狀態被儲存在關系數據庫中。具體地，在導出數據的過程中，可以以定時輪詢的方式來查詢每個賬單文件的進度，然后按照相應的狀態做出下一步動作。然而，由于該方法是通過定時輪詢的方式來推進整個導出流程，所以每個狀態的推進之間有很多滯空時間。此外，還需要額外管理離線數據庫與關系數據庫之間的連接，以及復雜的格式轉換的定制邏輯。

因此，需要提供一種簡單而高效的數據導出方案。

發明內容

本說明書一個或多個實施例描述了一種基于MapReduce的數據導出方法、裝置及設備，可以簡單而高效地導出數據。

第一方面，提供了一種基于MapReduce的數據導出方法，包括：

接收數據導出任務；

基于所述數據導出任務的輸入配置，確定待導出數據的多張數據表，每張數據表包括若干條數據記錄；

讀取所述多張數據表中的各條數據記錄，并將其轉換成相應的鍵值Key_Value對，所述Key_Value對至少包含一個Key值；

基于所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行分組，以得到至少一個Key_Value對集合；

將各個Key_Value對集合導出至各自對應的文件中。

第二方面，提供了一種基于MapReduce的數據導出裝置，包括：

接收單元，用于接收數據導出任務；

確定單元，用于基于所述接收單元接收的所述數據導出任務的輸入配置，確定待導出數據的多張數據表，每張數據表包括若干條數據記錄；

轉換單元，用于讀取所述確定單元確定的所述多張數據表中的各條數據記錄，并將其轉換成相應的鍵值Key_Value對，所述Key_Value對至少包含一個Key值；

分組單元，用于基于所述轉換單元轉換得到的所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行分組，以得到至少一個Key_Value對集合；

導出單元，用于將所述分組單元分組得到的各個Key_Value對集合導出至各自對應的文件中。

第三方面，提供了一種基于MapReduce的數據導出設備，包括：

存儲器；

一個或多個處理器；以及

一個或多個程序，其中所述一個或多個程序存儲在所述存儲器中，并且被配置成由所述一個或多個處理器執行，所述程序被所述處理器執行時實現以下步驟：

接收數據導出任務；