[發明專利]基于MapReduce的數據導出方法、裝置及設備

有效

• 申請號: 201910577385.0
• 申請日: 2019-06-28
• 公開（公告）號: CN110413670B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 陳笑寒
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張明;周良玉

1.一種基于MapReduce的數據導出方法，包括：

通過MapReduce編程接口接收數據導出任務；

基于所述數據導出任務的輸入配置，確定待導出數據的多張數據表，每張數據表包括若干條數據記錄；

生成多個Mapper端，以使所述多個Mapper端并行地讀取所述多張數據表中的各條數據記錄，并將各自讀取的數據記錄轉換成相應的鍵值Key_Value對，所述Key_Value對至少包含一個Key值；

基于所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行分組，以得到至少一個Key_Value對集合；

通過預先生成的多個Reducer端并行地將各個Key_Value對集合導出至各自對應的文件中。

2.根據權利要求1所述的方法，所述基于所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行分組，包括：

基于所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行排序；

對排序后的Key_Value對進行分組。

3.根據權利要求1所述的方法，所述數據記錄由多個字段的字段值構成，所述Key值為所述多個字段中至少一個字段的字段值；所述Reducer端的個數根據不同的Key值的個數確定。

4.根據權利要求1所述的方法，所述文件為目標格式的文件；所述目標格式包括CSV格式以及pdf格式；還包括：

根據所述數據導出任務的輸出配置，確定所述目標格式的文件的遠程存放地址；

將所述目標格式的文件上傳至所述遠程存放地址對應的遠程存儲端。

5.根據權利要求4所述的方法，所述將所述目標格式的文件上傳至所述遠程存放地址對應的遠程存儲端，包括：

判斷所述目標格式的文件的大小是否大于閾值；

如果是，則按照預設的文件大小或者預設的數據條數，對所述目標格式的文件內的數據進行分隔，以得到對應的多個子文件；

依次將所述多個子文件上傳至所述遠程存放地址對應的遠程存儲端。

6.一種基于MapReduce的數據導出裝置，包括：

接收單元，用于通過MapReduce編程接口接收數據導出任務；

確定單元，用于基于所述接收單元接收的所述數據導出任務的輸入配置，確定待導出數據的多張數據表，每張數據表包括若干條數據記錄；

轉換單元，用于生成多個Mapper端，以使所述多個Mapper端并行地讀取所述確定單元確定的所述多張數據表中的各條數據記錄，并將各自讀取的數據記錄轉換成相應的鍵值Key_Value對，所述Key_Value對至少包含一個Key值；

分組單元，用于基于所述轉換單元轉換得到的所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行分組，以得到至少一個Key_Value對集合；

導出單元，用于通過預先生成的多個Reducer端并行地將所述分組單元分組得到的各個Key_Value對集合導出至各自對應的文件中。

7.根據權利要求6所述的裝置，所述分組單元具體用于：

基于所述Key_Value對的Key值，對與所述各條數據記錄相應的Key_Value對進行排序；

對排序后的Key_Value對進行分組。

8.根據權利要求6所述的裝置，所述數據記錄由多個字段的字段值構成，所述Key值為所述多個字段中至少一個字段的字段值；所述Reducer端的個數根據不同的Key值的個數確定。