[發明專利]一種數據處理方法及設備和相關裝置

有效

• 申請號: 201810898907.2
• 申請日: 2018-08-08
• 公開（公告）號: CN110865973B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 袁浩;伍應標;王能
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/182
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 鐘子敏

1.一種數據處理方法，其特征在于，包括：

接收處理指令，其中，所述處理指令包括數據參數；

向第一文件系統讀取與所述數據參數匹配的第一目標數據，其中，所述第一目標數據的格式為非JSON格式；所述第一目標數據在所述第一文件系統中被劃分為多個數據塊；

將所述第一目標數據的每個數據塊按照預設規則劃分為多個字段，采用串行或并行方式將所述多個字段轉換為JSON格式，將轉換后的多個字段按照在第一目標數據中的位置關系進行合并，以生成JSON格式的第二目標數據；所述預設規則為以換行字符和/或空格字符作為劃分界線進行劃分；

將所述第二目標數據寫入至所述第一文件系統中，所述第二目標數據存儲于所述第一文件系統中用于存儲所述第一目標數據的空間或所述第二目標數據存儲于所述第一文件系統中不同于第一目標數據存儲空間的其他存儲空間，且建立兩個存儲空間的映射關系。

2.根據權利要求1所述的方法，其特征在于，在將所述第一目標數據轉換為JSON格式的第二目標數據之后，所述方法還包括：

將所述第二目標數據寫入至所述第一文件系統中；

在接收到傳輸指令時，向所述第一文件系統下載所述第二目標數據；

將下載得到的所述第二目標數據傳輸給第二文件系統。

3.根據權利要求2所述的方法，其特征在于，所述第二文件系統為FTP文件系統；

所述將下載得到的所述第二目標數據傳輸給第二文件系統，包括：

將下載得到的所述第二目標數據進行壓縮；

通過FTP傳輸協議將壓縮后的第二目標數據傳輸給第二文件系統；

在將下載得到的所述第二目標數據傳輸給第二文件系統之后，所述方法還包括：

向與第二文件系統關聯的設備發送通知消息，以通知所述第二目標數據已傳輸至第二文件系統。

4.根據權利要求1所述的方法，其特征在于，所述第一文件系統為Hadoop分布式文件系統；

通過調用MapReduce程序實現向所述第一文件系統讀取或寫入數據。

5.一種數據處理裝置，其特征在于，包括：

接收模塊，用于接收處理指令，其中，所述處理指令包括數據參數；

讀取模塊，用于向第一文件系統讀取與所述數據參數匹配的第一目標數據，其中，所述第一目標數據的格式為非JSON格式；其中，所述第一目標數據在所述第一文件系統中被劃分為多個數據塊，所述多個數據塊存儲于多個數據節點上；

轉換模塊，將所述第一目標數據的每個數據塊按照預設規則劃分為多個字段，采用串行或并行方式將所述多個字段轉換為JSON格式，將轉換后的多個字段按照在第一目標數據中的位置關系進行合并，以生成JSON格式的第二目標數據；所述預設規則為以預設字符作為劃分界線進行劃分；

寫入模塊，將所述第二目標數據寫入至所述第一文件系統中，所述第二目標數據存儲于所述第一文件系統中用于存儲所述第一目標數據的空間或所述第二目標數據存儲于所述第一文件系統中不同于第一目標數據存儲空間的其他存儲空間，且建立兩個存儲空間的映射關系。

6.一種數據處理設備，其特征在于，包括存儲器和處理器；

所述處理器用于運行所述存儲器存儲的程序指令，以執行權利要求1至4任一項所述的方法。

7.一種存儲裝置，其特征在于，存儲有處理器可運行的程序指令，所述程序指令用于執行權利要求1至4任一項所述的方法。