[發明專利]一種數據轉換方法、裝置以及數據處理系統

有效

• 申請號: 201810160120.6
• 申請日: 2018-02-26
• 公開（公告）號: CN108388640B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 王衍祺;賈雨生;謝曉丹
• 申請（專利權）人: 北京環境特性研究所
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/178
• 代理公司: 北京格允知識產權代理有限公司 11609
• 代理人: 周嬌嬌;張沫

1.一種數據轉換方法，其特征在于，包括：

構建元數據配置文件；其中，所述元數據配置文件包括：至少一種數據類型對應的至少一個元數據定義；

獲取待處理文件；

根據所述待處理文件的文件頭信息，確定所述待處理文件的數據類型；

從所述元數據配置文件中確定與所述待處理文件的數據類型對應的目標元數據定義；

根據所述目標元數據定義，對所述待處理文件進行轉換；

所述待處理文件進一步包括：數據塊；

所述根據所述目標元數據定義，對所述待處理文件進行轉換，包括：

根據所述目標元數據定義中的數據塊定義，確定每一個所述數據塊對應的至少一個目標轉換列，以及每一個所述目標轉換列的目標數據容量；

將每一個所述目標轉換列作為當前目標轉換列，執行：

從所述數據塊進行逐行讀取，將每一行作為當前行循環執行A1和A2，直至所述數據塊的每一行數據被寫入所述目標轉換列中；

A1：從所述當前行讀取出數據列標識和數據值，并將所述數據列標識和數據值寫入所述當前目標轉換列中；

A2：確定寫入后的所述當前目標轉換列的當前數據容量是否小于所述目標數據容量，如果是，將所述當前行的下一行作為當前行，執行A1，否則，從各個所述目標轉換列中選擇一個未被寫入的目標轉換列作為所述當前目標列。

2.根據權利要求1所述的方法，其特征在于，

所述根據所述目標元數據定義，對所述待處理文件進行轉換，包括：

讀取所述待處理文件中的文件頭信息，以確定所述文件頭信息中的至少一個數據行；

從每一個所述數據行中確定出至少一對鍵值，并對每一對所述鍵值進行分割，得到關鍵字和所述關鍵字對應的值；

根據所述關鍵字，從所述目標元數據定義中確定對應的數據項定義；

根據所述數據項定義，對所述關鍵字對應的值進行轉換。

3.根據權利要求1所述的方法，其特征在于，

在所述根據所述目標元數據定義，對所述待處理文件進行轉換之后，進一步包括：

獲取用戶的數據處理請求；

根據所述數據處理請求，調用對應的數據處理裝置；

將轉換后的所述待處理文件以及所述目標元數據定義發送給所述數據處理裝置，以使所述數據處理裝置根據所述目標元數據定義，對所述待處理文件進行讀取，對讀取的所述待處理文件進行處理。

4.一種數據轉換裝置，其特征在于，包括：構建單元、類型確定單元和轉換單元；其中，

所述構建單元，用于構建元數據配置文件；其中，所述元數據配置文件包括：至少一種數據類型對應的至少一個元數據定義；

所述類型確定單元，用于獲取待處理文件，并根據所述待處理文件的文件頭信息，確定所述待處理文件的數據類型；

所述轉換單元，用于從所述元數據配置文件中確定與所述待處理文件的數據類型對應的目標元數據定義，并根據所述目標元數據定義，對所述待處理文件進行轉換；

所述待處理文件進一步包括：數據塊；

所述轉換單元包括：轉換列確定子單元和數據塊轉換子單元；其中，

所述轉換列確定子單元，用于根據所述目標元數據定義中的數據塊定義，確定所述數據塊對應的至少一個目標轉換列，以及每一個所述目標轉換列的目標數據容量；

所述數據塊轉換子單元，用于將每一個所述目標轉換列作為當前目標轉換列執行：對所述數據塊進行逐行讀取，將每一行作為當前行循環執行A1和A2，直至所述數據塊的每一行數據被寫入所述目標轉換列中；

A1：從所述當前行讀取出數據列標識和數據值，并將所述數據列標識和數據值寫入所述當前目標轉換列中；

A2：確定寫入后的所述當前目標轉換列的當前數據容量是否小于所述目標數據容量，如果是，將所述當前行的下一行作為當前行，執行A1，否則，從各個所述目標轉換列中選擇一個未被寫入的目標轉換列作為當前目標列。