[發明專利]數據標準化采集方法、裝置、設備及存儲介質

在審

• 申請號: 202110594968.1
• 申請日: 2021-05-28
• 公開（公告）號: CN113190608A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 向陽;劉亮;林昀
• 申請（專利權）人: 北京紅山信息科技研究院有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種數據標準化采集方法，其特征在于，包括：

基于可視化操作界面獲取用戶輸入的數據采集信息，所述數據采集信息包括原始數據模型和對應的標準數據模型；

根據所述原始數據模型從數據源獲取原始數據；

根據所述原始數據模型對應的所述標準數據模型將所述原始數據轉換為標準數據并存儲至預設目的地。

2.根據權利要求1所述的數據標準化采集方法，其特征在于，所述基于可視化操作界面獲取用戶輸入的數據采集信息包括：

根據用戶基于可視化操作界面選擇的數據采集工具確定數據接入方式；

獲取用戶基于所述數據接入方式設置的數據解壓方式，根據所述數據接入方式和數據解壓方式確定原始數據模型；

根據用戶基于可視化操作界面確定的連接關系和數據標準化工具確定與原始數據模型對應的標準數據模型。

3.根據權利要求1所述的數據標準化采集方法，其特征在于，所述獲取根據用戶的操作生成的數據采集配置之前，還包括：

配置數據采集工具和數據標準化工具，所述數據采集工具用于模塊化描述所述原始數據模型，所述數據標準化工具用于模塊化描述所述標準數據模型。

4.根據權利要求1所述的數據標準化采集方法，其特征在于，所述根據所述原始數據模型從數據源獲取原始數據，包括：

根據所述原始數據模型確定數據源接入信息；

根據數據源接入信息采集原始數據。

5.根據權利要求4所述的數據標準化采集方法，其特征在于，所述根據所述原始數據模型對應的所述標準數據模型將所述原始數據轉換為標準數據包括：

根據所述原始數據模型對應的所述標準數據模型將所述原始數據通過字段名稱映射編排、字段單位換算編排和字段含義計算編排。

6.根據權利要求3所述的數據標準化采集方法，其特征在于，所述數據源接入信息包括：

壓縮方式、文件格式、結束方式、字段類型和字段名稱。

7.一種數據標準化采集系統，其特征在于，包括：

采集配置模塊，用于獲取根據用戶的操作生成的數據采集配置，所述數據采集配置包括原始數據模型和標準數據模型；

數據獲取模塊，用于根據所述原始數據模型從數據源獲取原始數據；

數據轉化模塊，用于根據所述標準數據模型將所述原始數據轉換為標準數據并存儲至預設目的地。

8.根據權利要求7所述的數據標準化采集系統，其特征在于，所述采集配置模塊包括：

原始數據接入單元，用于根據用戶基于可視化操作界面選擇的數據采集工具確定數據接入方式；

數據解壓單元，用于獲取用戶基于所述數據接入方式設置的數據解壓方式，根據所述數據接入方式和數據解壓方式確定原始數據模型；

標準數據轉換單元，用于根據用戶基于可視化操作界面確定的連接關系和數據標準化工具確定與原始數據模型對應的標準數據模型。

9.一種服務器，其特征在于，包括存儲器和處理器，所述存儲器上存儲有可在處理器運行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-6任意一項所述的數據標準化采集方法。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序包括程序指令，所述程序指令當被執行時，實現如權利要求1-6任意一項所述的數據標準化采集方法。