[發明專利]數據標準化采集方法、裝置、設備及存儲介質

在審

• 申請號: 202110594968.1
• 申請日: 2021-05-28
• 公開（公告）號: CN113190608A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 向陽;劉亮;林昀
• 申請（專利權）人: 北京紅山信息科技研究院有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明實施例公開了一種數據標準化采集方法、系統、服務器及存儲介質。該方法包括：基于可視化操作界面獲取用戶輸入的數據采集信息，數據采集信息包括原始數據模型和對應的標準數據模型；根據原始數據模型從數據源獲取原始數據；根據原始數據模型對應的標準數據模型將原始數據轉換為標準數據并存儲至預設目的地。本發明實施例以數據模型的形式進行數據轉化可以廣泛定義數據轉化關系，大批量實現原始數據到標準數據的轉化，便于實現集團的數據同采同用。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據標準化采集方法、系統、服務器和存儲介質。

背景技術

大數據是當下的熱門話題，運營商數據在精準營銷、數達營銷和數言輿情標準產品的基礎上形成了針對各個行業的解決方案，因此運營商數據的采集目前運營商數據的采集過程都是通過各個省端獨立采集、匯集處理的，雖然集團公司有統一的采集字段規范和格式，但在規范外，各個省份的運營商上報的數據各自按自己的規范上傳打包數據。集團統一從各個省份采集上來的數據依然做不到同采同用，需要一套適配框架，對各個省份的數據進行統一規范采集。那么數據標準化采集系統就因此而誕生。

發明內容

有鑒于此，本發明提供了一種數據標準化采集方法、裝置、設備及存儲介質，以數據模型的形式進行數據轉化，可以廣泛定義數據轉化關系，大批量實現原始數據到標準數據的轉化。

第一方面，本發明提供了一種數據標準化采集方法，該方法包括：

基于可視化操作界面獲取用戶輸入的數據采集信息，所述數據采集信息包括原始數據模型和對應的標準數據模型；

根據所述原始數據模型從數據源獲取原始數據；

根據所述原始數據模型對應的所述標準數據模型將所述原始數據轉換為標準數據并存儲至預設目的地。

可選的，在一些實施例中，所述基于可視化操作界面獲取用戶輸入的數據采集信息包括：

根據用戶基于可視化操作界面選擇的數據采集工具確定數據接入方式；

獲取用戶基于所述數據接入方式設置的數據解壓方式，根據所述數據接入方式和數據解壓方式確定原始數據模型；

根據用戶基于可視化操作界面確定的連接關系和數據標準化工具確定與原始數據模型對應的標準數據模型。

可選的，在一些實施例中，所述獲取根據用戶的操作生成的數據采集配置之前，還包括：

配置數據采集工具和數據標準化工具，所述數據采集工具用于模塊化描述所述原始數據模型，所述數據標準化工具用于模塊化描述所述標準數據模型。

可選的，在一些實施例中，所述根據所述原始數據模型從數據源獲取原始數據，包括：

根據所述原始數據模型確定數據源接入信息；

根據數據源接入信息采集原始數據。

可選的，在一些實施例中，所述根據所述原始數據模型對應的所述標準數據模型將所述原始數據轉換為標準數據包括：

根據所述原始數據模型對應的所述標準數據模型將所述原始數據通過字段名稱映射編排、字段單位換算編排和字段含義計算編排。

可選的，在一些實施例中，所述數據源接入信息包括：

壓縮方式、文件格式、結束方式、字段類型和字段名稱。

第二方面，本發明提供了一種數據標準化采集系統，包括：

采集配置模塊，用于獲取根據用戶的操作生成的數據采集配置，所述數據采集配置包括原始數據模型和標準數據模型；

數據獲取模塊，用于根據所述原始數據模型從數據源獲取原始數據；