[發明專利]一種行業網站數據轉換方法、裝置及行業網站

在審

• 申請號: 202110149446.0
• 申請日: 2021-02-03
• 公開（公告）號: CN112965962A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 馮雨
• 申請（專利權）人: 北京中煤時代科技發展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 付登云

本發明公開了一種行業網站數據轉換方法、裝置及行業網站，術語數據處理領域；首先獲取源數據庫中的源數據，然后根據預設的陪住數據庫將源數據轉換為標準數據；最后將所述標準數據加載到目標數據庫中。本申請方案將多種格式和形式的源數據通過編碼轉換為統一的標準數據；在需要變更數據或增加數據時只需要改動配置數據庫中源數據對應的編碼即可，無需對數據進行開發或更改已有內容，大大增加了開發速率，節約了開發成本；同時能夠增加已開發的系統的穩定性。

技術領域

本發明涉及數據處理技術，特別地，涉及一種行業網站數據轉換方法、裝置及行業網站。

背景技術

行業網站的目的是為用戶提供行業咨詢及行業數據，從而為行業運銷、采購等活動提供信息支持，提高用戶經營效益。現有的服務方案是以數據發布機構設定的名稱作為數據命名，當出現新的數據或數據名稱進行變更時，就需要開發人員重新對數據進行開發和更改已有系統內容，開發效率低，穩定性差，而且隨著數據變動的增多，系統版本會越來越多，開發成本較高。

發明內容

為了克服現有技術的不足，本發明提供一種行業網站數據轉換方法、裝置及行業網站，以解決當出現新數據或數據名稱變更時，現有服務方法開發效率低、穩定性差以及維護成本高的問題。

本發明解決其技術問題所采用的技術方案是：

第一方面，

一種數據轉換方法，包括以下步驟：

獲取源數據庫中的源數據，所述源數據包括數據表格、報表數據、新聞資訊以及電子期刊的內容；

根據預設的配置數據庫將所述源數據轉換為標準數據，所述配置數據庫中包括數據對應的編碼，任意兩種數據對應的編碼不同；

將所述標準數據加載到目標數據庫中。

進一步地，所述獲取源數據庫中的源數據包括：

按照預設抽取規則對所述源數據庫中的數據進行抽取得到源數據。

進一步地，所述根據預設的配置數據庫將所述源數據轉換為標準數據包括：

將所述源數據轉化為對應的編碼；

根據所述編碼生成臨時文件；

將所述臨時文件轉換為標準格式得到標準數據。

進一步地，所述將所述標準數據加載到目標數據庫之前還包括：

對所述標準數據進行數據清洗，所述數據清洗包括檢查所述標準數據的一致性，處理所述標準數據的無效值和缺失值。

進一步地，所述將所述標準數據加載到目標數據庫中包括：

通過數據分發器將所述標準數據進行分類；

根據分類結果將所述標準數據分發到對應的目標數據庫中。

進一步地，還包括：

記錄數據轉換過程的所有操作形成日志以便查閱。

第二方面，

一種數據轉換裝置，包括：

數據獲取模塊，用于獲取源數據庫中的源數據，所述源數據包括數據表格、報表數據、新聞資訊以及電子期刊的內容；

數據轉換模塊，用于根據預設的配置數據庫將所述源數據轉換為標準數據，所述配置數據庫中包括數據對應的編碼，任意兩種數據對應的編碼不同；

數據加載模塊，用于將所述標準數據加載到目標數據庫中。

第三方面，

一種行業網站，包括：