[發明專利]基于數據轉儲系統的關系型數據庫表結構修正方法

有效

• 申請號: 202011276198.8
• 申請日: 2020-11-16
• 公開（公告）號: CN112364023B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 王玉偉;祖佳征;王孝娟
• 申請（專利權）人: 浪潮卓數大數據產業發展有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/28
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫晶偉

本發明公開一種基于數據轉儲系統的關系型數據庫表結構修正方法,涉及數據管理技術領域；配置數據轉儲任務中數據庫的各數據表結構字段長度的閾值,執行數據轉儲任務，并遍歷異常數據，記錄數據庫當前數據表結構字段長度，判斷當前數據表結構字段長度是否在相應閾值內，若在相應閾值內則取當前數據表結構字段長度的最大值替換當前數據表結構字段長度，并記錄到待更新數據池中，根據待更新數據池更新數據庫；本發明自動調整關系型數據庫表結構，完成數據的自動轉儲；對異常數據(超出表結構預設值的數據)進行收集。減少在數據轉儲中的操作員工作量，提高數據轉儲的自動化程度。

技術領域

本發明公開一種方法,涉及數據管理技術領域，具體地說是基于數據轉儲系統的關系型數據庫表結構修正方法。

背景技術

伴隨著近幾年大數據技術的發展，數據存儲量的爆炸式增長以及數據存儲類型的多樣化，數據應用中對數據在不同數據存儲結構中的轉換需求越來越大，多種數據轉儲系統應運而生。

數據轉儲系統多種多樣，但是常常遇到在數據轉儲系統運行中，對數據存儲結構的要求尤其是對與傳統關系型數據庫相關的系統中進行數據轉儲時，由于數據長度的波動、數據長度超長等原因導致數據轉儲任務失敗。需要人工干預重新調整關系型數據庫的表結構預設值之后才行再次轉儲數據，不僅費時費力，還易出錯。

發明內容

本發明針對現有技術的問題，提供一種基于數據轉儲系統的關系型數據庫表結構修正方法，數據轉儲過程中，可根據數據要求和操作員在轉儲任務中關于數據表結構字段長度預設閾值，自動調整關系型數據庫表結構，完成數據的自動轉儲；對異常數據(超出表結構預設值的數據)進行收集。減少在數據轉儲中的操作員工作量，提高數據轉儲的自動化程度。

本發明提出的具體方案是：

基于數據轉儲系統的關系型數據庫表結構修正方法：配置數據轉儲任務中數據庫的各數據表結構字段長度的閾值,

執行數據轉儲任務，并遍歷異常數據，記錄數據庫當前數據表結構字段長度，

判斷當前數據表結構字段長度是否在相應閾值內，若在相應閾值內則取當前數據表結構字段長度的最大值替換當前數據表結構字段長度，并記錄到待更新數據池中，

根據待更新數據池更新數據庫。

優選地，所述的基于數據轉儲系統的關系型數據庫表結構修正方法中建立異常數據池，將異常數據送至異常數據池，從異常數據池獲取異常數據，進行遍歷。

優選地，所述的基于數據轉儲系統的關系型數據庫表結構修正方法中若當前數據表結構字段長度不在相應閾值內，則將數據表相應的數據記錄到異常數據日志。

優選地，所述的基于數據轉儲系統的關系型數據庫表結構修正方法中統計待更新數據池中數據庫各數據表結構字段長度的數據，生成相應的數據庫更新語句，更新數據庫表結構。

基于數據轉儲系統的關系型數據庫表結構修正系統：包括配置模塊、執行模塊、分析模塊及更新模塊，

配置模塊配置數據轉儲任務中數據庫的各數據表結構字段長度的閾值,

并在執行模塊執行數據轉儲任務過程中，分析模塊遍歷異常數據，記錄數據庫當前數據表結構字段長度，

判斷當前數據表結構字段長度是否在相應閾值內，若在相應閾值內則取當前數據表結構字段長度的最大值替換當前數據表結構字段長度，并記錄到待更新數據池中，

更新模塊根據待更新數據池更新數據庫。

優選地，所述的基于數據轉儲系統的關系型數據庫表結構修正系統中建立異常數據池，將異常數據送至異常數據池，從異常數據池獲取異常數據，進行遍歷。