[發明專利]一種公共測試庫的清理方法及裝置、電子設備

在審

• 申請號: 201910636252.6
• 申請日: 2019-07-15
• 公開（公告）號: CN110457300A
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 董芳宏
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 44232 深圳市隆天聯鼎知識產權代理有限公司
• 代理人: 劉抗美<國際申請>=<國際公布>=<進入

本發明涉及發布過程優化技術領域，揭示了一種公共測試庫的清理方法及裝置、電子設備。所述方法包括：生成掃描腳本；獲取公共測試庫的待掃描hive數據庫；其中，待掃描hive數據庫為多個hive數據庫中的至少一個；執行掃描腳本，以檢測待掃描hive數據庫的系統表中是否存在異常數據；其中，異常數據至少包括分區表個數大于或等于預設數值的系統表中的部分或全部分區表、攜帶_test關鍵字段的系統表、攜帶_init關鍵字段的系統表或占用存儲資源的排名在預設排名之前的系統表；若存在異常數據，生成清理腳本；執行清理腳本以清理異常數據。實施本發明實施例，能夠增加存儲空間，加快產品發布進度。

技術領域

本發明涉及發布過程優化技術領域，特別涉及一種公共測試庫的清理方法及裝置、電子設備。

背景技術

公共測試庫一般包括多個hive數據庫，常用于存放操作數據存儲(OperationalData Store，ODS)層的基礎數據，這些基礎數據主要來源于各個系統。然而，在實踐中發現，公共測試庫經常出現存儲空間不足的情況，導致產品發布進度受阻。因此，如何有效地清理公共測試庫，減少存儲空間不足的情況發生，是產品發布過程中急需解決的問題之一。

發明內容

為了解決公共測試庫存儲空間不足的問題，本發明提供了一種公共測試庫的清理方法及裝置、電子設備。

本發明實施例第一方面公開了一種公共測試庫的清理方法，所述公共測試庫包括多個hive數據庫，所述方法包括：

生成掃描腳本；

獲取所述公共測試庫的待掃描hive數據庫；其中，所述待掃描hive數據庫為所述多個hive數據庫中的至少一個；

運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據；其中，所述異常數據至少包括分區表個數大于或等于預設數值的系統表中的部分或全部分區表、攜帶_test關鍵字段的系統表、攜帶_init關鍵字段的系統表或占用存儲資源的排名在預設排名之前的系統表；

若檢測到所述待掃描hive數據庫的系統表中存在所述異常數據，生成清理腳本；

運行所述清理腳本以清理所述異常數據。

作為一種可選的實施方式，在本發明實施例第一方面中，所述生成掃描腳本，包括：

創建第一腳本文件；

將掃描參數導入所述第一腳本文件中以生成掃描腳本；其中，所述掃描參數至少包括所述待掃描hive數據庫的名稱、所述待掃描hive數據庫的個數、所述待掃描hive數據庫的類型和所述待掃描hive數據庫的路徑；

以及，所述若存在所述異常數據，生成清理腳本，包括：

若存在所述異常數據，創建第二腳本文件；

將清理參數導入所述第二腳本文件中以生成清理腳本；其中，所述清理參數至少包括所述異常數據的名稱、所述異常數據的個數、所述異常數據的類型和所述異常數據的路徑。

作為一種可選的實施方式，在本發明實施例第一方面中，在所述獲取所述公共測試庫的待掃描hive數據庫之后，以及所述運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據之前，所述方法還包括：

按照指定時間間隔設置掃描指令；

判斷是否檢測到所述掃描指令；

若檢測到所述掃描指令，執行所述運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據的步驟。

作為一種可選的實施方式，在本發明實施例第一方面中，在所述判斷是否檢測到所述掃描指令之后，所述方法還包括：