[發明專利]一種公共測試庫的清理方法及裝置、電子設備

在審

• 申請號: 201910636252.6
• 申請日: 2019-07-15
• 公開（公告）號: CN110457300A
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 董芳宏
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 44232 深圳市隆天聯鼎知識產權代理有限公司
• 代理人: 劉抗美<國際申請>=<國際公布>=<進入

1.一種公共測試庫的清理方法，所述公共測試庫包括多個hive數據庫，其特征在于，所述方法包括：

生成掃描腳本；

獲取所述公共測試庫的待掃描hive數據庫；其中，所述待掃描hive數據庫為所述多個hive數據庫中的至少一個；

運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據；其中，所述異常數據至少包括分區表個數大于或等于預設數值的系統表中的部分或全部分區表、攜帶_test關鍵字段的系統表、攜帶_init關鍵字段的系統表或占用存儲資源的排名在預設排名之前的系統表；

若檢測到所述待掃描hive數據庫的系統表中存在所述異常數據，生成清理腳本；

運行所述清理腳本以清理所述異常數據。

2.根據權利要求1所述的方法，其特征在于，所述生成掃描腳本，包括：

創建第一腳本文件；

將掃描參數導入所述第一腳本文件中以生成掃描腳本；其中，所述掃描參數至少包括所述待掃描hive數據庫的名稱、所述待掃描hive數據庫的個數、所述待掃描hive數據庫的類型和所述待掃描hive數據庫的路徑；

以及，所述若存在所述異常數據，生成清理腳本，包括：

若存在所述異常數據，創建第二腳本文件；

將清理參數導入所述第二腳本文件中以生成清理腳本；其中，所述清理參數至少包括所述異常數據的名稱、所述異常數據的個數、所述異常數據的類型和所述異常數據的路徑。

3.根據權利要求1所述的方法，其特征在于，在所述獲取所述公共測試庫的待掃描hive數據庫之后，以及所述運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據之前，所述方法還包括：

按照指定時間間隔設置掃描指令；

判斷是否檢測到所述掃描指令；

若檢測到所述掃描指令，執行所述運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據的步驟。

4.根據權利要求3所述的方法，其特征在于，在所述判斷是否檢測到所述掃描指令之后，所述方法還包括：

若未檢測到所述掃描指令，檢測所述待掃描hive數據庫的存儲空間的剩余空間是否小于預設閾值；

若小于預設閾值，執行所述運行所述掃描腳本，以檢測所述待掃描hive數據庫的系統表中是否存在異常數據的步驟。

5.根據權利要求1至4任一項所述的方法，其特征在于，在所述若檢測到所述待掃描hive數據庫的系統表中存在所述異常數據，生成清理腳本之后，以及所述運行所述清理腳本以清理所述異常數據之前，所述方法還包括：

將所述異常數據按照預設規則導入異常數據表；

將所述異常數據表備份至本地服務器中預設路徑對應的目標位置，以便后續找回所述異常數據。

6.根據權利要求5所述的方法，其特征在于，在所述將所述異常數據表備份至本地服務器中預設路徑對應的目標位置，以便后續找回所述異常數據之后，以及所述運行所述清理腳本以清理所述異常數據之前，所述方法還包括：

檢測所述異常數據所在系統表是否被調用；

若所述異常數據所在系統表被調用，實時監測所述異常數據所在系統表的調用情況，當監測到所述異常數據所在系統表的調用情況表明調用結束時，執行所述運行所述清理腳本以清理所述異常數據的步驟；

若所述異常數據所在系統表沒有被調用，執行所述運行所述清理腳本以清理所述異常數據的步驟。

7.根據權利要求5所述的方法，其特征在于，在所述將所述異常數據表備份至本地服務器中預設路徑對應的目標位置，以便后續找回所述異常數據之后，以及所述運行所述清理腳本以清理所述異常數據之前，所述方法還包括：

根據所述異常數據的生成時間定義所述異常數據的優先級；其中，生成時間越早，所述異常數據的優先級越高；生成時間越晚，所述異常數據的優先級越低；

將所述優先級導入所述清理腳本；

以及，所述運行所述清理腳本以清理所述異常數據，包括：

運行所述清理腳本，并按照所述優先級從高到低清理所述異常數據。