[發明專利]缺陷檢測/處理方法和裝置

在審

• 申請號: 201910296074.7
• 申請日: 2019-04-12
• 公開（公告）號: CN111813786A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 高鈺;周利;黃瑞瑞;吳永明;龍舟
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 錢秀茹

本申請公開了缺陷檢測方法和裝置，缺陷處理方法和裝置。其中，缺陷檢測方法包括：確定分布式系統中具有原子性關系的多個共享數據處理操作的執行軌跡；根據執行軌跡確定候選的失效原子性缺陷；運行分布式系統，并將與候選的失效原子性缺陷對應的節點失效注入至分布式系統；獲取運行分布式系統后的與失效原子性缺陷相關的多個共享數據；若多個共享數據不一致，則確定失效原子性缺陷。采用這種處理方式，使得通過觀察分布式系統的一次正確執行，無需注入節點失效，即可預測可能的原子性違反錯誤，并通過最后重放工作負載，注入節點失效，確定性地確認缺陷、重放缺陷；因此，可以有效檢測出失效原子性缺陷，從而提升分布式系統的可靠性。

技術領域

本申請涉及分布式系統技術領域，具體涉及缺陷檢測方法和裝置，缺陷處理方法和裝置。

背景技術

隨著越來越多的數據與計算從本地向云端遷移，大規模分布式系統逐步得到廣泛使用。與傳統的單機部署系統相比，大規模分布式系統具有較好的可擴展性和容錯能力，獲得同樣計算能力的成本較低。然而，大規模分布式系統必須管理大量分布式軟件組件、硬件及其配置，使得該類系統異常復雜。因而，大規模分布式系統不可避免地會發生故障，并影響到大量終端用戶，降低其可靠性和可用性。因此保證大規模分布式系統的高可靠性十分重要。

一種典型的保證分布式系統具有高可靠性的方式是，分布式系統需要管理其內部計算節點，并從上述節點失效行為中恢復，以保障系統的正常運行。為了應對節點失效，開發人員在分布式系統中引入了各種復雜的失效恢復機制，然而，大規模分布式系統在應對節點失效時，依然面臨極大挑戰。在大規模分布式系統中，任意節點在任何時間都可能發生失效，從而觸發各種各樣的失效場景。對開發人員來說，預測所有可能的失效場景、設計正確的失效恢復機制以及正確地實現失效恢復機制十分困難。同時，通過在所有可能場景下注入節點失效來達到徹底測試系統的目標也難以實現。因此，不正確的節點失效恢復機制及其實現會引入錯綜復雜的節點失效恢復相關缺陷，這些缺陷往往導致嚴重的后果，如節點宕機、數據不一致等。

目前，常見的節點失效與恢復缺陷檢測方式至少包括如下幾種：1)通過避免測試相同的恢復行為來盡可能地測試多種多樣的失敗場景，用戶通過Datalog來描述故障測試方法以及分布式系統恢復規范，從而可以系統化測試分布式系統中故障恢復邏輯；2)SAMC攔截分布式系統中的不確定性事件并置換他們的順序。SAMC采用灰盒測試技術，在傳統黑盒模型檢查的基礎上，加入分布式系統的語義信息，從而消減了狀態空間，盡可能避免模型檢查中的狀態爆炸問題；3)通過系統地生成和探索分布式系統執行中可能產生的文件信息，來檢測與所有副本同時失效相關的分布式系統漏洞。

在實現本發明過程中，發明人發現一種新的節點失效后恢復缺陷，即：分布式系統中某些關聯操作期待被原子地執行，不能被節點失效所打斷，如果發生節點失效，將導致分布式系統處于數據不一致，分布式系統無法正常恢復到正常狀態，本發明將該類節點失效稱為失效原子性。然而，發明人發現上述現有技術方案無法對該類節點失效進行恢復，如上述方法一將分布式系統看做一個黑盒，并不關心在系統處于何種狀態時注入一個節點失效會產生失效原子性違背，上述方法三也只關心與文件持久化相關的操作，并不關心失效原子性。綜上所述，現有技術存在由節點失效導致的同一數據源的多個共享數據不一致的問題。

發明內容

本申請提供缺陷檢測方法，以解決現有技術存在的由節點失效導致的同一數據源的多個共享數據不一致的問題。本申請另外提供缺陷檢測裝置，以及缺陷處理方法和裝置。

本申請提供一種缺陷檢測方法，包括：

確定分布式系統中具有原子性關系的多個共享數據處理操作的執行軌跡；

根據所述執行軌跡確定候選的失效原子性缺陷；

運行所述分布式系統，并將與所述候選的失效原子性缺陷對應的節點失效注入至所述分布式系統；

獲取運行所述分布式系統后的與所述失效原子性缺陷相關的多個共享數據；