[發明專利]工作流穩定性測試方法及設備

在審

• 申請號: 201610403853.9
• 申請日: 2016-06-08
• 公開（公告）號: CN107480040A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 周宇
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 上海百一領御專利代理事務所(普通合伙)31243
• 代理人: 陳貞健,周建華

技術領域

本申請涉及計算機領域，尤其涉及一種工作流穩定性測試方法及設備。

背景技術

工作流產品對使用者來說是一種服務，它對外提供的接口可以是二方包，HTTP(超文本傳輸協議，HyperText Transfer Protocol)接口，或者是SDK(軟件開發工具包，Software Development Kit)。工作流本身從功能上講，沒有業務邏輯，他的職能只是把用戶定義的活動，按照用戶希望的順序和調度方式執行完成即可。從穩定性測試角度看工作流，其實沒有過多業務依賴，調用路徑也不長，所以要做就是把該產品依賴的環境異常模擬出來即可。

目前的工作流產品的穩定性除了自身性能的考核外，需要考慮外部依賴環境對工作流本身性能的影響，對外部依賴的穩定性測試，目前的實現方法相對離散，也就是各個異常場景下，測試各自的數據。針對工作流本身的穩定性測試，關注的是工作流本身的性能數據。在其特化的依賴環境發生異常時，對本身性能數據的影響都是以獨立方式出現，比如網絡、工作流節點、數據庫這些依賴環境分別對性能的影響。但是彼此之間沒有層次、沒有抽象、也沒有異常環境的疊加，大量重復邏輯由此產生。目前邏輯是針對每一種依賴模擬器其自身的異常場景，然后定義每一種異常用例和性能指標，做起來費時費力，有大量的重復工作在各種不同特征的模擬實現，接入以及實際執行場景上。現有的方案，看起來很復雜，每次穩定性測試時，需要重新模擬引起外部依賴異常的各種因素，這就需要大量重復工作模擬異常，整合異常到工作流邏輯，即將模擬異常耦合在性能測試本身的邏輯中，并生成無差別的性能指標數據。

從現有的成熟產品來看，要么是關注工作流本身的各項性能指標，要么是外部依賴環境如zookeeper，db(數據庫)等自身資源的性能表現，沒有產品會關注外部依賴環境和工作流本身整合的角度去試圖簡化問題。其中，Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務。

發明內容

本申請的一個目的是提供一種工作流穩定性測試方法及設備，解決每次穩定性測試時，需要重新模擬引起外部依賴異常的各種因素，需要大量重復工作模擬異常，整合異常到工作流邏輯的問題。

根據本申請的一個方面，提供了一種工作流穩定性測試方法，該方法包括：

將引起每個外部依賴環境異常的因素抽象為異常特征；

調用所述異常特征對工作流進行穩定性測試，并輸出測試結果

進一步的，上述方法中，調用所述異常特征對工作流進行穩定性測試，包括：

將所述異常特征轉化為接口；

調用所述接口對工作流進行穩定性測試。

進一步的，上述方法中，所述外部依賴環境異常包括網絡異常、數據庫異常、工作流節點異常、Zookeeper異常和異常數據中一種或任意組合

進一步的，上述方法中，調用所述異常特征對工作流進行穩定性測試，并輸出測試結果，包括：

根據調用的異常特征確定對應的性能指標和異常指標；

調用所述異常特征對工作流進行穩定性測試，并輸出包含所述性能指標和異常指標的測試結果。

進一步的，上述方法中，所述測試結果包括調用的異常特征。

進一步的，上述方法中，所述性能指標的測試結果包括工作流實例場景下的調度、執行耗時、并發量、請求數、成功率和最大、最小執行平均耗時中的一種或任意組合。

進一步的，上述方法中，所述異常指標的測試結果包括工作流實例場景下的不符合期望結果、不符合期望執行次數、活動異常和回滾異常中的一種或任意組合。

進一步的，上述方法中，所述工作流實例場景的種類包括串行工作流、并行工作流或包含子流程的工作流。

根據本申請的另一方面，還提供了一種工作流穩定性測試設備，該設備包括：

抽象裝置，用于將引起每個外部依賴環境異常的因素抽象為異常特征；

測試裝置，用于調用所述異常特征對工作流進行穩定性測試，并輸出測試結果。

進一步的，上述設備中，所述測試裝置，用于將所述異常特征轉化為接口；調用所述接口對工作流進行穩定性測試。

進一步的，上述設備中，所述外部依賴環境異常包括網絡異常、數據庫異常、工作流節點異常、Zookeeper異常和異常數據中一種或任意組合。