[發明專利]一種基于馬爾科夫決策過程的自適應系統更新與修復方法

在審

• 申請號: 202010894470.2
• 申請日: 2020-08-31
• 公開（公告）號: CN112115987A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 楊文華;周宇;黃志球
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F8/65
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李淑靜

本發明提出了一種基于馬爾科夫決策過程的自適應系統更新與修復方法。包括以下步驟：基于馬爾科夫決策過程構建自適應系統的馬爾科夫決策過程模型；獲取環境變化，通過可達性檢查識別出新環境下的不可達狀態，在馬爾科夫決策過程模型中刪除不可達狀態和不可行遷移；獲取新環境下系統的新狀態，將新的狀態和新的遷移添加到馬爾科夫決策過程模型中；基于狀態更新后的馬爾科夫決策過程模型，根據自適應系統的實際運行情況及已有的應用邏輯，更新模型中的遷移概率；對更新后的馬爾科夫決策過程模型進行修復。本發明可用于自適應系統的設計，在系統過時或不滿足性質規約時，幫助更新與修復自適應系統。

技術領域

本發明涉及自適應系統控制，具體涉及一種基于馬爾科夫決策過程的自適應系統更新與修復方法，自適應系統設計人員可以采用該方法對過時的及不滿足性質的自適應系統進行更新與修復。

背景技術

自適應系統是一類能感知環境并通過改變自身行為模式來響應環境變化以滿足給定目標的軟件系統，例如無人駕駛汽車應用就需要能夠正常安全地運行在各種道路狀況與交通狀況下。自適應系統可用于應對復雜環境變化以滿足用戶的需求。然而開發一個可靠的自適應系統卻并非一件易事，因為開發者不僅需要考慮自適應系統的自身業務邏輯，還要考慮系統與環境之間的各種交互。

為了更好地設計自適應系統，特別是系統中的自適應邏輯，許多方法被提出，例如基于規則的方法，基于控制理論的方法等。其中，基于馬爾科夫決策過程的設計方法是一類廣泛使用方法。馬爾科夫決策過程是一種模型，可以用于規劃與決策，它是時序決策事實上的標準方法，時序決策里的許多工作，都可以看成是馬爾科夫決策過程的實例。馬爾科夫決策過程具有很強的描述力，不僅可以描述系統中的概率行為還可以描述不確定性。而實際中的自適應系統中概率與不確定性都是存在的，因此馬爾科夫決策過程可以用于設計自適應系統。設計時通過馬爾科夫決策過程來建立系統的模型，之后則利用這一模型來控制系統的運行與決策，指導系統執行何種自適應行為以響應環境的變化。

自適應系統需要運行在不同的環境下并能響應不同環境的變化，例如無人駕駛汽車的可能遇到的場景就是多種多樣的。但是現有的采用馬爾科夫決策過程為自適應系統構建自適應邏輯的方法的普遍假設是，一旦給出了系統的馬爾科夫決策過程，它們將來改變的可能性就較小。但是實際上，在不少情況下，自適應系統對應的馬爾科夫決策過程是很可能需要發生變化的。一方面，自適應系統對應的馬爾科夫決策過程都旨在處理某些特定的環境條件。當系統的運行環境與開發人員在設計時所假定的環境不同時，那么該馬爾科夫決策過程將過時，即無法指導自適應系統在新環境中正常執行。另一方面，當自適應系統的馬爾科夫決策過程無法滿足系統的規約性質時，該模型將無法滿足性質，因此無法指導自適應系統滿足規定的目標。遇到此類問題時，一種比較好的方式是在可能的情況下更新或修復系統對應的馬爾科夫決策過程模型，而不是從頭開始重新設計新模型。

如何更新和修復自適應系統對應的馬爾科夫決策過程模型這一問題仍未得到充分研究。針對自適應系統對應的馬爾科夫決策過程不滿足性質規約這一問題，在模型修復方面，現有的基于參數修復的方法通過修改模型中的遷移概率以達到讓模型滿足性質的目的，但是這種方法在自適應系統中是不符合要求的，因為馬爾科夫決策過程模型中的遷移概率是不能隨意更改的，它們來自自適應系統特征(例如，有故障的執行器有可能執行不良動作)。否則，修復后的模型將毫無意義無法指導系統正常運行。而不可否認的事實是，如果依靠過時且不滿足性質的馬爾科夫決策過程，則顯然無法指導自適應系統正確運行。因此，為解決上述問題，需要提出一種新的基于馬爾科夫決策過程的自適應系統更新與修復方法。這樣，當自適應系統對應的馬爾科夫決策過程出現過時或無法滿足性質規約時，可以對自適應系統的模型進行更新與修復，從而使得自適應系統能夠正常運行。

發明內容

發明目的：針對現有技術的不足，本發明提出一種基于馬爾科夫決策過程的自適應系統更新與修復方法，指導自適應系統正確運行。

技術方案：為了實現上述發明目的，本發明采用的技術方案為：一種基于馬爾科夫決策過程的自適應系統更新與修復方法，包含如下步驟：