[發(fā)明專利]面向含軟、硬約束線性時序邏輯的不確定動作規(guī)劃方法

有效

• 申請?zhí)枺?/td>: 201911144064.8
• 申請日: 2019-11-20
• 公開（公告）號: CN111026110B
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 方浩;陳仲瑤;楊慶凱;曾憲琳;尉越;田戴熒;陳杰
• 申請（專利權(quán)）人: 北京理工大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 溫子云

1.一種面向含軟、硬約束線性時序邏輯的不確定動作規(guī)劃方法，其特征在于，包括：

步驟一、建立雙層自動機任務(wù)模型：

基于軟、硬約束子任務(wù)公式，建立由DRA自動機描述的軟約束任務(wù)模型和硬約束任務(wù)模型，并以此為基礎(chǔ)建立雙層自動機模型，重新確定狀態(tài)描述與狀態(tài)間的轉(zhuǎn)移關(guān)系，劃分自動機中軟、硬約束任務(wù)各自的常返態(tài)與非常返態(tài)；

其中，在雙層自動機模型中，每層的任務(wù)狀態(tài)是硬約束任務(wù)模型和軟約束任務(wù)模型中任務(wù)狀態(tài)經(jīng)任意組合形成的狀態(tài)集；初始狀態(tài)位于第一層；硬約束任務(wù)的常返態(tài)被放置在第一層，軟約束任務(wù)的常返態(tài)被放置在第二層，非常返態(tài)同時放置在第一層和第二層；通過狀態(tài)轉(zhuǎn)移關(guān)系的設(shè)置使得雙層間的轉(zhuǎn)換條件為只有當所在層級對應(yīng)的任務(wù)完成時可轉(zhuǎn)換至另一層；

步驟二、面向軟約束任務(wù)修改任務(wù)模型：

雙層自動機模型上建立非法連接，構(gòu)建從軟約束任務(wù)非常返態(tài)出發(fā)，終止于軟約束任務(wù)常返態(tài)的轉(zhuǎn)移；將該非法連接加入雙層自動機模型的狀態(tài)間轉(zhuǎn)移關(guān)系中；

步驟三、將雙層自動機模型、智能體模型結(jié)合，設(shè)計優(yōu)化問題，獲得最優(yōu)控制策略。

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟一所建立的雙層自動機模型為：

其中，

為任務(wù)狀態(tài)集；表示是硬約束任務(wù)模型的任務(wù)狀態(tài)Q與軟約束任務(wù)模型的任務(wù)狀態(tài)Q'進行任意組合形成的狀態(tài)集，給該狀態(tài)集打上標志位1或2，標志位用于區(qū)分應(yīng)用于雙層自動機模型的第一層還是第二層；符號×表示任意組合；

為原子命題集，表示是硬約束任務(wù)和軟約束任務(wù)對應(yīng)命題集AP和AP'的并集；

是雙層自動機任務(wù)狀態(tài)初始態(tài)，其由硬約束任務(wù)初始態(tài)q₀與軟約束任務(wù)初始態(tài)q₀'組成，1是標志位，表示屬于雙層自動機模型的第一層；

為雙層自動機的接受狀態(tài)集合；定義硬約束任務(wù)模型中的接受狀態(tài)集合Acc_A和軟約束任務(wù)模型中的接受狀態(tài)集合Acc_A'分別為：

其中，H表示非常返態(tài)集合，I表示常返態(tài)集合，上角標的1和2區(qū)分屬于硬約束任務(wù)模型還是軟約束任務(wù)模型，下角標N₁和N₂表示可接受狀態(tài)對的個數(shù)；則：

其中，和均是新的非常返態(tài)集合；

其中

和組成新的非常返態(tài)集合，其中狀態(tài)位于雙層自動機模型的第一層以及第二層；和為常返態(tài)集合，中狀態(tài)位于雙層自動機模型的第一層，中狀態(tài)位于雙層自動機模型的第二層；

描述自動機中的狀態(tài)間轉(zhuǎn)移關(guān)系，存在q₁,q₁'∈Q，q₂,q₂'∈Q'；其中，l為狀態(tài)轉(zhuǎn)移條件，c和c’表示狀態(tài)所處的層級信息；狀態(tài)轉(zhuǎn)移條件l需要滿足的條件為：如果在硬約束任務(wù)模型中l(wèi)令狀態(tài)從q₁轉(zhuǎn)移到q₁'，且在軟約束任務(wù)模型中狀態(tài)轉(zhuǎn)移條件l下令狀態(tài)從q₂轉(zhuǎn)移到q₂'；層次切換條件為：當且c＝1時，c'＝2，即當硬約束任務(wù)完成，且當前在第一層，則轉(zhuǎn)移到第二層；當且c＝2時，c'＝1，即當軟約束任務(wù)完成，且當前在第二層，則轉(zhuǎn)移到第一層；其余情況保持在當前層繼續(xù)任務(wù)執(zhí)行，令c'＝c。

3.如權(quán)利要求2所述的方法，其特征在于，所述步驟二面向軟約束任務(wù)修改任務(wù)模型為：對于中的q₂，如果q₂是軟約束任務(wù)模型的非常返態(tài)，且q₂'是軟約束任務(wù)模型中的常返態(tài)，則l只需要滿足l₁∈χ(q₁,q₁')，χ表示滿足兩個狀態(tài)的合法轉(zhuǎn)移條件的集合；其中，l₁為l對應(yīng)A_hard的命題，所述A_hard為硬約束下的DRA自動機模型。

4.如權(quán)利要求2所述的方法，其特征在于，所述步驟三為：

由一含標簽的馬爾可夫決策過程表征智能體狀態(tài)模型M，應(yīng)用模型檢測方法的思路，生成Product自動機Product自動機以智能體狀態(tài)、環(huán)境屬性、任務(wù)狀態(tài)的組合狀態(tài)s為基礎(chǔ)，轉(zhuǎn)移關(guān)系兼顧智能體狀態(tài)模型M與雙層任務(wù)自動機的轉(zhuǎn)移條件和性質(zhì)；通過約束狀態(tài)點可行行為的方式在Product自動機上面向硬約束任務(wù)提取可接受最大終止集AMEC，AMEC的性質(zhì)可保證系統(tǒng)狀態(tài)進入其中后硬約束任務(wù)不會失敗；

根據(jù)AMEC內(nèi)狀態(tài)集劃分系統(tǒng)軌跡的前綴部分、后綴部分，硬約束任務(wù)非常返態(tài)只存在于前綴部分，并根據(jù)初始態(tài)與AMEC狀態(tài)集的可達關(guān)系對Product自動機中狀態(tài)做劃分，將系統(tǒng)軌跡前綴部分模型轉(zhuǎn)化成存在兩個吸收態(tài)集合的概率轉(zhuǎn)移圖模型，由初始狀態(tài)可達但不可轉(zhuǎn)移至AMEC的狀態(tài)集合記為S_d，AMEC狀態(tài)集合記為S_c作為后綴模型，前綴部分模型剩余狀態(tài)中初始態(tài)可達狀態(tài)組成的集合記為S_n；

設(shè)集合S_n為原集合，遍歷該集合S_n中所有狀態(tài)元素，若狀態(tài)s下的動作存在概率使系統(tǒng)狀態(tài)由S_n轉(zhuǎn)移至S_d，則將該動作從狀態(tài)s的動作集中移除，若該狀態(tài)s在動作約束后無可行動作，則將狀態(tài)s從原集合中移除，重復(fù)此過程直至原集合狀態(tài)集大小不再改變，得到適應(yīng)硬約束任務(wù)的前綴部分Product自動機；

在修改后的自動機模型上重新進行點集劃分并進行最優(yōu)策略的求解。