[發明專利]一種存在假數據注入攻擊時的最優跟蹤控制器設計方法

有效

• 申請號: 201811453386.6
• 申請日: 2018-11-30
• 公開（公告）號: CN109375514B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 劉皓
• 申請（專利權）人: 沈陽航空航天大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 沈陽維特專利商標事務所(普通合伙) 21229
• 代理人: 甄玉荃

本發明涉及一種智能跟蹤控制器，當存在假數據注入攻擊時，該控制器能夠實時的計算最優跟蹤控制律，使得系統的輸出能夠跟蹤系統的參考輸入。該控制器可以包含不同的控制算法處理器，采用基于博弈論和Q?學習的自適應動態規劃算法，可以適用于系統動態未知的情況，甚至于只能獲得輸入?輸出數據的情況。本發明適用于通過無線網絡連接系統和控制器的情況，或者通過無線通訊網絡傳輸數據的情況，在無人機編隊飛行、智能車編隊控制等方面有極大的應用價值。

技術領域

本發明涉及利用博弈論、自適應動態規劃和強化學習方法，針對線性離散時間系統存在假數據注入攻擊時，確定最優跟蹤控制器的方法。

背景技術

最優跟蹤控制是控制領域的一個重要研究課題，具有廣泛的應用背景。比如，智能車和無人機的軌跡跟蹤，機器人的跟蹤控制等。最優跟蹤控制的目的是使系統的輸出在最優意義下能夠跟蹤參考輸入(或參考軌跡)，這可以通過最小化預先給定的二次型性能指標函數來實現。需要指出的是，隨著網絡技術的發展與應用，無線網絡傳輸技術被越來越多的應用于數據的遠程傳輸。然而，由于無線網絡的存在，使得傳輸的數據易于被對手攻擊，主要包括拒絕服務攻擊、重放攻擊、假數據注入攻擊等。所以，研究存在網絡攻擊時的最優跟蹤控制具有重要的現實意義。本發明主要針對假數據注入攻擊進行研究。

傳統的最優跟蹤控制，采用動態規劃方法設計相應的跟蹤控制器。然而，動態規劃方法屬于由后向前的遞推方法，因此不能在線計算，并且存在維數災的問題。自適應動態規劃方法屬于人工智能范疇，本質上是基于強化學習理論，模擬人通過對復雜環境的反饋進行學習的思路，進而時間向前的遞推求解控制策略，所以能夠在線執行。

采用Q學習方法計算最優控制率，可以不需要原系統和參考軌跡發生器的系統矩陣，適用于某些動態矩陣未知的情況。此外，該方法還可以僅僅采用輸入輸出數據，迭代求解最優跟蹤控制策略，而不需要當前狀態信息。

發明內容

本發明目的在于提出一種存在假數據注入攻擊時，離散時間系統最優跟蹤控制器的設計方法，解決了以前存在假數據注入攻擊時無法跟蹤的問題。本發明的系統結構圖如圖1所示。本發明的技術方案實施如下：

1)建立假數據攻擊模型和增廣系統模型；

2)采用博弈論方法，建立攻防雙方的博弈模型；防守方為控制器，攻擊方為假數據的注入方；

3)建立貝爾曼方程，通過最優控制理論，求解最優控制策略和攻擊策略；采用策略迭代方法和值迭代方法求解博弈代數里卡提方程；

4)采用基于Q-函數的強化學習方法，求解博弈雙方的最優策略，包括策略迭代和值迭代方法；

5)僅僅基于輸入-輸出數據，采用Q-學習方法，迭代求解最優策略。

附圖說明

圖1為存在假數據注入攻擊時的系統結構圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

參考圖1，本發明提出了一種采用博弈論、自適應動態規劃和Q學習的方法，解決了離散時間系統的最優跟蹤控制問題。具體實施方式如下：

1)建立假數據攻擊模型和增廣模型

考慮如下的系統模型

x_k+1＝Ax_k+Bu_k (1)

其中，A和B為系統矩陣；假設系統控制輸入u_k在傳輸過程中受到攻擊，受到假數據注入攻擊后的系統模型變為