[發(fā)明專利]一種無人機自主反偵察及躲避敵方攻擊的方法

在審

• 申請?zhí)枺?/td>: 202011020526.8
• 申請日: 2020-09-25
• 公開（公告）號: CN112051863A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計）人: 俞揚;詹德川;周志華;賈俊華;袁雷;張云天;羅凡明;付聰;龐竟成;尹皓
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 南京樂羽知行專利代理事務(wù)所(普通合伙) 32326
• 代理人: 李玉平

1.一種無人機自主反偵察及躲避敵方攻擊的方法，其特征在于，包括如下內(nèi)容：

(1)構(gòu)建模擬器，用于模擬無人機的參數(shù)以及環(huán)境參數(shù)，同時模擬攻擊物的參數(shù)；通過控制模擬器的參數(shù)，模擬無人機在真實環(huán)境中的飛行狀態(tài)以及攻擊物的狀態(tài)；

(2)通過收集無人機在模擬器中躲避敵方偵察或攻擊的數(shù)據(jù)，利用模仿學(xué)習(xí)訓(xùn)練出一個預(yù)訓(xùn)練模型；

(3)使用(2)中的預(yù)訓(xùn)練模型作為PPO算法的action網(wǎng)絡(luò)，在模擬器中，無人機加載PPO算法的模型和模擬器進行交互，收集訓(xùn)練數(shù)據(jù)S,A,R進行訓(xùn)練，直到模型收斂，得到策略模型；

(4)將學(xué)習(xí)到的策略模型，遷移到真實環(huán)境，真實環(huán)境中無人機參數(shù)和模擬器中一致，并且無人機觀測到的信息和模擬器中一致。

2.根據(jù)權(quán)利要求1所述的無人機自主反偵察及躲避敵方攻擊的方法，其特征在于，所述模擬器具有下列功能：

1)通過控制無人機的俯仰角，滾轉(zhuǎn)角，偏航角，以及油門桿位置，控制無飛機的飛行；

2)能夠模擬攻擊物的飛行軌跡；

3)無人機通過自身攜帶的慣性傳感器能夠獲得自身的速度，偏航角，滾轉(zhuǎn)角，俯仰角，油門桿位置，以及當(dāng)前位置；通過單目攝像頭對敵機或攻擊物進行識別；通過雙目攝像頭對攻擊物的方位角，俯仰角以及距離進行計算；通過載機雷達對敵機的距離，方位角，以及俯仰角進行計算以，并且對敵機偵察到我機發(fā)出警告；

4)無人機能釋放攻擊物進行攻擊；

5)同時該模擬器模擬馬爾科夫過程，提供與真實場景下無人機一致的觀測信息，包括無人機自身的狀態(tài)信息以及觀測到的環(huán)境的狀態(tài)信息，并提供與真實無人機一致的操控指令。

3.根據(jù)權(quán)利要求1所述的無人機自主反偵察及躲避敵方攻擊的方法，其特征在于，利用模擬器收集無人機在模擬器中躲避敵方偵察或攻擊的飛行控制數(shù)據(jù)，數(shù)據(jù)形式為S,A，其中S是無人機的狀態(tài)；無人機的狀態(tài)包括：無人機自身狀態(tài)，攻擊物的狀態(tài)，以及敵機的狀態(tài)，另外還包括當(dāng)前我機是否被敵方偵察到的警告；攻擊物的狀態(tài)包括攻擊物速度和攻擊物相對于我機的方位角、俯仰角以及距離；敵機的狀態(tài)包括敵機的距離，以及相對于我機的方位角和俯仰角；無人機自身狀態(tài)包括無人機速度，航向角，滾轉(zhuǎn)角，以及俯仰角；A是我機要飛往的目標(biāo)點，在收集的飛行控制數(shù)據(jù)的基礎(chǔ)上，利用模仿學(xué)習(xí)訓(xùn)練出一個模型。

4.根據(jù)權(quán)利要求1所述的無人機自主反偵察及躲避敵方攻擊的方法，其特征在于，在遷移到實際環(huán)境時，需要獲取無人機當(dāng)前的狀態(tài)，通過無人機自身攜帶的慣性傳感器獲取無人機自身狀態(tài)，對于攻擊物的狀態(tài)信息獲取，通過無人機攜帶的雙目攝像頭獲取；對目標(biāo)的識別通過單目攝像頭識別，判斷目標(biāo)是攻擊物還是敵機；通過無人機自身的載機雷達可以判斷當(dāng)前我機是否被敵方偵察到，以及敵機的狀態(tài)；將無人機當(dāng)前的狀態(tài)信息傳遞給訓(xùn)練好的策略模型，計算出無人機要飛往的目標(biāo)點，將該目標(biāo)點傳遞給飛行控制器，控制飛機朝該目標(biāo)點飛行；下一時刻，無人機將觀測到的下一時刻狀態(tài)信息傳遞給訓(xùn)練好的策略模型，計算出無人機要飛往的目標(biāo)點，將該目標(biāo)點傳遞給飛行控制器，如此往復(fù)，直到無人機擺脫被偵察或者拍拖攻擊物。

5.根據(jù)權(quán)利要求1所述的無人機自主反偵察及躲避敵方攻擊的方法，其特征在于，模型學(xué)習(xí)采用的神經(jīng)網(wǎng)絡(luò)是多層前饋神經(jīng)網(wǎng)絡(luò)，輸入是s，輸出是a，其優(yōu)化的目標(biāo)函數(shù)是：

其中，n是收集訓(xùn)練數(shù)據(jù)的樣本數(shù)量；s_i是神經(jīng)網(wǎng)絡(luò)的輸入，無人機的第i個狀態(tài)；f_θ(s_i)是神經(jīng)網(wǎng)絡(luò)的輸出，θ是神經(jīng)網(wǎng)絡(luò)參數(shù)，a_i是s_i對應(yīng)的要飛往的目標(biāo)點，不斷在訓(xùn)練集上進行訓(xùn)練，直到上面的目標(biāo)函數(shù)收斂。s包含：無人機當(dāng)前的速度、航向角、俯仰角、滾轉(zhuǎn)角，攻擊物相對于無人機的距離、方位角、俯仰角，對當(dāng)前目標(biāo)的識別，敵機相對于無人機的距離、方位角、俯仰角，以及當(dāng)前無人機是否被敵方偵察到；a是無人機在當(dāng)前狀態(tài)下所選擇的要飛往的目標(biāo)點。