[發明專利]基于強化學習的高空拋物軌跡識別方法

有效

• 申請號: 202110685692.8
• 申請日: 2021-06-21
• 公開（公告）號: CN113393495B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 郭洪飛;馬向東;曾云輝;陳柄贊;何智慧;任亞平;張銳
• 申請（專利權）人: 暨南大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T5/00;G06T5/50;G06T3/00;G06V20/10;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

1.一種基于強化學習的高空拋物軌跡識別方法，其特征在于，包括以下步驟：

S1，通過圖像傳感器采集被監控窗戶區域的高空拋物軌跡圖像；

S2，對所述高空拋物軌跡圖像進行預處理得到預處理圖像信息；

S3，根據所述預處理圖像信息判斷所述圖像傳感器是否被遮擋；

S4，在判斷所述圖像傳感器未被遮擋時，將所述預處理圖像信息輸入至處理器，所述處理器獲取經過強化學習后的預訓練目標模型，并通過所述預訓練目標模型對所述預處理圖像信息進行高空拋物識別得到高空拋物識別結果信息；

S5，所述處理器將高空拋物識別結果信息存儲至數據存儲單元和云服務器及儲存器中，以對所述預訓練目標模型進行訓練及更新；

所述S4中預訓練目標模型的獲取步驟包括：

S4.1，初始化動作模型和預訓練之前的目標模型；

S4.2，建立仿真環境，所述動作模型將最優動作參數傳輸給所述仿真環境；

S4.3，所述仿真環境根據所述最優動作參數仿真得到仿真后的動作參數，并將所述仿真后的動作參數存儲至所述數據存儲單元；

S4.4，所述動作模型從所述數據存儲單元中獲取所述仿真后的動作參數，以對所述動作模型進行訓練更新；

S4.5，所述動作模型訓練C次后，將最新的所述仿真后的動作參數拷貝至所述目標模型，以對所述目標模型進行訓練更新，得到所述預訓練目標模型，其中C為大于或等于2的整數；

所述S4.2中建立仿真環境的步驟包括：

S4.2.1，獲取高空拋物的運動物體的物理特征、動態特性和周邊環境特征；

S4.2.2，結合高空拋物所在環境的空氣阻力和風速變量，對所述高空拋物的運動物體的物理特征、動態特性和周邊環境特征進行分析，以建立所述仿真環境。

2.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，所述S2包括：

S2.1，將所述圖像傳感器采集到的所述高空拋物圖像轉換成低維度灰度圖像；

S2.2，對所述灰度圖像進行仿射變換；

S2.3，通過空域濾波和時域濾波的方式對仿射變換后的灰度圖像進行噪聲消除；

S2.4，采用背景差分和幀間差分融合方法，獲取噪聲消除后的每幀圖像中的運動物體的目標檢測框，并通過卡爾曼濾波根據前一幀圖像中的目標檢測框預測后一幀圖像中的運動物體的目標檢測框，以得到所述預處理圖像信息。

3.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，所述S3包括：

S3.1，獲取所述預處理圖像信息中的像素值和分布特征；

S3.2，根據所述預處理圖像信息中的像素值大小和分布特征，對所述圖像傳感器是否被遮擋進行判斷；

S3.3，當判斷所述圖像傳感器被遮擋時，將所述預處理圖像信息存儲至所述云服務器及儲存器中。

4.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，在所述S2之后所述S3之前，所述方法還包括：將所述預處理圖像信息存儲至所述云服務器及儲存器中。

5.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，所述S4.2中的最優動作參數包括：高空拋物軌跡圖像、高空拋物預測軌跡和所述目標模型參數。

6.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，所述S4.3中的仿真后的動作參數包括：當前狀態的高空拋物軌跡圖像、當前高空拋物預測軌跡、當前獲得獎勵和下一狀態的高空拋物軌跡圖像。

7.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，所述動作模型和所述目標模型在更新過程中不斷獲取高空拋物軌跡預測誤差信息，以根據所述誤差信息和相鄰幀高空拋物軌跡圖像的誤差數值改變預測策略。

8.如權利要求1所述的基于強化學習的高空拋物軌跡識別方法，其特征在于，所述S5還包括：將所述高空拋物識別結果信息與實際高空拋物軌跡進行對比，得到實際預測誤差信息，并將所述實際預測誤差信息反饋至所述數據存儲單元中。