[發明專利]一種基于強化學習的高原山地旅游安全風險預警方法

有效

• 申請號: 202110916234.0
• 申請日: 2021-08-11
• 公開（公告）號: CN113361665B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 闞璦珂;羅瑞;楊梟;于小香
• 申請（專利權）人: 成都理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06Q10/06;G06Q50/14
• 代理公司: 成都時譽知識產權代理事務所(普通合伙) 51250
• 代理人: 沈成金

1.一種基于強化學習的高原山地旅游安全風險預警方法，其特征在于：包括下列步驟：

步驟S1：將旅游景區歷史時間周期內的旅游數據集存儲在數據記憶庫中，根據數據記憶庫建立初始化的旅游風險預警指示函數Q和風險目標函數T，旅游風險預警指示函數Q和風險目標函數T采用強化學習算法；

步驟S2：根據數據記憶庫中旅游風險評估因子序列，結合選中的歷史時間周期內旅游數據集得到訓練后的旅游風險預警指示函數Q和風險目標函數T，其中，旅游風險評估因子序列為數據記憶庫中按照自然因素風險程度大小的組成的序列，所述步驟S2中，旅游風險預警指示函數Q和風險目標函數T的訓練方法包括下列步驟：

步驟S21：根據比例因子m選定預警值，將t時刻下選定的預警值作為輸入，其中，旅游風險預警指示函數Q在第一概率下生成第一預警值，根據數據記憶庫中歷史數據在第二概率下隨機生成第二預警值，第一概率/第二概率=m，執行步驟S22；

步驟S22：t時刻選自歷史時間周期內，將旅游風險預警指示函數Q計算得到的預警值存儲為歷史數據，執行步驟S23；

步驟S23：將連續時刻的多個的預警值進行訓練，為時刻t下的旅游風險評估因子，為時刻t+1下的旅游風險評估因子，截取一段連續序列的旅游風險評估因子代入到目標函數中，連續時刻的初始時刻為t₀，目標函數y為選取n個時刻的預警值計算該連續時刻的獎勵集合，訓練時的各公式為

式中，為時刻t的預警值，為時刻t的獎勵值，當輸入多個預警值時，得到多個風險目標函數T，函數即為在多個風險目標函數T中選擇最大的風險目標函數T值，為時間折扣因子，均為自由參數且通過梯度下降法求得，通過旅游風險預警指示函數Q計算時刻t下的預警值，所述風險目標函數T通過數據記憶庫優化旅游風險預警指示函數Q；

步驟S24：判斷旅游風險評估因子的所有序列是否訓練完成，若訓練完成，則執行步驟S3，若訓練未完成，則執行步驟S21；

步驟S3：結合輸入的時間參數，訓練后的旅游風險預警指示函數Q得到該時間參數下的預警動作，并根據預警動作得到旅游景區的風險評估等級結果。

2.根據權利要求1所述的一種基于強化學習的高原山地旅游安全風險預警方法，其特征在于：所述步驟S21中，比例因子m＞1。

3.根據權利要求2所述的一種基于強化學習的高原山地旅游安全風險預警方法，其特征在于：所述步驟S23中，通過輸入將來時刻x1，在按照時間排列的旅游風險評估因子序列中，選取最接近該將來時刻x1的旅游風險評估因子S _x1，進而通過訓練完成的旅游風險預警指示函數Q得到預測的預警值。

4.根據權利要求3所述的一種基于強化學習的高原山地旅游安全風險預警方法，其特征在于：所述步驟S3中，根據預測的預警值，匹配對應的預警動作，預警動作包括調動應急處理資源和臨時關閉景區。

5.根據權利要求1~4中任一項所述的一種基于強化學習的高原山地旅游安全風險預警方法用于景區安防規劃的用途。

6.一種計算機可讀存儲介質，其特征在于，計算機可讀存儲介質上存儲有一個或多個計算機程序，所述一個或多個計算機程序被一個或多個處理器執行時實現如權利要求1~4任一項所述的一種基于強化學習的高原山地旅游安全風險預警方法。

7.一種基于強化學習的高原山地旅游安全風險預警的裝置，其特征在于，包括：一個或多個處理器；

計算機可讀存儲介質，其存儲有一個或多個計算機程序；一個或多個計算機程序被一個或多個處理器執行時實現如權利要求1~4任一項所述的一種基于強化學習的高原山地旅游安全風險預警方法。

8.一種基于強化學習的高原山地旅游安全風險預警系統，包括：采集端、處理端和顯示端，所述采集端用于采集旅游景區的自然環境歷史數據、社會因素數據、旅游安全管理數據和游客個體的數據；

所述處理端包含主控制器；

顯示端用于顯示旅游景區的旅游風險等級評估結果；

主控制器中存儲有一個或多個計算機程序，所述一個或多個所述計算機程序被其具有的一個或多個處理器執行時實現如權利要求1~4中任一項所述的一種基于強化學習的高原山地旅游安全風險預警方法。