[發(fā)明專利]一種基于強化學習的高原山地旅游安全風險預警方法

有效

• 申請?zhí)枺?/td>: 202110916234.0
• 申請日: 2021-08-11
• 公開（公告）號: CN113361665B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設計）人: 闞璦珂;羅瑞;楊梟;于小香
• 申請（專利權(quán)）人: 成都理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06Q10/06;G06Q50/14
• 代理公司: 成都時譽知識產(chǎn)權(quán)代理事務所(普通合伙) 51250
• 代理人: 沈成金

本發(fā)明涉及預測旅游風險領域，具體是一種基于強化學習的高原山地旅游安全風險預警方法，步驟S1：將旅游景區(qū)歷史時間周期內(nèi)的旅游數(shù)據(jù)集存儲在數(shù)據(jù)記憶庫中，根據(jù)數(shù)據(jù)記憶庫建立初始化的旅游風險預警指示函數(shù)Q和風險目標函數(shù)T；步驟S2：根據(jù)旅游風險評估因子序列，結(jié)合選中的歷史時間周期內(nèi)旅游數(shù)據(jù)集得到訓練后的旅游風險預警指示函數(shù)Q和風險目標函數(shù)T；步驟S3：結(jié)合輸入的時間參數(shù)，訓練后的旅游風險預警指示函數(shù)Q得到該時間參數(shù)下的預警動作，并得到旅游景區(qū)的風險評估等級結(jié)果，風險評估等級對景區(qū)建設規(guī)劃以及個人旅游規(guī)劃、旅游安全管理均有重要的參考意義。

技術領域

本發(fā)明涉及旅游風險預測技術領域，具體是一種基于強化學習的高原山地旅游安全風險預警方法。

背景技術

一些大型高原山地景區(qū)因景觀多樣、地貌復雜、氣候多變、人跡罕至，是旅游者、極限運動愛好者向往的勝地，僅僅依靠天氣預報是不夠準確的。但是，受突發(fā)高原病威脅和其他復雜意外的突變環(huán)境影響，高血壓、心臟病患者出現(xiàn)突發(fā)狀況甚至猝死的現(xiàn)象屢見不鮮，迷路失蹤更是對高原遇險游客雪上加霜。受技術層面限制，當前高原山地景區(qū)管理部門對遇險人員的搜救難度極大，成本很高而成功率很低。

在旅游安全預警手段方面，有必要提出一種能夠在旅游安全事故發(fā)生之前盡可能預測到安全風險出現(xiàn)的可能性并發(fā)出預警的信號指令的方法，同時該方法能根據(jù)險情的動態(tài)發(fā)展調(diào)整風險評估的結(jié)果，給予分類分等級的預警提示。

本申請通過對現(xiàn)有技術的綜合分析，得出旅游安全需要考慮的環(huán)境因素有（1）自然因素，包括氣溫、風力以及地震、暴雨、山體滑坡、崩塌、泥石流、山洪、雪崩等。（2）社會因素，包括突發(fā)軍事管制、流行病等突發(fā)公共衛(wèi)生事件（如新冠疫情在中高風險等級區(qū)域的傳播）。（3）游客狀態(tài)與個體行為，包括游客年齡、健康情況、突發(fā)意外事故（如受傷、突發(fā)疾病）等。（4）旅游安全管理因素，包括景區(qū)承載游客數(shù)量、醫(yī)療設施、通訊及應急處理能力等。以上因素都可以通過一定量化指標轉(zhuǎn)化為離散或連續(xù)變量作為強化學習模型中的環(huán)境狀態(tài)。部分環(huán)境狀態(tài)為離散值，如景區(qū)所在地是處在何種新冠疫情等級；也有部分環(huán)境狀態(tài)用連續(xù)值表示，如當日氣溫、降水量等。

強化學習模型一般是Agent（智能體）選擇一個動作用于環(huán)境，環(huán)境接受該動作后狀態(tài)發(fā)生變化，同時產(chǎn)生一個強化信號(獎或懲)反饋給Agent，Agent根據(jù)強化信號和環(huán)境當前狀態(tài)再選擇下一個動作，選擇的原則是使受到正強化(獎)的概率增大。選擇的動作不僅影響立即強化值，而且影響環(huán)境下一時刻的狀態(tài)及最終的強化值。

基于上述思考，現(xiàn)有技術要解決的難點包括但不限于：（1）如何有效的確定獎勵函數(shù)以及時間折扣因子，即如何對災害可能產(chǎn)生的損失和錯誤決策帶來的損失進行量化。（2）對環(huán)境進行描述，即需要模型來描述環(huán)境的狀態(tài)轉(zhuǎn)移概率矩陣，特別是智能體作出決策后對環(huán)境狀態(tài)的改變。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種基于強化學習的高原山地旅游安全風險預警方法，本發(fā)明采取實際數(shù)據(jù)（如實際造成的生命財產(chǎn)損失）和專家打分（通過災害等級量化）相結(jié)合的方式，對于不同的景區(qū)，有不同狀態(tài)轉(zhuǎn)移概率，本發(fā)明提出需要一定量的數(shù)據(jù)來驅(qū)動模型。

本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：一種基于強化學習的高原山地旅游安全風險預警方法，包括下列步驟：

步驟S1：將旅游景區(qū)歷史時間周期內(nèi)的旅游數(shù)據(jù)集存儲在數(shù)據(jù)記憶庫中，根據(jù)數(shù)據(jù)記憶庫建立初始化的旅游風險預警指示函數(shù)Q和風險目標函數(shù)T，旅游風險預警指示函數(shù)Q和風險目標函數(shù)T采用強化學習算法；

步驟S2：根據(jù)旅游風險評估因子序列，結(jié)合選中的歷史時間周期內(nèi)旅游數(shù)據(jù)集得到訓練后的旅游風險預警指示函數(shù)Q和風險目標函數(shù)T；

步驟S3：結(jié)合輸入的時間參數(shù)，訓練后的旅游風險預警指示函數(shù)Q得到該時間參數(shù)下的預警動作，并根據(jù)預警動作得到旅游景區(qū)的風險評估等級結(jié)果。

優(yōu)選的，所述步驟S2中，旅游風險預警指示函數(shù)Q和風險目標函數(shù)T的訓練方法包括下列步驟：