[發(fā)明專利]一種基于蒙特卡洛樹搜索的異常事件處理方法和裝置

在審

• 申請?zhí)枺?/td>: 202011576874.3
• 申請日: 2020-12-28
• 公開（公告）號: CN112700005A
• 公開（公告）日: 2021-04-23
• 發(fā)明（設(shè)計）人: 董毅;李新;武立軍;李兆桐;翟佳;彭實;陳峰
• 申請（專利權(quán)）人: 北京環(huán)境特性研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06Q10/06;G06Q50/26
• 代理公司: 北京格允知識產(chǎn)權(quán)代理有限公司 11609
• 代理人: 張沫

一種基于蒙特卡洛樹搜索的異常事件處理方法和裝置，包括：監(jiān)測深海安全事件推演場景中異常事件；當所述異常事件(如海底電纜斷裂等)發(fā)生時；通過對異常事件處理方案空間進行采樣建立蒙特卡洛搜索樹；并確定異常事件發(fā)生后的待選處置方案的選擇；確定采取每一種所述待選處置方案所取得的收益，對所述異常事件造成的影響進行評估；確定使所述異常事件造成的全局損失最小的處置方案，獲得最優(yōu)的異常事件處置方案(如最優(yōu)的帶寬分配策略等)。從而降低該異常事件對經(jīng)濟、民生等方面的安全影響范圍及影響程度。

技術(shù)領(lǐng)域

本發(fā)明涉及機器學(xué)習技術(shù)領(lǐng)域，特別是涉及一種基于蒙特卡洛樹搜索的異常事件處理方法和裝置。

背景技術(shù)

海洋方面的異常突發(fā)事件如海嘯、海底地震等對國民經(jīng)濟的正常運行造成重大的威脅，然而，目前缺少行之有效的基于數(shù)據(jù)驅(qū)動的異常事件評估及處置機制。與此同時，近年來以深度學(xué)習為代表的機器學(xué)習技術(shù)正蓬勃發(fā)展，在諸多領(lǐng)域取得了傳統(tǒng)方法無法企及的成績，那么，將機器學(xué)習算法應(yīng)用在面向海洋領(lǐng)域的異常事件辨析處置決策中，建立以數(shù)據(jù)為驅(qū)動，以機器算法為核心的異常事件辨析處置決策評估機制，當異常事件發(fā)生時，根據(jù)已經(jīng)過大規(guī)模數(shù)據(jù)訓(xùn)練完成的機器學(xué)習模型進而給出最優(yōu)的異常事件處置策略，以達到降低事件影響的目的。基于此，開展機器學(xué)習在海洋異常事件處置決策領(lǐng)域的應(yīng)用研究顯得十分迫切。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于蒙特卡洛樹搜索的異常事件處理方法和裝置，根據(jù)經(jīng)過大規(guī)模數(shù)據(jù)訓(xùn)練完成的機器學(xué)習模型進而給出最優(yōu)的處置策略，以達到降低事件影響的目的。

第一方面，本發(fā)明提供一種基于蒙特卡洛樹搜索的異常事件處理方法，包括：

監(jiān)測深海安全事件推演場景中異常事件；

當所述異常事件發(fā)生時；通過對異常事件處理方案空間進行采樣建立蒙特卡洛搜索樹；并確定異常事件發(fā)生后的待選處置方案；

確定采取每一種所述待選處置方案所取得的收益，對所述異常事件造成的影響進行評估；

確定使所述異常事件造成的全局損失最小的處置方案，獲得最優(yōu)的異常事件處置方案。

優(yōu)選地，確定異常事件發(fā)生后的待選處置方案的選擇包括：

基于選擇、擴展、仿真和回溯來持續(xù)優(yōu)化所述蒙特卡洛搜索樹內(nèi)的策略；進而完成對異常事件發(fā)生后的待選處置方案的選擇。

優(yōu)選地，確定采取每一種所述待選處置方案所取得的收益，對所述異常事件造成的影響進行評估包括：

在蒙特卡洛樹搜索的過程中，遇到不在樹中的狀態(tài)，則使用神經(jīng)網(wǎng)絡(luò)的結(jié)果來更新蒙特卡洛樹結(jié)構(gòu)上保存的內(nèi)容；

在每一次迭代過程中，在當前狀態(tài)下，每一次移動使用多次蒙特卡洛樹搜索；

根據(jù)預(yù)設(shè)的影響光纜破損的每個因素計算全局損失，并強化學(xué)習的價值函數(shù)部分，計算在當前狀態(tài)下，采取一行動后所取得的收益。

優(yōu)選地，確定使所述異常事件造成的全局損失最小的處置方案，獲得最優(yōu)的異常事件處置方案包括：

使用貪婪法尋找使得所述異常事件造成的全局損失最小的帶寬分配策略。

優(yōu)選地，所述方法之后還包括：

根據(jù)所述最優(yōu)的帶寬分配策略中各個節(jié)點的價值，評估當前決策對應(yīng)的經(jīng)濟損失。

優(yōu)選地，基于選擇、擴展、仿真和回溯來持續(xù)優(yōu)化所述蒙特卡洛搜索樹內(nèi)的策略包括：

所述選擇的步驟包括：從根節(jié)點開始，每次都選一個“最值得搜索的子節(jié)點”，使用上限置信區(qū)間算法選擇分數(shù)最高的節(jié)點，直到來到一個“存在未擴展的子節(jié)點”的節(jié)點；