[發明專利]調車作業計劃的生成方法、裝置、電子裝置和存儲介質

在審

• 申請號: 202110696483.3
• 申請日: 2021-06-23
• 公開（公告）號: CN113327055A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 施俊慶;陳林武;孟國連;夏順婭;程明慧
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 范麗霞

1.一種調車作業計劃的生成方法，其特征在于，所述方法包括：

獲取待編車列的下落狀態和下落動作；

定義獎勵函數，并根據所述下落狀態、所述下落動作和所述獎勵函數建立強化學習模型；其中，所述獎勵函數用于表示所述待編車列的調車程數量與獎勵值之間的對應關系；

利用所述強化學習模型生成所述待編車列的調車作業計劃表。

2.根據權利要求1所述的生成方法，其特征在于，所述根據所述下落狀態、所述下落動作和所述獎勵函數建立強化學習模型包括：

根據所述下落狀態和所述下落動作生成Q值表；

根據所述Q值表中的當前狀態，基于預設策略獲取所述下落動作中的當前動作；

根據所述當前動作和所述獎勵函數更新所述下落狀態中的下一個狀態；

在判斷所述下一個狀態為目標狀態的情況下，檢測所述Q值表是否收斂；

在所述Q值表收斂時，獲取所述強化學習模型。

3.根據權利要求1所述的生成方法，其特征在于，所述利用所述強化學習模型生成所述待編車列的調車作業計劃表包括：

利用所述強化學習模型，根據預設調車表獲取最優調車表，并根據所述最優調車表獲取目標狀態；

在所述待編車列到達所述目標狀態的情況下，根據所述最優調車表和預設摘掛條件生成所述調車作業計劃表。

4.根據權利要求3所述的生成方法，其特征在于，所述根據所述最優調車表和預設摘掛條件生成所述調車作業計劃表包括：

根據所述最優調車表，判斷所述預設摘掛條件中的掛車條件是否成立；若針對所述掛車條件的判斷結果為否，檢測所述待編車列中是否有預設車組；

在檢測所述預設車組失敗的情況下，判斷所述預設摘掛條件中的摘車條件是否成立，若針對所述摘車條件的判斷結果為是，基于所述摘車條件進行摘車，直至檢測到存在所述預設車組；

在檢測到存在所述預設車組的情況下，循環檢測所述預設摘掛條件，直至所述待編車列中所有車列構成所述預設車組，進而得到所述調車作業計劃表。

5.根據權利要求1所述的生成方法，其特征在于，獲取所述下落狀態和所述下落動作包括：

基于預設調車表獲取所述下落狀態；

根據所述待編車列的下落股道編號獲取動作空間，基于所述預設調車表獲取所述動作空間中的所述下落動作。

6.根據權利要求1至5任一項所述的生成方法，其特征在于，所述定義獎勵函數包括：

獲取所述下落動作對應的預設即時獎勵，并根據所述預設即時獎勵生成所述獎勵函數。

7.一種調車作業計劃的生成裝置，其特征在于，所述裝置包括：獲取模塊、建立模型和生成模塊；

所述獲取模塊，用于獲取待編車列的下落狀態、下落動作和獎勵函數；

所述建立模塊，用于定義獎勵函數，并根據所述下落狀態、所述下落動作和所述獎勵函數建立強化學習模型；其中，所述獎勵函數用于表示所述待編車列的調車作業計劃表的獎勵值；

所述生成模塊，用于利用所述強化學習模型生成所述待編車列的調車作業計劃表。

8.根據權利要求7所述的生成裝置，其特征在于，所述建立模塊還用于根據所述下落狀態和所述下落動作生成Q值表；

所述建立模塊根據所述Q值表中的當前狀態，基于預設策略獲取所述下落動作中的當前動作；

所述建立模塊根據所述當前動作和所述獎勵函數更新所述下落狀態中的下一個狀態；

所述建立模塊在判斷所述下一個狀態為目標狀態的情況下，檢測所述Q值表是否收斂；

所述建立模塊在所述Q值表收斂時，獲取所述強化學習模型。

9.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1至6中任一項所述的調車作業計劃的生成方法。

10.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1至6中任一項所述的調車作業計劃的生成方法。