[發明專利]一種調度方案的確定方法、裝置、設備及存儲介質

在審

• 申請號: 202111495812.4
• 申請日: 2021-12-08
• 公開（公告）號: CN114186931A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉建林;解鑫;許銘;袁曉敏
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06Q10/08
• 分類號: G06Q10/08;G06Q10/06;G06Q10/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;孟維娜

1.一種調度方案的確定方法，包括：

獲得狀態信息，其中，所述狀態信息包括：煤炭港口所包括的作業帶的描述信息、所包括的煤剁的描述信息、到達所述煤炭港口的運輸車的描述信息；

基于所述狀態信息，確定包括運輸車、作業帶與時刻之間對應關系的目標調度方案。

2.根據權利要求1所述的方法，其中，當所述狀態信息為起始時刻的狀態信息時，所述基于所述狀態信息，確定包括運輸車、作業帶與時刻之間對應關系的目標調度方案，包括：

循環將所述起始時刻的狀態信息輸入待訓練的信息預測模型，以起始時刻的狀態信息作為訓練樣本，采用強化學習方式對所述信息預測模型進行訓練，在滿足模型訓練結束條件的情況下，得到每一次循環時生成的包括運輸車、作業帶以及時刻之間對應關系的備選調度方案；

從備選調度方案中，確定目標調度方案。

3.根據權利要求2所述的方法，其中，所述備選調度方案包括至少一個備選調度方案，所述從備選調度方案中，確定目標調度方案，包括：

針對每一備選調度方案，基于該備選調度方案中每一時刻所對應的運輸車所卸載煤炭的信息、以及所對應的作業帶所連接煤剁的信息，計算該備選調度方案的第一獎勵值；

基于各備選調度方案的第一獎勵值，從各備選調度方案中確定目標調度方案。

4.根據權利要求2所述的方法，其中，按照以下方式生成備選調度方案：

將所述起始時刻的狀態信息輸入待訓練的信息預測模型，獲得所述信息預測模型輸出的所述起始時刻對應的第一運輸車以及第一作業帶，其中，所述第一運輸車為：所述信息預測模型預測得到的、用于在所述起始時刻卸載煤炭的運輸車，所述第一作業帶為：所述信息預測模型預測得到的、用于運送所述第一運輸車所卸載的煤炭的作業帶；

若未滿足第一循環結束條件，基于所述起始時刻對應的第一運輸車以及第一作業帶，確定所述起始時刻的下一時刻的狀態信息，并將所述起始時刻更新為所述起始時刻的下一時刻，返回所述將所述起始時刻的狀態信息輸入待訓練的信息預測模型的步驟，直至滿足所述第一循環結束條件，得到包括第一運輸車、第一作業帶、每一時刻之間對應關系的備選調度方案。

5.根據權利要求4所述的方法，其中，按照以下方式訓練所述信息預測模型：

獲得所述信息預測模型輸出的所述起始時刻對應的第一預測有益度，其中，所述第一預測有益度用于表征所述起始時刻對應的第一運輸車、第一作業帶的預測有益度；

獲得所述信息預測模型輸出的在所述起始時刻之后預設數量個連續的目標時刻對應的第一運輸車以及第一作業帶；

根據每一目標時刻對應的第一運輸車所卸載煤炭的信息、以及所對應的第一作業帶所運送煤炭的信息，計算用于表征所述起始時刻對應的第一運輸車、第一作業帶的真實有益度；

基于所述起始時刻對應的第一預測有益度以及真實有益度，調整所述信息預測模型的模型參數，若未滿足模型訓練結束條件，將所述起始時刻更新為起始時刻的下一時刻，并返回所述獲得所述信息預測模型輸出的所述起始時刻對應的第一預測有益度的步驟，直至滿足所述模型訓練結束條件，實現對所述信息預測模型的訓練。

6.根據權利要求5所述的方法，其中，所述根據每一目標時刻對應的第一運輸車所卸載煤炭的信息、以及所對應的第一作業帶所運送煤炭的信息，計算用于表征所述起始時刻對應的第一運輸車、第一作業帶的真實有益度，包括：

針對每一目標時刻，根據該目標時刻對應的第一運輸車所卸載煤炭的信息、以及所對應的第一作業帶所連接煤剁的信息，計算該目標時刻的第二獎勵值；

按照預設的權重，對每一目標時刻對應的第二獎勵值進行加權求和，將計算得到的和值作為表征所述起始時刻對應的第一運輸車、第一作業帶的真實有益度。

7.根據權利要求5所述的方法，其中，所述基于所述起始時刻對應的第一預測有益度以及真實有益度，調整所述信息預測模型的模型參數，包括：

計算所述起始時刻對應的第一預測有益度與真實有益度之間的差異；

基于計算得到的差異，確定所述信息預測模型的損失值；

基于所述損失值，調整所述信息預測模型的模型參數。