[發(fā)明專利]用于為多個機器調度作業(yè)集合的設備和方法

在審

• 申請?zhí)枺?/td>: 202110354635.1
• 申請日: 2021-04-01
• 公開（公告）號: CN113496347A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設計）人: A·塔特勒;C·丹尼爾;D·D·卡斯特羅;F·M·里赫特;J·奧倫;M·列法羅夫;N·M·迪茲濱;Z·費爾德曼
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/08;G06Q50/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉藝詩;周學斌

1.一種用于在多個機器上調度作業(yè)集合的方法，其中每個作業(yè)由表征作業(yè)的處理時間的至少一個特征來定義，

其中，如果任何機器空閑，則從作業(yè)集合中選擇一個作業(yè)以由所述機器實行并在所述機器上調度所述作業(yè)，其中，如下選擇所述作業(yè)：

圖神經網(wǎng)絡接收作業(yè)集合和至少空閑的機器的當前狀態(tài)作為輸入，

圖神經網(wǎng)絡如果在機器上啟動，則輸出每個作業(yè)的獎勵，狀態(tài)被輸入到圖神經網(wǎng)絡，并且取決于圖神經網(wǎng)絡輸出的獎勵來選擇用于空閑機器的作業(yè)。

2.根據(jù)權利要求1所述的方法，其中所述作業(yè)由表征多個類中的一個類的另外特征來定義，其中每個類表征對實行對應作業(yè)所需的機器的對應設置，

其中機器的當前狀態(tài)也表征了它們的當前設置，

其中圖神經網(wǎng)絡接收另外的輸入，如果由于對于同一機器的不同類的兩個即刻連續(xù)的作業(yè)而不得不通過改變任何機器的設置來重新配置機器，則所述另外的輸入是時間懲罰。

3.根據(jù)前述權利要求中任一項所述的方法，其中附加作業(yè)在特定時間點到達，并且附加作業(yè)被添加到作業(yè)集合。

4.根據(jù)上述權利要求中任一項所述的方法，其中通過強化學習、特別是通過深度Q網(wǎng)絡學習來優(yōu)化圖神經網(wǎng)絡的參數(shù)化。

5.根據(jù)前述權利要求中任一項所述的方法，其中，為了選擇后續(xù)作業(yè)，應用蒙特卡羅樹搜索（MCTS），其中，蒙特卡羅樹搜索從機器的當前狀態(tài)和作業(yè)集合開始迭代地構建搜索樹，

其中為了擴展搜索樹，圖神經網(wǎng)絡的輸出獎勵被用作搜索啟發(fā)法，

其中取決于搜索樹選擇后續(xù)作業(yè)。

6.根據(jù)權利要求5所述的方法，其中為了擴展搜索樹，基于置信上限來選擇動作。

7.根據(jù)權利要求5或6所述的方法，其中所述搜索樹被修剪，特別是通過僅考慮在至少一次試運行內具有最高Q值的預定數(shù)量的作業(yè)。

8.根據(jù)上述權利要求中任一項所述的方法，其中，所述機器是生產機器，并且特別地物流機器人用于向所述生產機器供應對于相應機器的當前作業(yè)所需的生產材料。

9.根據(jù)上述權利要求中任一項所述的方法，其中所述機器的狀態(tài)取決于接收的傳感器信號來確定，其中所述機器的狀態(tài)還包括當前負載狀態(tài)和/或表征相應機器的維護需求的參數(shù)。

10.一種計算機程序，其被配置為如果所述計算機程序由處理器實行，則使得計算機實行根據(jù)權利要求1至9中任一項的方法及其所有步驟。

11.一種機器可讀存儲介質，其上存儲根據(jù)權利要求10的計算機程序。

12.一種系統(tǒng)，被配置為實行根據(jù)權利要求1至9中任一項的方法。