[發明專利]機器學習模型的訓練方法、信號控制方法和裝置

有效

• 申請號: 202210097077.X
• 申請日: 2022-01-26
• 公開（公告）號: CN114444718B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 王澤隆;曾宏生;周波;王凡;陳永鋒;何徑舟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G08G1/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 李世陽

本公開提供了一種機器學習模型的訓練方法、信號控制方法、裝置、設備、介質和產品，涉及人工智能技術領域，具體為智能交通、強化學習、深度學習技術領域。機器學習模型的訓練方法包括：基于參數噪聲值調整初始機器學習模型的模型參數，得到更新后的初始機器學習模型，初始機器學習模型是經由第一交通樣本數據訓練得到的；利用更新后的初始機器學習模型處理第二交通樣本數據，得到針對交通信號燈的第一調整策略；響應于基于第一調整策略調整交通信號燈的信號完成，確定針對路口的第一參考交通狀態；基于第一參考交通狀態和參數噪聲值，調整更新后的初始機器學習模型的模型參數，得到經訓練的機器學習模型。

技術領域

本公開涉及人工智能技術領域，具體為智能交通、強化學習、深度學習技術領域，更具體地，涉及一種機器學習模型的訓練方法、信號控制方法、裝置、電子設備、介質和程序產品。

背景技術

相關技術中，通常需要根據路口的交通狀態來實時調整交通信號燈的信號，以緩解路口的擁堵情況。但是，相關技術在調整交通信號燈的信號時，調整效果不佳，導致難以較好地緩解路口的擁堵情況。

發明內容

本公開提供了一種機器學習模型的訓練方法、信號控制方法、裝置、電子設備、存儲介質和程序產品。

根據本公開的一方面，提供了一種機器學習模型的訓練方法，包括：基于參數噪聲值調整初始機器學習模型的模型參數，得到更新后的初始機器學習模型，其中，所述初始機器學習模型是經由第一交通樣本數據訓練得到的，所述第一交通樣本數據表征了路口的交通狀態；利用所述更新后的初始機器學習模型處理第二交通樣本數據，得到針對交通信號燈的第一調整策略，其中，所述第二交通樣本數據表征了所述路口的交通狀態；響應于基于所述第一調整策略調整所述交通信號燈的信號完成，確定針對所述路口的第一參考交通狀態；基于所述第一參考交通狀態和所述參數噪聲值，調整所述更新后的初始機器學習模型的模型參數，得到經訓練的機器學習模型。

根據本公開的另一方面，提供了一種信號控制方法，包括：獲取表征路口狀態的目標交通數據；利用經訓練的機器學習模型處理所述目標交通數據，得到針對交通信號燈的調整策略，其中，所述經訓練的機器學習模型是利用如上所述的方法訓練得到的；基于所述調整策略，調整所述交通信號燈的信號。

根據本公開的另一方面，提供了一種機器學習模型的訓練裝置，包括：第一調整模塊、處理模塊、第一確定模塊和第二調整模塊。第一調整模塊，用于基于參數噪聲值調整初始機器學習模型的模型參數，得到更新后的初始機器學習模型，其中，所述初始機器學習模型是經由第一交通樣本數據訓練得到的，所述第一交通樣本數據表征了路口的交通狀態；處理模塊，用于利用所述更新后的初始機器學習模型處理第二交通樣本數據，得到針對交通信號燈的第一調整策略，其中，所述第二交通樣本數據表征了所述路口的交通狀態；第一確定模塊，用于響應于基于所述第一調整策略調整所述交通信號燈的信號完成，確定針對所述路口的第一參考交通狀態；第二調整模塊，用于基于所述第一參考交通狀態和所述參數噪聲值，調整所述更新后的初始機器學習模型的模型參數，得到經訓練的機器學習模型。

根據本公開的另一方面，提供了一種信號控制裝置，包括：獲取模塊、處理模塊和調整模塊。獲取模塊，用于獲取表征路口狀態的目標交通數據；處理模塊，用于利用經訓練的機器學習模型處理所述目標交通數據，得到針對交通信號燈的調整策略，其中，所述經訓練的機器學習模型是利用如上所述的裝置訓練得到的；調整模塊，用于基于所述調整策略，調整所述交通信號燈的信號。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器和與所述至少一個處理器通信連接的存儲器。其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述的機器學習模型的訓練方法和/或信號控制方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行上述的機器學習模型的訓練方法和/或信號控制方法。