[發明專利]車輛用控制裝置、車輛用控制系統、車輛用學習裝置及車輛用學習方法

有效

• 申請號: 202110574795.7
• 申請日: 2021-05-26
• 公開（公告）號: CN113847419B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 樗澤英明;田端淳;奧田弘一;今村健;藤井廣太;佐佐木啟太
• 申請（專利權）人: 豐田自動車株式會社
• 主分類號: F16H61/02
• 分類號: F16H61/02
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 李今子

本發明公開車輛用控制裝置、車輛用控制系統、車輛用學習裝置及車輛用學習方法。車輛用控制裝置具備執行裝置和存儲裝置。在所述存儲裝置中，存儲有關系規定數據，該關系規定數據用于規定車輛的狀態與作為與搭載于所述車輛的變速裝置的操作有關的變量的行動變量的關系。所述執行裝置構成為執行獲取處理、操作處理、報酬計算處理、更新處理、計數處理以及限制處理。所述執行裝置構成為根據更新映射，輸出以使依照所述關系規定數據而操作所述變速裝置的情況下的期待收益增加的方式更新后的所述關系規定數據。

技術領域

本發明涉及車輛用控制裝置、車輛用控制系統、車輛用學習裝置以及車輛用學習方法。

背景技術

例如，在下述日本特開2000-250602中，記載有通過強化學習來決定與車輛的狀態相應的適當的變速比。

發明內容

發明者研究了通過強化學習來學習用于變速比的切換的操作量。但是，在即使學習進展也無法縮小搜索范圍的情況下，直至搜索到最佳值為止的時間有可能會變長。

本發明的第一方式提供一種車輛用控制裝置，具備執行裝置以及存儲裝置，在所述存儲裝置中存儲有關系規定數據，該關系規定數據用于規定車輛的狀態與行動變量的關系，所述行動變量是與搭載于所述車輛的變速裝置的操作有關的變量，所述執行裝置構成為執行：獲取處理，獲取基于傳感器的檢測值的所述車輛的狀態；操作處理，基于根據通過所述獲取處理而獲取到的所述車輛的狀態和所述關系規定數據確定的所述行動變量的值來操作所述變速裝置；報酬計算處理，根據通過所述獲取處理而獲取到的所述車輛的狀態，在所述車輛的特性滿足基準的情況下，提供比所述車輛的特性不滿足基準的情況大的報酬；更新處理，將通過所述獲取處理而獲取到的所述車輛的狀態、在所述變速裝置的操作中利用的所述行動變量的值以及與該操作對應的所述報酬作為向預先決定的更新映射的輸入，更新所述關系規定數據；計數處理，對基于所述更新處理的更新次數進行計數；以及限制處理，在所述更新次數大的情況下，與所述更新次數小的情況相比，將所述關系規定數據所表示的所述行動變量的值中的除了使關于所述報酬的期待收益最大化的值以外的值被所述操作處理采用的范圍限制在縮小的一側，所述執行裝置構成為根據更新映射，輸出以使依照所述關系規定數據而操作所述變速裝置的情況下的所述期待收益增加的方式更新后的所述關系規定數據。

當將強化學習持續某種程度時，使關系規定數據所表示的期待收益最大化的行動接近于實際地使收益增大的行動。因此，當在關系規定數據的更新次數變大某種程度時，采用從使關系規定數據所表示的期待收益最大化的行動大幅偏離的行動而過度地持續進行搜索的情況下，在將使關系規定數據所表示的期待收益增大的行動接近于實際地使收益增大的行動方面，有可能會成為不需要的工時。因而，在上述結構中，在更新次數大的情況下，與更新次數小的情況相比，將使關系規定數據所表示的期待收益最大化的值以外的值被采用的范圍限制在縮小的一側。換言之，將搜索范圍限制在縮小的一側。由此，能夠將使關系規定數據所表示的期待收益最大化的行動提前接近于實際地使收益增大的行動。

在上述方式中，所述限制處理也可以包括：在所述更新次數大的情況下，與所述更新次數小的情況相比，將基于所述更新處理的更新量限制在小的一側的處理。在將基于通過一次的搜索而得到的報酬的關系規定數據的更新量設為恒定的情況下，使關系規定數據所表示的期待收益最大化的行動發生變動的期間有可能會變長。因而，在上述結構中，在更新次數大的情況下將更新量限制在小的一側，從而抑制在強化學習進展之后進行一次搜索的結果關系規定數據被更新得大的現象。由此，能夠將使關系規定數據所表示的期待收益最大化的行動提前接近于實際地使收益增大的行動。

在上述方式中，所述報酬計算處理也可以包括：在變速比的切換期間中的發熱量小的情況下提供比變速比的切換期間中的發熱量大的情況大的報酬的處理和即使是相同的發熱量也根據變速的種類來變更所提供的報酬的大小的處理。