[發明專利]車輛用控制裝置、車輛用控制系統以及車輛用學習裝置

有效

• 申請號: 202011521755.8
• 申請日: 2020-12-21
• 公開（公告）號: CN113090404B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 橋本洋介;片山章弘;大城裕太;杉江和紀;岡尚哉
• 申請（專利權）人: 豐田自動車株式會社
• 主分類號: F02D41/14
• 分類號: F02D41/14;F02D41/22;F02D41/00;F02D41/30;F02D29/02
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 張潔;段承恩

本公開涉及車輛用控制裝置、車輛用控制系統以及車輛用學習裝置。車輛用控制裝置具備處理電路以及存儲裝置。在存儲裝置中存儲有關系規定數據，關系規定數據是規定車輛的狀態與行動變量的關系的數據，行動變量是與內燃機的操作部的操作有關的變量。處理電路構成為執行：取得車輛的狀態的取得處理；基于行動變量的值操作操作部的操作處理；獎勵計算處理；更新關系規定數據的更新處理；以及以行動變量中的至少一個等于預先確定的值為條件所執行的判定內燃機有無劣化的判定處理。

技術領域

本公開涉及車輛用控制裝置、車輛用控制系統以及車輛用學習裝置。

背景技術

例如日本特開2016-6327號公報中記載了一種控制裝置，該控制裝置基于將加速器(油門)踏板的操作量用過濾器進行處理得到的值，操作作為搭載于車輛的內燃機的操作部的節氣門。

上述過濾器需要根據加速器踏板的操作量將搭載于車輛的內燃機的節氣門的操作量設定為適當的操作量。因此，過濾器的適配需要本領域技術人員花費許多工時。如此，以往在與車輛的狀態相應的內燃機的操作部的操作量等的適配中，本領域技術人員花費了許多工時。

發明內容

以下，對本公開的多個技術方案及其作用效果進行說明。

技術方案1.根據本公開的一個技術方案，提供一種具備處理電路(processingcircuitry)以及存儲裝置的車輛用控制裝置。在所述存儲裝置中存儲有關系規定數據，所述關系規定數據是規定車輛的狀態與行動變量的關系的數據，所述行動變量是與搭載于所述車輛的內燃機的操作部的操作有關的變量，所述處理電路構成為執行：取得處理，取得基于傳感器的檢測值的所述車輛的狀態；操作處理，基于由所述關系規定數據和通過所述取得處理所取得的所述車輛的狀態而確定的所述行動變量的值，操作所述操作部；獎勵計算處理，基于通過所述取得處理所取得的所述車輛的狀態，給予獎勵，且在所述車輛的特性滿足基準的情況下所給予的所述獎勵大于在所述車輛的特性不滿足所述基準的情況下所給予的所述獎勵；更新處理，使用通過所述取得處理所取得的所述車輛的狀態、所述操作部的操作中所使用了的所述行動變量的值、和與該操作對應的所述獎勵，作為向預先確定的更新映射的輸入，更新所述關系規定數據；以及判定處理，以所述行動變量中的至少一個等于預先確定的值為條件而執行，判定所述內燃機有無劣化，所述更新映射是輸出以使按照所述關系規定數據來操作所述操作部的情況下的關于所述獎勵的期待收益(回報)增加的方式進行了更新的所述關系規定數據的映射。

在上述構成中，通過計算伴隨操作部的操作的獎勵，能夠掌握通過該操作而獲得怎樣的獎勵。而且，通過基于獎勵，根據按照強化學習的更新映射，更新關系規定數據，從而能夠將車輛的狀態與行動變量的關系設定為在車輛的行駛中適當的關系。因此，能夠削減在將車輛的狀態與行動變量的關系設定為在車輛的行駛中適當的關系時需要本領域技術人員花費的工時。

在進行強化學習的情況下，操作部會被怎樣操作取決于學習的結果。另一方面，內燃機有無劣化的判定有時以若干個狀態是預先確定的狀態為前提并基于除此之外的狀態來進行。因此，當在進行了強化學習、或基于通過強化學習而更新了的關系規定數據操作了操作部的情況下嘗試進行這樣的判定的情況下，很可能沒有滿足用于進行判定的前提條件。于是，在上述構成中，通過以行動變量中的至少一個是預先確定的值為條件來執行判定處理，能夠滿足判定處理的執行條件。

技術方案2.在技術方案1所述的車輛用控制裝置中，所述處理電路也可以構成為，使所述操作處理停止，執行操作所述操作部以使得所述行動變量中的至少一個成為預先確定的值的主動(active)處理，并在該主動處理的執行期間執行所述判定處理。

在上述構成中，通過執行主動處理，能夠切實地將行動變量中的至少一個設為預先確定的值。由此，在上述構成中，與不執行主動處理的情況相比，能夠早期地并且切實地將行動變量中的至少一個設為預先確定的值。

技術方案3.在技術方案1或2所述的車輛用控制裝置中，所述處理電路也可以構成為，以所述車輛處于停止中為條件，執行所述判定處理。