[發明專利]一種基于場景搜索的自動駕駛黑盒測試系統

在審

• 申請號: 202110405149.8
• 申請日: 2021-04-15
• 公開（公告）號: CN113297530A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 許封元;吳昊;王浩;仲盛
• 申請（專利權）人: 南京大學
• 主分類號: G06F17/11
• 分類號: G06F17/11;G05B23/02;G01M17/007
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種基于場景搜索的自動駕駛黑盒測試系統，包括配置文件，世界初始化器，世界生成器，反饋搜索器，以及結果分析器；用于測試待測試目標系統；所述初始化器讀取預先寫好的關于場景和對象的配置文件，隨后每次故障場景搜索過程調用世界初始化器采樣出一個初始場景，在轉換為參數化表示后使用世界生成器在Unreal Engine中進行創建生成場景；所述反饋搜索器通過調整場景中的物體，尋找造成故障的場景；所述結果分析器對搜索到的故障場景進行逐個的對象移除判斷造成故障的對象。本發明能夠對自動駕駛系統的安全性進行標定，同時能夠分析出自動駕駛系統的脆弱性。具備可擴展性和可理解性，且適用于具有高度非線性特征的深度學習系統。

技術領域

本發明涉及一種基于場景搜索的自動駕駛黑盒測試系統，屬于自動駕駛的測試技術領域。

背景技術

近幾年，應用于計算機視覺領域的深度學習技術得到了突破性的發展，隨即被廣泛應用于了自動駕駛領域。這些應用使得自動駕駛系統能夠更加適應復雜的環境條件，更加適應復雜的任務需求。然而由于深度學習技術自身的不可解釋性，引入深度學習技術為自動駕駛系統帶來了安全風險問題。故而對自動駕駛系統的測試愈發重要。

當前已有一些針對自動駕駛的測試方法被提出。根據測試方法是否需要了解系統內部組件，可分為黑盒測試和白盒測試。已有的黑盒測試主要從搜索的角度出發，將狀態空間進行劃分，確定哪些狀態會造成系統出錯，這些方法往往需要對系統特性做比較強的假設，例如 Abdessalem對基于視覺的自動駕駛輔助系統進行測試時，潛在假設了自動緊急剎車系統的狀態空間具有線性可分性所以使用決策樹對狀態空間進行劃分，這對具有高度非線性特征的深度自動駕駛系統，顯然是不適用的。已有的白盒測試主要借助DeepXplore引入的神經元覆蓋的概念，從數據集生成的角度對自動駕駛系統進行測試，然而，神經元覆蓋是類比測試普通程序的分支覆蓋測試得到的，它忽略了神經網絡在預測過程中神經元連接完全不同于普通程序分支執行的差異性，故而這樣的類比是否合理、是否有效始終遭到人們質疑。除此上述測試方法外，還有一些基于測試數據集生成的技術也常常被使用在自動駕駛測試中，Scenic設計了一種場景描述語言，可以根據預定義規則生成一系列場景進行測試，這種描述語言具有很高的自由度，但對場景中非實體的對象的刻畫比較困難，并且難以應用在場景變換的情況下；DeepRoad基于GAN網絡(Generative Adversarial Networks，即生成式對抗網絡)將正常場景變換到雨雪天氣，實現了很高的場景真實性，但受限于GAN網絡的訓練方法和應用方式，目標變換場景的豐富度與效率存在一定的問題。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種基于場景搜索的自動駕駛黑盒測試系統，基于蛻變測試從一個場景出發搜索到相近的造成故障的另一個場景。

技術方案：一種基于場景搜索的自動駕駛黑盒測試系統，包括配置文件，世界初始化器，世界生成器，反饋搜索器，結果分析器，以及測試目標系統和封裝的實時渲染引擎API。初始化器讀取預先寫好的關于場景和對象的配置文件，隨后每次搜索過程調用初始化器采樣出一個初始場景，在轉換為參數化表示后使用生成器在Unreal Engine中進行創建生成場景。搜索器通過調整場景中的物體，尋找造成故障的相近的場景。分析器對搜索到的故障場景進行逐個的對象移除判斷造成故障的對象。

本發明所述世界是Unreal Engine標準術語，指代Unreal Engine中一組載入的關卡。

所述場景由Unreal Engine創建，所述封裝的實時渲染引擎API通過封裝CarlaAPI得到，所述測試目標系統為自動駕駛系統。

所述單次故障場景搜索過程按照以下步驟完成：

步驟201，世界初始化器讀取關于場景和對象的配置文件。

步驟202，世界初始化器根據對象分布采樣出一個世界。并將世界按照本發明所述參數化表示方法進行描述。