[發明專利]一種性能評測方法和裝置

在審

• 申請號: 202010835649.0
• 申請日: 2020-08-19
• 公開（公告）號: CN111983935A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 張慧
• 申請（專利權）人: 北京京東叁佰陸拾度電子商務有限公司
• 主分類號: G05B17/02
• 分類號: G05B17/02
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 杜志敏;宋志強

1.一種性能評測方法，其特征在于，所述方法包括：

獲取仿真場景數據；

對所述仿真場景數據進行真值標注；

運行感知融合追蹤模型，獲取所述仿真場景數據對應的融合追蹤結果；其中，所述感知融合追蹤模型用于對無人駕駛車輛周圍環境進行感知；

根據所述融合追蹤結果和標注的真值對所述感知融合追蹤模型進行性能評測，并輸出評測結果。

2.根據權利要求1所述的方法，其特征在于，所述真值標注包括下述之一或任意組合：

仿真結果幀數、檢測框、目標物體的追蹤標識TrackID。

3.根據權利要求2所述的方法，其特征在于，當對所述仿真場景數據進行的真值標注包括仿真結果幀數時，所述根據所述融合追蹤結果和標注的真值對所述感知融合追蹤模型進行性能評測，包括：

根據所述融合追蹤結果的幀數和標注的仿真結果幀數計算融合追蹤FT丟幀率；

若所述FT丟幀率小于第一預設閾值，則確定針對所述感知融合追蹤模型的FT丟幀率檢測通過；否則，確定針對所述感知融合追蹤模型的FT丟幀率檢測不通過。

4.根據權利要求3所述的方法，其特征在于，所述根據所述融合追蹤結果的幀數和標注的仿真結果幀數計算FT丟幀率，包括：

計算標注的仿真結果幀數與融合追蹤結果的幀數的差值；

計算所述差值與標注的仿真結果幀數的比值；

將所述比值作為FT丟幀率。

5.根據權利要求2所述的方法，其特征在于，當對所述仿真場景數據進行的真值標注包括檢測框時，所述根據所述融合追蹤結果和標注的真值對所述感知融合追蹤模型進行性能評測，包括：

將標注的真值和融合追蹤結果按時間戳同步；

對融合追蹤結果和真值標注的檢測框進行逐幀匹配；

根據匹配結果計算平均交并比IOU、平均中心距離、檢測框漏檢率和誤檢率；

若所述平均IOU的值大于第二預設閾值、所述平均中心距離的值小于第三預設閾值、所述檢測框漏檢率的值小于第四預設閾值，且所述檢測框的誤檢率小于第五預設閾值，則確定針對所述感知融合追蹤模型的FT精度檢測通過；否則，確定針對所述感知融合追蹤模型的FT精度檢測不通過。

6.根據權利要求5所述的方法，其特征在于，所述根據匹配結果計算平均IOU、平均中心距離、檢測框漏檢率和誤檢率，包括：

計算匹配到的幀的檢測框的IOU，并計算匹配到的所有幀的檢測框的IOU的平均IOU；

計算匹配到的幀的檢測框的中心點之間的距離，并計算匹配到的所有幀的檢測框中心點之間的距離的平均值，作為平均中心距離；

通過下式計算檢測框漏檢率：(N-M)/N；其中，N為融合追蹤結果中的檢測框個數，M為將真值標注的檢測框檢測出的個數；

通過下式計算檢測框誤檢率：(N-X)/N；其中，X為融合追蹤結果中檢測出的，且在真值標注中不存在的檢測框的個數。

7.根據權利要求2所述的方法，其特征在于，當對所述仿真場景數據進行的真值標注包括目標物體的TrackID時，所述根據所述融合追蹤結果和標注的真值對所述感知融合追蹤模型進行性能評測，包括：

對融合追蹤結果和真值標注的目標物體的TrackID進行逐幀匹配；

根據匹配結果計算TrackID切換率和TrackID平均切換次數；

若所述TrackID切換率的值小于第六預設閾值，且所述TrackID平均切換次數小于第七預設閾值，則確定針對所述感知融合追蹤模型的TrackID切換率檢測通過；否則，確定針對所述感知融合追蹤模型的TrackID切換率檢測不通過。