[發明專利]基于多維度模型的算法效能評估方法

有效

• 申請號: 202110020794.8
• 申請日: 2021-01-07
• 公開（公告）號: CN112700158B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 孫顯;刁文輝;付琨;楊怡冉;趙良瑾;張文凱;吳有明
• 申請（專利權）人: 中國科學院空天信息創新研究院
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06V20/13
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

本公開提供一種基于多維度模型的智能算法效能評估方法，包括：建立SAR圖像艦船目標識別模型的效能評估模型，該效能評估模型包括基本能力效能評估指標和核心能力效能評估指標；采集各項基本能力效能評估二級指標的數據以及各項核心能力效能評估二級指標的數據；設定各項基本能力效能評估指標和核心能力效能評估指標的權重系數；根據各項基本能力效能評估二級指標的數據和各級指標對應的權重系數計算基本能力效能評估得分；根據各項核心能力效能評估二級指標的數據及各級指標對應的權重系數計算核心能力效能評估得分；根據基本能力效能評估得分與核心能力效能評估得分計算綜合效能評估得分；根據綜合效能評估得分確定模型的軟件綜合成熟度。

技術領域

本公開涉及計算機技術領域與模型測評領域，具體涉及一種基于多維度模型的算法效能評估方法。

背景技術

針對SAR圖像艦船目標識別模型的評估，傳統的評估方法只能衡量該模型最主要性能的好壞，例如準確率、召回率等。但是僅針對這些最主要的性能進行評估無法全面的評估SAR圖像艦船目標識別模型在各個方面上的優劣。隨著將模型部署到實際應用中，如何全面對SAR圖像艦船目標識別模型效能評估成為一個急需解決的問題。

發明內容

有鑒于此，本公開提供一種基于多維度模型的算法效能評估方法，以解決現有技術中存在的技術問題。

本公開提出一種基于多維度模型的算法效能評估方法，包括：建立SAR圖像艦船目標識別模型的效能評估模型，SAR圖像艦船目標識別模型的效能評估模型包括基本能力效能評估指標和核心能力效能評估指標；其中，基本能力效能評估指標包括基本能力效能評估一級指標和基本能力效能評估二級指標；核心能力效能評估指標包括核心能力效能評估一級指標和核心能力效能評估二級指標；采集各項基本能力效能評估二級指標的數據以及各項核心能力效能評估二級指標的數據；設定各項基本能力效能評估指標、核心能力效能評估指標的權重系數；根據各項基本能力效能評估二級指標的數據和各級指標對應的權重系數計算出基本能力效能評估得分；根據各項核心能力效能評估二級指標的數據及各級指標對應的權重系數計算出核心能力效能評估得分；根據基本能力效能評估得分與核心能力效能評估得分進行綜合分析，得到綜合效能評估得分；根據綜合效能評估得分確定SAR圖像艦船目標識別模型的軟件綜合成熟度。

可選地，基本能力效能評估一級指標包括：可用性、可靠性、實時性、可維護性和安全性，其中，可用性包括的基本能力效能評估二級指標有：數據處理能力、類型/場景覆蓋率、資源占用率、平臺兼容性、易操作性、易理解性；可靠性包括的基本能力效能評估二級指標有：并發用戶數、異常處理能力、異常處理能力、故障率、可恢復性；實時性包括的基本能力效能評估二級指標有：響應時間；可維護性包括的基本能力效能評估二級指標有：易診斷性、易測試性、軟件迭代；安全性包括的基本能力效能評估二級指標有：機密性、可審查性；核心能力效能評估一級指標包括：數據分辨率優于第一預設值、數據分辨率優于第二預設值；其中，各項核心能力效能評估一級指標包含的核心能力效能評估二級指標有：檢測率、虛警率、分類正確率和處理時間。

可選地，數據處理能力的計算公式為：其中，X₁為數據處理能力的評估得分，A₁為SAR圖像艦船目標識別模型正常處理數據的數量，B₁為SAR圖像艦船目標識別模型測試數據總數量；其中，正常處理指SAR圖像艦船目標識別模型在加載處理過程中不出現故障，單幅數據處理時間小于或等于第一預設時間；

類型/場景覆蓋率的計算公式為：其中，X₂為類型/場景覆蓋率的評估得分，A2為SAR圖像艦船目標識別模型實際覆蓋所有特定目標類型/場景的數量，B₂為SAR圖像艦船目標識別模型需要覆蓋所有特定目標類型/場景的數量；