[發(fā)明專利]基于多維度模型的算法效能評估方法

有效

• 申請?zhí)枺?/td>: 202110020794.8
• 申請日: 2021-01-07
• 公開（公告）號: CN112700158B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設計）人: 孫顯;刁文輝;付琨;楊怡冉;趙良瑾;張文凱;吳有明
• 申請（專利權）人: 中國科學院空天信息創(chuàng)新研究院
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06V20/13
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

1.一種基于多維度模型的智能算法效能評估方法，其特征在于，包括：

建立SAR圖像艦船目標識別模型的效能評估模型，所述SAR圖像艦船目標識別模型的效能評估模型包括基本能力效能評估指標和核心能力效能評估指標；其中，所述基本能力效能評估指標包括基本能力效能評估一級指標和基本能力效能評估二級指標；所述核心能力效能評估指標包括核心能力效能評估一級指標和核心能力效能評估二級指標；

采集各項所述基本能力效能評估二級指標的數(shù)據(jù)以及各項所述核心能力效能評估二級指標的數(shù)據(jù)；

設定各項所述基本能力效能評估指標、所述核心能力效能評估指標的權重系數(shù)，包括：綜合運用專家判斷法、相似模型類比方法以及管理者經(jīng)驗設定所述基本能力效能評估指標和所述核心能力效能評估指標的權重系數(shù)；

根據(jù)各項所述基本能力效能評估二級指標的數(shù)據(jù)和各級指標對應的權重系數(shù)計算出基本能力效能評估得分，包括：根據(jù)各項所述基本能力效能評估二級指標的數(shù)據(jù)和各項所述基本能力效能評估二級指標對應的權重系數(shù)計算各項所述基本能力效能評估一級指標的評估得分；根據(jù)各項所述基本能力效能評估一級指標的評估得分和各項所述基本能力效能評估一級指標對應的權重系數(shù)計算所述基本能力效能評估得分；

根據(jù)各項所述核心能力效能評估二級指標的數(shù)據(jù)及各級指標對應的權重系數(shù)計算出核心能力效能評估得分，包括：對各項所述核心能力效能評估二級指標進行無量綱化和歸一化處理，得到各項所述核心能力效能評估二級指標的評估得分；根據(jù)各項所述核心能力效能評估二級指標的評估得分以及各項核心能力效能評估二級指標對應的權重系數(shù)計算各項所述核心能力效能評估一級指標的評估得分；根據(jù)各項所述核心能力效能評估一級指標的評估得分以及各項所述核心能力效能評估一級指標對應的權重系數(shù)計算所述核心能力效能評估得分；

根據(jù)所述基本能力效能評估得分與所述核心能力效能評估得分進行綜合分析，得到綜合效能評估得分；

根據(jù)所述綜合效能評估得分確定所述SAR圖像艦船目標識別模型的軟件綜合成熟度；

所述基本能力效能評估一級指標包括：可用性、可靠性、實時性、可維護性和安全性；其中，所述可用性包括的基本能力效能評估二級指標有：數(shù)據(jù)處理能力、類型/場景覆蓋率、資源占用率、平臺兼容性、易操作性、易理解性；所述可靠性包括的基本能力效能評估二級指標有：并發(fā)用戶數(shù)、、異常處理能力、故障率、可恢復性；所述實時性包括的基本能力效能評估二級指標有：響應時間；所述可維護性包括的基本能力效能評估二級指標有：易診斷性、易測試性、軟件迭代；所述安全性包括的基本能力效能評估二級指標有：機密性、可審查性；

所述核心能力效能評估一級指標包括：數(shù)據(jù)分辨率優(yōu)于第一預設值、數(shù)據(jù)分辨率優(yōu)于第二預設值；其中，各項所述核心能力效能評估一級指標包含的核心能力效能評估二級指標有：檢測率、虛警率、分類正常率和處理時間；

其中，所述類型/場景覆蓋率的計算公式為：

其中，X₂為所述類型/場景覆蓋率的評估得分，A2為所述SAR圖像艦船目標識別模型實際覆蓋所有特定目標類型/場景的數(shù)量，B₂為所述SAR圖像艦船目標識別模型需要覆蓋所有特定目標類型/場景的數(shù)量；

所述數(shù)據(jù)處理能力的計算公式為：

其中，X₁為所述數(shù)據(jù)處理能力的評估得分，A₁為所述SAR圖像艦船目標識別模型正常處理數(shù)據(jù)的數(shù)量，B₁為所述SAR圖像艦船目標識別模型測試數(shù)據(jù)總數(shù)量；其中，所述正常處理指所述SAR圖像艦船目標識別模型在加載處理過程中不出現(xiàn)故障，單幅數(shù)據(jù)處理時間小于或等于第一預設時間；

所述資源占用率的計算公式為：

Y₃＝0.5·A₃+0.5·B₃，

其中，Y₃為所述資源占用率，A₃為CPU占用率，B₃為內(nèi)存占用率，所述資源占用率的評估得分X₃＝1-Y₃；

所述平臺兼容性的計算公式為：

其中，X₄為所述平臺兼容性的評估得分，A₄為所述SAR圖像艦船目標識別模型實際兼容的平臺數(shù)，B₄為所述SAR圖像艦船目標識別模型需要兼容的平臺數(shù)；

所述易操作性的計算公式為：

其中，X₅為所述易操作性的評估得分，A₅為用戶發(fā)現(xiàn)不易操作的功能數(shù)，B₅為被評估的功能總數(shù)；其中，所述不易操作指所述SAR圖像艦船目標識別模型實現(xiàn)某個功能的操作步數(shù)大于第三預設值；

所述易理解性的計算公式為：

其中，X₆為所述易理解性的評估得分，A₆為不能被理解的功能數(shù)，B₆為被評估的功能總數(shù)；其中，所述不能被理解的功能指所述SAR圖像艦船目標識別模型的命名存在縮寫、歧義或與實際功能存在偏差；

所述并發(fā)用戶數(shù)的計算公式為：

其中，X₇為所述并發(fā)用戶數(shù)的評估得分，A₇為實際能夠達到的最大并發(fā)用戶數(shù)量，B₇為真實環(huán)境下要求的最大并發(fā)用戶數(shù)量；

所述異常處理能力的計算公式為：

其中，X₈為所述異常處理能力的評估得分，A₈為所述SAR圖像艦船目標識別模型對異常數(shù)據(jù)或參數(shù)進行檢測并處理的數(shù)量，B₈為輸入異常數(shù)據(jù)或參數(shù)的數(shù)量；

所述故障率的計算公式為：

其中，X₉為所述故障率的評估得分，所述崩潰次數(shù)指在第二預設時間內(nèi)連續(xù)使用所述SAR圖像艦船目標識別模型崩潰的次數(shù)；

所述可恢復性的計算公式為：

其中，X₁₀為所述可恢復性的評估得分，所述可恢復功能包括對模型、參數(shù)數(shù)據(jù)實現(xiàn)手動備份、自動備份、手動恢復、自動恢復功能；

所述響應時間的計算公式為：

其中，X₁₁為所述響應時間的評估得分，所述響應時間指用戶提出請求到所述SAR圖像艦船目標識別模型對所述請求進行處理的時間；

所述易診斷性的計算公式為：

其中，X₁₂為所述易診斷性的評估得分，所述錯誤診斷功能包括錯誤彈窗提醒、錯誤日志記錄、打印出錯信息功能；

所述易測試性的計算公式為：

其中，X₁₃為所述易測試性的評估得分，A₁₃為實際測試中使用了內(nèi)置測試方法或數(shù)據(jù)的測試用例數(shù)，B₁₃為實際測試使用的測試用例數(shù)；

所述軟件更新的計算公式為：

其中，X₁₄為所述軟件更新的評估得分，t為更新過程中所述SAR圖像艦船目標識別模型無法提供正常業(yè)務服務的時間；

所述機密性的計算公式為：

其中，X₁₅為所述機密性的評估得分，所述保障數(shù)據(jù)機密性方法包括實體隔離、身份驗證、數(shù)據(jù)加密、訪問控制；

所述可審查性的計算公式為：

其中，X₁₆為所述可審查性的評估得分，所述日志信息包括操作日志、訪問日志。