[發明專利]針對CT圖像分類的神經網絡性能評價方法及系統

在審

• 申請號: 202110314494.0
• 申請日: 2021-03-24
• 公開（公告）號: CN113033758A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 張霖;杜銘鈺;楊源
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/02
• 分類號: G06N3/02;G06K9/62
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 王燦;周新楣

本發明公開了一種針對CT圖像分類的神經網絡性能評價方法，涉及神經網絡質量計算領域。本發明公開一種神經網絡模型性能評價圖，根據所述神經網絡模型參數量m和評價指標L得到(m?L)坐標系，通過所述(m?L)坐標系評價不同模型的優劣。本發明采用坐標圖的表達方式更直觀的體現了模型的優劣性，比數值間的比較更易區分，可讀性更高。

技術領域

本發明涉及神經網絡質量計算領域，更具體的說是涉及一種針對CT圖像分類的神經網絡性能評價方法及系統。

背景技術

一般來說，大多數用于評估改進神經網絡性能的方法都是針對每個特定的研究定制的，在這些研究中，研究人員測量作為其主要增強主題的方面和條件，并通過這些特定的增強來證明其新工具的合理性。然而，這使得對不同研究人員開發的各種技術進行比較變得困難，科學界通常接受對某些類型的研究使用特定的方法，而不需要通用的解決方案。

盡管目前傾向于定制的比較技術，但已經開發了幾種方法來評估數據和計算神經網絡性能的質量。Leung和Simpson描述了人工神經網絡必須如何具有固有質量指標，同時考慮到所有人工神經網絡也是可以定量測量的軟件系統。Leung描述了一組與質量特征相關的定量特征。觀察到的質量特征是：(a)可理解性(UN)，(b)可修改性(MO)，(c)可測試性(TE)，(d)適用性(AP)，(e)一致性(CS)，(f)結構性(ST)，(g)可伸縮性(SC)，(h)效率(EF)和(i)復雜性(CO)。

Flexer提出了一種基于對人工神經網絡的多次運行進行統計評估的方法，以此作為一種系統比較技術的指標，該方法著重于質量而不是定量研究神經網絡的研究。Flexer建議進行t檢驗，以確定人工神經網絡A和B的性能指標是否足夠顯著以至于可以被認為是不同的。由于該技術不能單獨評估人工神經網絡的特性，因此在此處不將其用于比較計算。

為了滿足測量和比較計算神經網絡質量的需要，需要開發并測試了一種新方法，以涵蓋人工神經網絡為基礎的性能表現對比算法。多年來，不同領域的各類研究人員在將他們設計的神經網絡性能與他人的工作進行比較時，面臨著不同的問題，以顯示神經網絡模型性能表現的進步。神經網絡模型的重要進展往往局限于發展更高的準確率、更快的訓練過程、更少的模型參數。從需求傳統來看，在應用神經網絡模型中一直需要客觀的數值技術來比較計算神經網絡性能，假設一種新的方法必須比現有的神經網絡模型算法更好。由于人工神經網絡在不同數據分析領域的廣泛應用，有必要開發一種指標的擴展，以評估和比較所設計開發神經網絡模型的綜合神經網絡表現性能。然而，當前研究的主要貢獻是開發了一種方法，使用封閉的評價來測量給定的人工神經網絡設計得有多好。也就是說，盡管以前的方法集中于功能性能(即，如果人工神經網絡如所希望的那樣進行預測，包括準確率、召回率。)，集中于計算性能(即，神經網絡的“計算效率”如何)。

發明內容

有鑒于此，本發明提供了一種針對CT圖像分類的神經網絡性能評價方法，本發明的輸出是可以進行比較的數值。它也可以用來比較一個人工神經網絡和另一個人工神經網絡在特定數據集上綜合表現優劣。目的是開發一個基于圖形的網絡性能比較方法，使之有可能靈活且較科學的比較各種網絡模型。

為了實現上述目的，本發明采用如下技術方案：

一種針對CT圖像分類的神經網絡性能評價方法，包括以下步驟：

將樣本數據集輸入到待評價神經網絡模型中，所述神經網絡模型經過計算輸出y′；

根據模型輸出的分類結果y′和樣本真實的標簽y構建混淆矩陣，統計得到TP，TN，FP和FN，并由此計算accuracy、precision，recall和AUC；

將accuracy、precision，recall和AUC進行加權求和得到sum，同時對accuracy、precision，recall和AUC計算標準差std；根據所述sum和所述標準差std得到評價指標L；